阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Spark实战1:单节点本地模式搭建Spark运行环境

126次阅读
没有评论

共计 2236 个字符,预计需要花费 6 分钟才能阅读完成。

前言:

Spark 本身用 scala 写的,运行在 JVM 之上。

 JAVA 版本:java 6 /higher edition.

1 下载 Spark

http://spark.apache.org/downloads.html

你可以自己选择需要的版本,这里我的选择是:

http://d3kbcqa49mib13.cloudfront.net/spark-1.1.0-bin-hadoop1.tgz

如果你是奋发图强的好码农,你可以自己下载源码:http://github.com/apache/spark.

注意:我这里是运行在 Linux 环境下。没有条件的可以安装下虚拟机之上!

 

2 解压缩 & 进入目录

tar -zvxf spark-1.1.0-bin-Hadoop1.tgz

cd spark-1.1.0-bin-hadoop1/

3 启动 shell

./bin/spark-shell

你会看到打印很多东西,最后显示

Spark 实战 1:单节点本地模式搭建 Spark 运行环境

 

4 小试牛刀

先后执行下面几个语句

val lines = sc.textFile(“README.md”)

lines.count()

lines.first()

val pythonLines = lines.filter(line => line.contains(“Python”))

scala> lines.first()
res0: String = ## Interactive Python Shel

— 解释,什么是 sc

sc 是默认产生的 SparkContext 对象。

比如

 scala> sc
res13: org.apache.spark.SparkContext = org.apache.spark.SparkContext@be3ca72

 

 这里只是本地运行,先提前了解下分布式计算的示意图:

Spark 实战 1:单节点本地模式搭建 Spark 运行环境

5 独立的程序  

最后以一个例子结束本节

为了让它顺利运行,按照以下步骤来实施即可:

————– 目录结构如下:

/usr/local/spark-1.1.0-bin-hadoop1/test$ find .
.
./src
./src/main
./src/main/scala
./src/main/scala/example.scala
./simple.sbt

 

然后 simple.sbt 的内容如下:

 

name := "Simple Project"
version := "1.0"
scalaVersion := "2.10.4"
libraryDependencies += "org.apache.spark" %% "spark-core" % "1.1.0"

 example.scala 的内容如下:

 

import org.apache.spark.SparkConf
import org.apache.spark.SparkContext
import org.apache.spark.SparkContext._

object example {
  def main(args: Array[String]) {
  val conf = new SparkConf().setMaster(“local“).setAppName(“My App“)
  val sc = new SparkContext(“local”, “My App”)
  sc.stop()
  //System.exit(0)
  //sys.exit()
  println(“this system exit ok!!!”)
  }
}

 红色 local: 一个集群的 URL, 这里是 local, 告诉 spark 如何连接一个集群,local 表示在本机上以单线程运行而不需要连接到某个集群。

橙黄 My App: 一个项目的名字,

 

然后执行:sbt package

 成功之后执行

./bin/spark-submit  –class  “example”  ./target/scala-2.10/simple-project_2.10-1.0.jar

结果如下:

Spark 实战 1:单节点本地模式搭建 Spark 运行环境

说明确实成功执行了!

结束!

————————————– 分割线 ————————————–

Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64 位) 下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群 (在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

————————————– 分割线 ————————————–

Spark 的详细介绍 :请点这里
Spark 的下载地址 :请点这里

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计2236字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中