阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Spark集群安装

91次阅读
没有评论

共计 1431 个字符,预计需要花费 4 分钟才能阅读完成。

这里是结合 Hadoop2.0 使用的

1,download :http://spark.incubator.apache.org/downloads.html 选择 prebuilt: 中 hadoop2 的下载,hadoop 安装就不介绍了,spark 节点可以不是 hadoop 节点,可以是一个 hadoop 客户端。

2,download scala,http://www.scala-lang.org/download/all.html 根据下载的 spark 的 README 中的描述下载合适的版本

3,安装 其实就是解压,配置 /etc/profile 环境变量

export SPARK_HOME=/data1/spark/spark
export SCALA_HOME=/data1/spark/scala-2.9.3

export PATH=$PATH:$SPARK_HOME/bin:$SCALA_HOME/bin

 

 

配置 spark 的 conf 下的 spark-env.sh

export Java_HOME=/usr/java/default
export SCALA_HOME=/data1/spark/scala-2.9.3

export SPARK_MASTER_IP=192.168.0.1

 
export SPARK_MASTER_WEBUI_PORT=8080 
export SPARK_WORKER_WEBUI_PORT=8000

export YARN_CONF_DIR=/data/hadoop/hadoop-2.0/etc/hadoop

配置 slaves(ip 根据需要修改)

192.168.0.2

192.168.0.3

分发 spark 目录和 scala 目录到几台服务器相同路径下

4, 启动

 进入主节点的 spark 目录的 bin 下 stop-all.sh 是停掉集群,start-all.sh 启动集群,jps 可以在主节点看到 master 进程,slave 节点看到 worker 进程

5,运行程序,运行例子进入 spark 目录下

分布式运行

./run-example org.apache.spark.examples.SparkPi spark://192.168.0.1:7077

./run-example org.apache.spark.examples.SparkLR spark://192.168.0.1:7077

本地运行

./run-example org.apache.spark.examples.SparkPi local

./run-example org.apache.spark.examples.SparkLR local

 

Spark 的详细介绍 :请点这里
Spark 的下载地址 :请点这里

相关阅读

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群 (在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计1431字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中