阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ubuntu系统搭建单机Spark注意事项

116次阅读
没有评论

共计 1483 个字符,预计需要花费 4 分钟才能阅读完成。

对于 Spark 而言,如果大家只是想摸一下、熟悉熟悉而已,可以搭建单机的 Spark,大致步骤如下(我使用 VMWare 下的 Ubuntu 14.04,暂不考虑安全问题,在 root 下运行):

1、安装 Ubuntu 14.04,注意装好后需要禁用防火墙(ufw disable),安装 SSH 服务器,启用 root 用户

2、下载安装 JDK-1.8、scala 2.11.8(需要和 spark 的 jar 版本配合下,这个其实不是很必要,练习用)、spark、maven(build 用,这里的 scala 版本需要和 spark 的一致,否则可能出现 ClassNotDef 异常)

3、在.profile 中配置环境变量,如:

export SPARK_HOME=/root/spark-2.2.0-bin-Hadoop2.7

export SPARK_LOCAL_HOST=192.168.162.132

export SPARK_MASTER_HOST=192.168.162.132

4、启动 spark:

$SPARK_HOME/sbin/start-master.sh

# 在单机情况下也必须启动,否则没有 worker

$SPARK_HOME/sbin/start-slave.sh

5、使用 maven 编译一个示例程序(当然 sbt 也可以)

6、提交你的测试程序,如下:

$SPARK_HOME/spark-submit –class “ 类名 ” –master spark://IP:Port 打包文件名

另外,注意的一点是需要在 /etc/hosts 和 /etc/hostname 中正确配置主机名,否则可能出现 IOException

更多 Spark 相关教程见以下内容

CentOS 7.0 下安装并配置 Spark  http://www.linuxidc.com/Linux/2015-08/122284.htm

Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

Spark2.0 安装配置文档  http://www.linuxidc.com/Linux/2016-09/135352.htm

Spark 1.5、Hadoop 2.7 集群环境搭建  http://www.linuxidc.com/Linux/2016-09/135067.htm

Spark 官方文档 – 中文翻译  http://www.linuxidc.com/Linux/2016-04/130621.htm

CentOS 6.2(64 位)下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark-2.2.0 安装和部署详解  http://www.linuxidc.com/Linux/2017-08/146215.htm

Spark2.0.2 Hadoop2.6.4 全分布式配置详解 http://www.linuxidc.com/Linux/2016-11/137367.htm

Ubuntu 14.04 LTS 安装 Spark 1.6.0(伪分布式)http://www.linuxidc.com/Linux/2016-03/129068.htm

Spark 的详细介绍:请点这里
Spark 的下载地址:请点这里

更多 Oracle 相关信息见Oracle 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=12

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-10/147220.htm

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-21发表,共计1483字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中