阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ubuntu下Spark开发环境搭建

134次阅读
没有评论

共计 2044 个字符,预计需要花费 6 分钟才能阅读完成。

配置 Ubuntu 下使用 Python 开发 Spark 应用

Ubuntu 64 位基本环境配置

安装 JDK,下载 jdk-8u45-linux-x64.tar.gz,解压到 /opt/jdk1.8.0_45

下载地址:http://www.Oracle.com/technetwork/Java/javase/downloads/index.html

安装 scala, 下载 scala-2.11.6.tgz,解压到 /opt/scala-2.11.6

下地地址:http://www.scala-lang.org/

安装 Spark,下载 spark-1.3.1-bin-Hadoop2.6.tgz,解压到 /opt/spark-hadoop

下载地址:http://spark.apache.org/downloads.html,

Ubuntu 下 Spark 开发环境搭建

配置环境变量, 编辑 /etc/profile, 执行以下命令     

python@ubuntu :~$  sudo gedit /etc/profile

                      在文件最增加:

          #Seeting JDK JDK环境变量

            export JAVA_HOME=/opt/jdk1.8.0_45

            export JRE_HOME=${JAVA_HOME}/jre

            export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib

            export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH         

         #Seeting Scala Scala环境变量

            export SCALA_HOME=/opt/scala-2.11.6

            export PATH=${SCALA_HOME}/bin:$PATH

         #setting Spark Spark环境变量

           export SPARK_HOME=/opt/spark-hadoop/

        #PythonPathSpark 中的 pySpark 模块增加的 Python 环境中

         export PYTHONPATH=/opt/spark-hadoop/python

 重启电脑,使 /etc/profile 永久生效,临时生效,打开命令窗口,执行 source /etc/profile  在当前窗口生效

  • 测试安装结果

    • 打开命令窗口,切换到 Spark 根目录

      Ubuntu 下 Spark 开发环境搭建

    • 执行  ./bin/spark-shell, 打开 ScalaSpark的连接窗口   

    Ubuntu 下 Spark 开发环境搭建

    Ubuntu 下 Spark 开发环境搭建

    启动过程中无错误信息,出现scala>,启动成功

    •   执行 ./bin/pyspark , 打开 PythonSpark的连接窗口

    Ubuntu 下 Spark 开发环境搭建

                 Ubuntu 下 Spark 开发环境搭建

 启动过程中无错误,在出现如上所示时,启动成功。

    •    通过浏览器访问:出现如下页面

    Ubuntu 下 Spark 开发环境搭建

   

           测试 SPark 可用

  • Python安发 Spark 应用

    • 前面已设置 PYTHONPATH,将pyspark 加入到 Python 的搜寻路径中

    • 打开 Spark 安装目录,将 Python-build 文件夹下 py4j, 复至到 Python 目录下,如图:

        Ubuntu 下 Spark 开发环境搭建

    • 打开命令行窗口,输入 python,Python 版本为 2.7.6,如图所示,注意Spark 不支持Python3

        Ubuntu 下 Spark 开发环境搭建 

    • 输入import pyspark,如下图所示,证明开发前工作完成

        Ubuntu 下 Spark 开发环境搭建

    •   使用 Pycharm 新建项项目,使用红框中的代码测试:

    Ubuntu 下 Spark 开发环境搭建

更多 Spark 相关教程见以下内容

CentOS 7.0 下安装并配置 Spark  http://www.linuxidc.com/Linux/2015-08/122284.htm

Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

CentOS 6.2(64 位)下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群(在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

Spark 的详细介绍:请点这里
Spark 的下载地址:请点这里

本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-01/127855.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计2044字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中