共计 2044 个字符，预计需要花费 6 分钟才能阅读完成。
配置 Ubuntu 下使用 Python 开发 Spark 应用
Ubuntu 64 位基本环境配置
安装 JDK，下载 jdk-8u45-linux-x64.tar.gz，解压到 /opt/jdk1.8.0_45
下载地址：http://www.Oracle.com/technetwork/Java/javase/downloads/index.html
安装 scala, 下载 scala-2.11.6.tgz，解压到 /opt/scala-2.11.6
下地地址：http://www.scala-lang.org/
安装 Spark，下载 spark-1.3.1-bin-Hadoop2.6.tgz，解压到 /opt/spark-hadoop
下载地址：http://spark.apache.org/downloads.html,
配置环境变量, 编辑 /etc/profile, 执行以下命令
python@ubuntu :~$ sudo gedit /etc/profile
在文件最增加：
#Seeting JDK JDK环境变量
export JAVA_HOME=/opt/jdk1.8.0_45
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:${JRE_HOME}/bin:$PATH
#Seeting Scala Scala环境变量
export SCALA_HOME=/opt/scala-2.11.6
export PATH=${SCALA_HOME}/bin:$PATH
#setting Spark Spark环境变量
export SPARK_HOME=/opt/spark-hadoop/
#PythonPath将 Spark 中的 pySpark 模块增加的 Python 环境中
export PYTHONPATH=/opt/spark-hadoop/python
重启电脑，使 /etc/profile 永久生效，临时生效，打开命令窗口，执行 source /etc/profile 在当前窗口生效
测试安装结果
打开命令窗口，切换到 Spark 根目录
执行 ./bin/spark-shell, 打开 Scala 到Spark的连接窗口
启动过程中无错误信息，出现scala>，启动成功
执行 ./bin/pyspark , 打开 Python 到Spark的连接窗口
启动过程中无错误，在出现如上所示时，启动成功。
通过浏览器访问：出现如下页面
测试 SPark 可用。
Python安发 Spark 应用
前面已设置 PYTHONPATH，将pyspark 加入到 Python 的搜寻路径中
打开 Spark 安装目录，将 Python-》build 文件夹下 py4j, 复至到 Python 目录下，如图：
打开命令行窗口，输入 python,Python 版本为 2.7.6，如图所示，注意Spark 不支持Python3
输入import pyspark，如下图所示，证明开发前工作完成
使用 Pycharm 新建项项目，使用红框中的代码测试：
更多 Spark 相关教程见以下内容：
CentOS 7.0 下安装并配置 Spark http://www.linuxidc.com/Linux/2015-08/122284.htm
Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm
CentOS 6.2(64 位)下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm
Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm
安装 Spark 集群(在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm
Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm
Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm
Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm
Spark 的详细介绍：请点这里
Spark 的下载地址：请点这里
本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-01/127855.htm
