Spark1.0.0部署指南

共计 24815 个字符，预计需要花费 63 分钟才能阅读完成。

1 节点说明

HDFS 集群和 Spark 集群之间节点共用。

2 安装 HDFS

见 HDFS2.X 和 Hive 的安装部署文档：http://www.linuxidc.com/Linux/2014-07/104302.htm

3 Spark 部署

Spark 常用的安装部署模式有 Spark On Yarn 和Standalone，可以同时使用。

3.1 Spark on Yarn

这种模式，借助 Yarn 资源分配的功能，使用 Spark 客户端来向 Yarn 提交任务运行。只需将 Spark 的部署包放置到 Yarn 集群的某个节点上即可 (或者是 Yarn 的客户端， 能读取到 Yarn 集群的配置文件即可)。Spark 本身的 Worker 节点、Master 节点不需要启动。

但是，Spark 的部署包须是基于对应的 Yarn 版本正确编译后的，否则会出现 Spark 和 Yarn 的兼容性问题。

on Yarn 的两种运行方式，其运行结束后的日志不能在 Yarn 的 Application 管理界面看到，目前只能在客户端通过：

yarn logs -applicationId <applicationId>

命令查看每个 Application 的日志。

3.1.1 配置

部署这种模式，需要修改 conf 目录下的 spark-env.sh 文件。在其中新增如下配置选项：

export Hadoop_HOME= /home/hadoop/hadoop-2.0.0-cdh4.5.0

export HADOOP_CONF_DIR= $HADOOP_HOME/etc/hadoop

SPARK_EXECUTOR_INSTANCES=2

SPARK_EXECUTOR_CORES=1

SPARK_EXECUTOR_MEMORY=400M

SPARK_DRIVER_MEMORY=400M

SPARK_YARN_APP_NAME="Spark 1.0.0"

其中：

(1) HADOOP_HOME: 当前节点中 HDFS 的部署路径，因为 Spark 需要和 HDFS 中的节点在一起；

(2) HADOOP_CONF_DIR:HDFS 节点中的 conf 配置文件路径，正常情况下此目录为 $HADOOP_HOME/etc/hadoop；

(3) SPARK_EXECUTOR_INSTANCES: 在 Yarn 集群中启动的 Worker 的数目，默认为 2 个；

(4) SPARK_EXECUTOR_CORES: 每个 Worker 所占用的 CPU 核的数目；

(5) SPARK_EXECUTOR_MEMORY: 每个 Worker 所占用的内存大小；

(6) SPARK_DRIVER_MEMORY:Spark 应用程序 Application 所占的内存大小，这里的 Driver 对应 Yarn 中的 ApplicationMaster；

(7) SPARK_YARN_APP_NAME：Spark Application 在 Yarn 中的名字；

配置完成后，将 Spark 部署文件放置到 Yarn 的节点中即可。这里，将 spark-1.0.0 整个目录 放到 Yarn 集群的一个节点 192.168.1.112 的/home/hadoop(设为 spark 的安装路径的父目录) 路径下。

3.1.2 测试

在 Spark 的部署路径的 bin 路径下，执行 spark-submit 脚本来运行 spark-examples 包中的例子。执行如下：

./bin/spark-submit --master yarn \

--class org.apache.spark.examples.JavaWordCount \

--executor-memory 400M \

--driver-memory 400M \

/home/hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar ./hdfs-site.xml

————————————– 分割线 ————————————–

CentOS 6.2(64 位)下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群(在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

————————————– 分割线 ————————————–

这个例子是计算 WordCount 的，例子被打包在 /home/hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar 包中，对应的 Class 为 org.apache.spark.examples.JavaWordCount，./hdfs-site.xml 是 HDFS 中指定路径下的一个文件，WordCount 就是针对它来做的。而 –master yarn 就是指定运行在 Yarn 集群中，以 yarn 模式运行。

Spark On Yarn 有两种运行模式，一种是 Yarn Cluster 方式，一种是 Yarn Client 方式。

(1) Yarn Cluster: Spark Driver 程序将作为一个 ApplicationMaster 在 YARN 集群中先启动，然后再由 ApplicationMaster 向 RM 申请资源启动 executor 以运行 Task。因为 Driver 程序在 Yarn 中运行，所以程序的运行结果不能在客户端显示，所以最好将结果保存在 HDFS 上，客户端的终端显示的是作为 Yarn 的 job 的运行情况。

(2) Yarn Client: Spark Driver 程序在客户端上运行，然后向 Yarn 申请运行 exeutor 以运行 Task，本地程序负责最后的结果汇总等。客户端的 Driver 将应用提交给 Yarn 后，Yarn 会先后启动 ApplicationMaster 和 executor，另外 ApplicationMaster 和 executor 都是装载在 container 里运行，container 默认的内存是 1G，ApplicationMaster 分配的内存是 driver-memory，executor 分配的内存是 executor-memory。同时，因为 Driver 在客户端，所以程序的运行结果可以在客户端显示，Driver 以进程名为 SparkSubmit 的形式存在。

上面命令中的提交方式“yarn”就是 默认按照“Yarn Client”方式 运行。用户可自定义运行方式，通过“–master”指定程序以 yarn、yarn-cluster 或者 yarn-client 中的一种方式运行。

需要重点说明的是最后文件的路径，是相当于 HDFS 中的 /user/hadoop 而言，hadoop 是当前命令的用户。“./hdfs-site.xml”在 HDFS 中的全路径为“hdfs://namespace/user/hadoop/hdfs-site.xml”，其中 hadoop 是当前的用户，namespace 是 HDFS 的命名空间；如果写成“/hdfs-site.xml”则在 HDFS 中指的是“hdfs://namespace/hdfs-site.xml”；当然也可以直接传入“hdfs://namespace/user/hadoop/hdfs-site.xml”用于指定在 HDFS 中的要进行 WordCount 计算的文件。

另外，Spark 应用程序需要的 CPU Core 数目和内存，需要根据当前 Yarn 的 NodeManager 的硬件条件相应设置，不能超过 NodeManager 的硬件条件。

./bin/spark-submit --master yarn \

--class org.apache.spark.examples.JavaWordCount \

--executor-memory 400M \

--driver-memory 400M \

/home/hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar hdfs://namespace/user/hadoop/hdfs-site.xml

在 Yarn 的 ResourceManager 对应的 Web 界面中查看启动的 Application。

Running:

Success:

同时可以在启动脚本的客户端看到 WordCount 的运行结果：

3.2 Spark Standalone

这种模式，就是把 Spark 单独作为一个集群来进行部署。集群中有两种节点，一种是 Master，另一种是 Worker 节点。Master 负责分配任务给 Worker 节点来执行，并负责最后的结果合并，Worker 节点负责具体的任务执行。

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-07/104304p2.htm

3.2.1 配置

所需修改的配置文件除了 spark-env.sh 文件以外，还有 slave 文件，都位于 conf 目录中。

slave 文件中保存的是 worker 节点 host 或者 IP，此处的配置为：

192.168.1.112

192.168.1.113

192.168.1.114

至于 spark-env.sh 文件，可以配置如下属性：

(1) SPARK_MASTER_PORT:Master 服务端口，默认为 7077；

(2) SPARK_WORKER_CORES: 每个 Worker 进程所需要的 CPU 核的数目；

(3) SPARK_WORKER_MEMORY: 每个 Worker 进程所需要的内存大小；

(4) SPARK_WORKER_INSTANCES：每个 Worker 节点上运行 Worker 进程的数目；

(5) SPARK_MASTER_WEBUI_PORT：Master 节点对应 Web 服务的端口；

(6)export SPARK_DAEMON_Java_OPTS=”-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.1.117:2181,192.168.1.118:2181,192.168.1.119:2181 -Dspark.deploy.zookeeper.dir=/spark“: 用于指定 Master 的 HA，依赖于 zookeeper 集群；

(7) export SPARK_JAVA_OPTS=”-Dspark.cores.max=4″：用于限定每个提交的 Spark Application 的使用的 CPU 核的数目，因为 缺省情况下提交的 Application 会使用所有集群中剩余的 CPU Core。

注意在 Worker 进程的 CPU 个数和内存大小的时候，要结合机器的实际硬件条件，如果一个 Worker 节点上的所有 Worker 进程需要的 CPU 总数目或者内存大小超过当前 Worker 节点的硬件条件，则 Worker 进程会 启动失败。

将配置好的 Spark 文件拷贝至每个 Spark 集群的节点上的相同路径中。为方便使用spark-shell，可以在环境变量中配置上SPARK_HOME。

3.2.2 启动

配置结束后，就该启动集群了。这里使用 Master 的 HA 方式，选取 192.168.1.112、192.168.1.113 节点作为 Master，192.168.1.112、192.168.1.113、192.168.1.114 节点上运行两个 Worker 进程。

首先在 192.168.1.113 节点上做此操作：

启动之后，可以查看当前节点的进程：

另外，为了保证 Master 的 HA，在 192.168.1.112 节点上只启动Master：

192.168.1.112节点的进程为：

启动过后，通过 Web 页面查看集群的情况，这里访问的是：

http://192.168.1.113:8090/

再看 standby 节点 192.168.1.112 的 web 界面 http://192.168.1.112:8090/

3.2.3 测试

Spark 的 bin 子目录中的 spark-submit 脚本是用于提交程序到集群中运行的工具，我们使用此工具做一个关于 pi 的计算。命令如下：

./bin/spark-submit --master spark://spark113:7077 \

--class org.apache.spark.examples.SparkPi 
--name Spark-Pi --executor-memory 400M 
--driver-memory 512M 
/home/Hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar

其中 –master 参数用于指定 Master 节点的 URI，但是这里 填的是 Host，不是 IP！

任务启动之后，在 Spark 的 Master 的 Web 界面可以看到运行中的 Application。

任务运行结束之后，在 Web 界面中 Completed Applications 表格 中会看到对应的结果。

同时，命令行中会打印出来运行的结果，如下所示：

1 节点说明

HDFS 集群和 Spark 集群之间节点共用。

2 安装 HDFS

见 HDFS2.X 和 Hive 的安装部署文档：http://www.linuxidc.com/Linux/2014-07/104302.htm

3 Spark 部署

Spark 常用的安装部署模式有 Spark On Yarn 和Standalone，可以同时使用。

3.1 Spark on Yarn

这种模式，借助 Yarn 资源分配的功能，使用 Spark 客户端来向 Yarn 提交任务运行。只需将 Spark 的部署包放置到 Yarn 集群的某个节点上即可 (或者是 Yarn 的客户端， 能读取到 Yarn 集群的配置文件即可)。Spark 本身的 Worker 节点、Master 节点不需要启动。

但是，Spark 的部署包须是基于对应的 Yarn 版本正确编译后的，否则会出现 Spark 和 Yarn 的兼容性问题。

on Yarn 的两种运行方式，其运行结束后的日志不能在 Yarn 的 Application 管理界面看到，目前只能在客户端通过：

yarn logs -applicationId <applicationId>

命令查看每个 Application 的日志。

3.1.1 配置

部署这种模式，需要修改 conf 目录下的 spark-env.sh 文件。在其中新增如下配置选项：

export Hadoop_HOME= /home/hadoop/hadoop-2.0.0-cdh4.5.0

export HADOOP_CONF_DIR= $HADOOP_HOME/etc/hadoop

SPARK_EXECUTOR_INSTANCES=2

SPARK_EXECUTOR_CORES=1

SPARK_EXECUTOR_MEMORY=400M

SPARK_DRIVER_MEMORY=400M

SPARK_YARN_APP_NAME="Spark 1.0.0"

其中：

(1) HADOOP_HOME: 当前节点中 HDFS 的部署路径，因为 Spark 需要和 HDFS 中的节点在一起；

(2) HADOOP_CONF_DIR:HDFS 节点中的 conf 配置文件路径，正常情况下此目录为 $HADOOP_HOME/etc/hadoop；

(3) SPARK_EXECUTOR_INSTANCES: 在 Yarn 集群中启动的 Worker 的数目，默认为 2 个；

(4) SPARK_EXECUTOR_CORES: 每个 Worker 所占用的 CPU 核的数目；

(5) SPARK_EXECUTOR_MEMORY: 每个 Worker 所占用的内存大小；

(6) SPARK_DRIVER_MEMORY:Spark 应用程序 Application 所占的内存大小，这里的 Driver 对应 Yarn 中的 ApplicationMaster；

(7) SPARK_YARN_APP_NAME：Spark Application 在 Yarn 中的名字；

配置完成后，将 Spark 部署文件放置到 Yarn 的节点中即可。这里，将 spark-1.0.0 整个目录 放到 Yarn 集群的一个节点 192.168.1.112 的/home/hadoop(设为 spark 的安装路径的父目录) 路径下。

3.1.2 测试

在 Spark 的部署路径的 bin 路径下，执行 spark-submit 脚本来运行 spark-examples 包中的例子。执行如下：

./bin/spark-submit --master yarn \

--class org.apache.spark.examples.JavaWordCount \

--executor-memory 400M \

--driver-memory 400M \

/home/hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar ./hdfs-site.xml

————————————– 分割线 ————————————–

CentOS 6.2(64 位)下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群(在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

————————————– 分割线 ————————————–

这个例子是计算 WordCount 的，例子被打包在 /home/hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar 包中，对应的 Class 为 org.apache.spark.examples.JavaWordCount，./hdfs-site.xml 是 HDFS 中指定路径下的一个文件，WordCount 就是针对它来做的。而 –master yarn 就是指定运行在 Yarn 集群中，以 yarn 模式运行。

Spark On Yarn 有两种运行模式，一种是 Yarn Cluster 方式，一种是 Yarn Client 方式。

(1) Yarn Cluster: Spark Driver 程序将作为一个 ApplicationMaster 在 YARN 集群中先启动，然后再由 ApplicationMaster 向 RM 申请资源启动 executor 以运行 Task。因为 Driver 程序在 Yarn 中运行，所以程序的运行结果不能在客户端显示，所以最好将结果保存在 HDFS 上，客户端的终端显示的是作为 Yarn 的 job 的运行情况。

(2) Yarn Client: Spark Driver 程序在客户端上运行，然后向 Yarn 申请运行 exeutor 以运行 Task，本地程序负责最后的结果汇总等。客户端的 Driver 将应用提交给 Yarn 后，Yarn 会先后启动 ApplicationMaster 和 executor，另外 ApplicationMaster 和 executor 都是装载在 container 里运行，container 默认的内存是 1G，ApplicationMaster 分配的内存是 driver-memory，executor 分配的内存是 executor-memory。同时，因为 Driver 在客户端，所以程序的运行结果可以在客户端显示，Driver 以进程名为 SparkSubmit 的形式存在。

上面命令中的提交方式“yarn”就是 默认按照“Yarn Client”方式 运行。用户可自定义运行方式，通过“–master”指定程序以 yarn、yarn-cluster 或者 yarn-client 中的一种方式运行。

需要重点说明的是最后文件的路径，是相当于 HDFS 中的 /user/hadoop 而言，hadoop 是当前命令的用户。“./hdfs-site.xml”在 HDFS 中的全路径为“hdfs://namespace/user/hadoop/hdfs-site.xml”，其中 hadoop 是当前的用户，namespace 是 HDFS 的命名空间；如果写成“/hdfs-site.xml”则在 HDFS 中指的是“hdfs://namespace/hdfs-site.xml”；当然也可以直接传入“hdfs://namespace/user/hadoop/hdfs-site.xml”用于指定在 HDFS 中的要进行 WordCount 计算的文件。

另外，Spark 应用程序需要的 CPU Core 数目和内存，需要根据当前 Yarn 的 NodeManager 的硬件条件相应设置，不能超过 NodeManager 的硬件条件。

./bin/spark-submit --master yarn \

--class org.apache.spark.examples.JavaWordCount \

--executor-memory 400M \

--driver-memory 400M \

/home/hadoop/spark-1.0.0/examples/target/scala-2.10/spark-examples-1.0.0-hadoop2.0.0-cdh4.5.0.jar hdfs://namespace/user/hadoop/hdfs-site.xml

在 Yarn 的 ResourceManager 对应的 Web 界面中查看启动的 Application。

Running:

Success:

同时可以在启动脚本的客户端看到 WordCount 的运行结果：

3.2 Spark Standalone

这种模式，就是把 Spark 单独作为一个集群来进行部署。集群中有两种节点，一种是 Master，另一种是 Worker 节点。Master 负责分配任务给 Worker 节点来执行，并负责最后的结果合并，Worker 节点负责具体的任务执行。

更多详情见请继续阅读下一页的精彩内容：http://www.linuxidc.com/Linux/2014-07/104304p2.htm

4 spark-submit 工具

上面测试程序的提交都是使用的 spark-submit 脚本，其位于 $SPARK_HOME/bin 目录中，执行时需要传入的参数说明如下：

Usage: spark-submit [options] <app jar | Python file> [app options]

另外，在执行 spark-submit.sh 工具进行提交应用之前，可以使用如下方式提前定义好当前 Spark Application 所使用的 CPU Core 数目和内存大小：

SPARK_JAVA_OPTS="-Dspark.cores.max=2 -Dspark.executor.memory=600m" 
./bin/spark-submit --master spark://update113:7077 \

--class org.apache.spark.examples.SparkPi 
…

…

5 Spark HistoryServer

类似于 Mapreduce 的 JobHistoryServer，Spark 也有一个服务可以保存历史 Application 的运行记录。

修改 $SPARK_HOME/conf 下的 spark-defaults.conf 文件(注意， 修改后的配置文件在每个节点都要有)，其中可修改的配置属性为：

此处的设置如下：

spark.eventLog.enabled  true

spark.eventLog.dir      hdfs://yh/user/Hadoop/sparklogs

spark.yarn.historyServer.address    update113:18080

设置完文件之后，进入 sbin 目录启动服务：

运行完成的 Application 历史记录可以通过访问上面指定的 HistoryServer 地址查看，这里是 http://192.168.1.113:18080/。

无论运行时是本地模式，还是yarn-client、yarn-cluster，运行��录均可在此页面查看。

并且程序运行时的环境变量、系统参数、各个阶段的耗时均可在此查看，很强大！

6 Spark 可配置参数

Spark 参数的配置可通过三种方式：SparkConf 方式 > 命令行参数方式 >文件配置方式。

6.1 应用属性

6.2 运行环境变量

6.3 Shuffle 操作相关属性

6.4 SparkUI 相关属性

6.5 压缩和序列化相关属性

6.6 执行时相关属性

6.7 网络相关属性

6.8 调度相关属性

6.9 安全相关属性

6.10 SparkStreaming 相关属性

6.11 Standalone 模式特有属性

可以在文件 conf/spark-env.sh 中来设置此模式的特有相关属性：

(1)SPARK_MASTER_OPTS：配置 master 使用的属性

(2)SPARK_WORKER_OPTS：配置 worker 使用的属性

(3)SPARK_DAEMON_JAVA_OPTS：配置 master 和 work 都使用的属性

配置的时候，使用类似的语句：

export SPARK_MASTER_OPTS=”-Dx1=y1 -Dx2=y2″

其中 x 代表属性，y 代表属性值。

SPARK_MASTER_OPTS所支持的属性有：

SPARK_WORKER_OPTS所支持的属性有

SPARK_DAEMON_JAVA_OPTS所支持的属性有：

6.12 Spark on Yarn 特有属性

7 示例配置

主要的配置文件均位于 $SPARK_HOME/conf 中，包括 slave、spark-env.sh、spark-defaults.conf 文件等。

7.1 slave 文件

192.168.1.112

192.168.1.113

192.168.1.114

7.2 spark-env.sh 文件

export Java_HOME="/export/servers/jdk1.6.0_25" 

#yarn

export Hadoop_HOME=/home/hadoop/hadoop-2.0.0-cdh4.5.0

export HADOOP_CONF_DIR=$HADOOP_HOME/etc/hadoop

SPARK_EXECUTOR_INSTANCES=2

SPARK_EXECUTOR_CORES=1

SPARK_EXECUTOR_MEMORY=400M

SPARK_DRIVER_MEMORY=400M

SPARK_YARN_APP_NAME="Spark 1.0.0"


#alone

SPARK_MASTER_WEBUI_PORT=8090

SPARK_WORKER_MEMORY=400M

SPARK_WORKER_CORES=1

SPARK_WORKER_INSTANCES=2

#Master HA

export SPARK_DAEMON_JAVA_OPTS="-Dspark.deploy.recoveryMode=ZOOKEEPER -Dspark.deploy.zookeeper.url=192.168.1.117:2181,192.168.1.118:2181,192.168.1.119:2181 -Dspark.deploy.zookeeper.dir=/spark"

7.3 spark-defaults.conf 文件

#history server

spark.eventLog.enabled  true

spark.eventLog.dir      hdfs://namespace/user/hadoop/sparklogs

spark.yarn.historyServer.address    spark113:18080

#shuffle

spark.shuffle.consolidateFiles true

#task

spark.task.cpus 1

spark.task.maxFailures 3

#scheduler type

spark.scheduler.mode FAIR

#security

park.authenticate true

spark.authenticate.secret hadoop

spark.core.connection.auth.wait.timeout 1500

spark.ui.acls.enable true

spark.ui.view.acls root,hadoop

#each executor used max memory

spark.executor.memory 400m

#spark on yarn

spark.yarn.applicationMaster.waitTries 5

spark.yarn.submit.file.replication 3

spark.yarn.preserve.staging.files false

spark.yarn.scheduler.heartbeat.interval-ms 5000

#park standalone and on mesos

spark.cores.max 4

8 Spark SQL

Spark 支持 Scala、Python 等语言写的脚本直接在 Spark 环境执行，更重要的是支持对 Hive 语句进行包装后在 Spark 上运行。这就是 Spark SQL。

8.1 相关配置

配置的步骤比较简单，把 Hive 的配置文件 hive-site.xml 直接放置到 $SPARK_HOME 的 conf 路径 下即可。如果是想在 Spark 集群本地执行 SQL 的话，每个对应的节点都要做同样的配置。

8.2 运行 SQL

启动 bin 目录下的 spark-shell 脚本，依次执行如下语句：

val sc: SparkContext

val hiveContext = new org.apache.spark.sql.hive.HiveContext(sc)

import hiveContext._

hql("CREATE TABLE IF NOT EXISTS src (key INT, value STRING)")

hql("LOAD DATA LOCAL INPATH'/examples /data.txt'INTO TABLE src")

hql("FROM src SELECT key, value").collect().foreach(println)

上面的命令，分别是声明 SparkContext 对象，利用 hql 方法执行 Hive 的 SQL 语句，在执行 SQL 语句的过程中，可以通过 Hive 的 Cli 客户端进行查看相应操作的结果。

8.3 on yarn 模式

由于 spark-shell 脚本是在本地执行的，如果想放到 Yarn 上去执行的话，可以使用上面第 4 节中的 spark-submit 工具，这时候需要对需要输入的 sql 语句进行包装，将包装类打包成 jar 文件，再提交。

包装类的代码如下：

 1 package spark;
 2 
 3 import java.util.List;
 4 
 5 import org.apache.spark.SparkConf;
 6 import org.apache.spark.api.java.JavaSparkContext;
 7 import org.apache.spark.sql.api.java.Row;
 8 import org.apache.spark.sql.hive.api.java.JavaHiveContext;
 9 
10 /**
11  * Description:
12  * Author: ITScott@163.com
13  * Date: 2014/7/15
14  */
15 public class SparkSQL {16 
17     public static void main(String[] args) {18         if(args.length != 2){19             System.out.println("usage: <applicationName> <sql statments>");
20             System.exit(1);
21         }
22 
23         String applicationName = args[0];
24         String sql = args[1];
25 
26         SparkConf conf = new SparkConf().setAppName(applicationName);
27         JavaSparkContext sc = new JavaSparkContext(conf);
28         JavaHiveContext hiveContext = new JavaHiveContext(sc);
29         List<Row> results = hiveContext.hql(sql).collect();
30 
31         System.out.println("Sql is:" + sql + ", has been executed over.");
32         System.out.println("The result size is" + results.size() + ", they are:");
33         for(int i=0; i<results.size(); i++){34             System.out.println(results.get(i).toString());
35         }
36 
37         System.out.println("Execute over ...");
38         sc.stop();
39         System.out.println("Stop over ...");
40     }
41 
42 }

将其打包成 jar 文件 spark-0.0.1-SNAPSHOT.jar，再使用spark-submit 工具进行任务的提交，命令如下：

./spark-submit 
--class spark.SparkSQL 
--master yarn-cluster 
--num-executors 3 
--driver-memory 400m --executor-memory 400m --executor-cores 1 
--jars /home/hadoop/spark-1.0.0/examples/libs/spark-core_2.10-1.0.0.jar,/home/hadoop/spark-1.0.0/examples/libs/spark-hive_2.10-1.0.0.jar,/home/hadoop/spark-1.0.0/lib_managed/jars/datanucleus-api-jdo-3.2.1.jar,/home/hadoop/spark-1.0.0/lib_managed/jars/datanucleus-core-3.2.2.jar,/home/hadoop/spark-1.0.0/lib_managed/jars/datanucleus-rdbms-3.2.1.jar,/home/hadoop/hive-0.12.0/lib/MySQL-connector-java-5.1.27-bin.jar

--files /home/hadoop/spark-1.0.0/conf/hive-site.xml 
/home/hadoop/spark-1.0.0/examples/libs/spark-0.0.1-SNAPSHOT.jar "hiveTest" "CREATE TABLE IF NOT EXISTS test4 (key INT, value STRING)"

其中，–master参数指定的是 yarn-cluster 模式，当然也可以使用 yarn-client 模式，至于区别，已经在上文说了；–class 指定的是我们包装类的主类，见上文源码；–jars是依赖的四个 jar 包；–files是指定的 hive-site.xml 配置文件，提交到 Yarn 中的 Application 在执行的时候，需要把此配置文件分发到每个 Executor 上；最后的两个参数，一个是 Application 的名称，一个是运行的 SQL 语句。

运行结束后，可以到 Spark HistoryServer 中查看运行结果。