阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Spark编译 [ERROR] PermGen space -> [Help 1]

139次阅读
没有评论

共计 1685 个字符,预计需要花费 5 分钟才能阅读完成。

1、设置 maven 的内存使用

export MAVEN_OPTS=”-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m”
如果不设置,会报下面错误
[INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.10/classes… 
[ERROR] PermGen space -> [Help 1] [INFO] Compiling 203 Scala sources and 9 Java sources to /Users/me/Development/spark/core/target/scala-2.10/classes… 
[ERROR] Java heap space -> [Help 1]
但是 Java 8 及以上版本不需要设置
2、指定 Hadoop 版本
因为 hdfs 版本不是协议兼容的,如果你要从 HDFS 读取文件,你需要指定你环境中的 hadoop 版本,通过 ”hadoop.version”属性指定,否则使用 1.0.4 版本作为默认版本
指定方式:

Spark 编译 [ERROR] PermGen space -> [Help 1]

对于 Apache 1.x,cloudera CDH 发布版本和其他没有 yarn 的 hadoop 版本需要使用

# Apache Hadoop 1.2.1 
mvn -Dhadoop.version=1.2.1 -DskipTests clean package 
# Cloudera CDH 4.2.0 with MapReduce v1
 mvn -Dhadoop.version=2.0.0-mr1-cdh4.2.0 -DskipTests clean package 
# Apache Hadoop 0.23.x 
mvn -Phadoop-0.23 -Dhadoop.version=0.23.7 -DskipTests clean package
对于有 yarn 的版本,并且 yarn 版本和 hadoop 版本不同的话可以使用
yarn.version 指定
指定格式:

Spark 编译 [ERROR] PermGen space -> [Help 1]

3、支持 hive 和 JDBC 的编译

添加 -Phive and Phive-thriftserver 选项默认是编译 hive 0.13.1 版本

更多 Spark 相关教程见以下内容

CentOS 7.0 下安装并配置 Spark  http://www.linuxidc.com/Linux/2015-08/122284.htm

Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

Spark 官方文档 – 中文翻译  http://www.linuxidc.com/Linux/2016-04/130621.htm

CentOS 6.2(64 位)下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark 简介及其在 Ubuntu 下的安装使用 http://www.linuxidc.com/Linux/2013-08/88606.htm

安装 Spark 集群(在 CentOS 上) http://www.linuxidc.com/Linux/2013-08/88599.htm

Hadoop vs Spark 性能对比 http://www.linuxidc.com/Linux/2013-08/88597.htm

Spark 安装与学习 http://www.linuxidc.com/Linux/2013-08/88596.htm

Spark 并行计算模型 http://www.linuxidc.com/Linux/2012-12/76490.htm

Ubuntu 14.04 LTS 安装 Spark 1.6.0(伪分布式)http://www.linuxidc.com/Linux/2016-03/129068.htm

Spark 的详细介绍:请点这里
Spark 的下载地址:请点这里

本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-10/135870.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计1685字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中