阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop的内存配置

200次阅读
没有评论

共计 1904 个字符,预计需要花费 5 分钟才能阅读完成。

Hadoop 的内存配置有两种方法:利用手动安装 hadoop 的帮助脚本;手动计算 yarn 和 mapreduce 内存大小进行配置. 此处只记录脚本计算方法:

用 wget 命令从 hortonworks 上下载脚本

python hdp-configuration-utils.py <options>

wget  http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_manual_install_rpm_helper_files-2.1.1.385.tar.gz

解压文件,运行 hdp-configuration-utils.py 脚本,执行以下命令

参数主要有以下几个:

Option
 Description
-c CORES
 The number of cores on each host.
-m MEMORY    
 The amount of memory on each host in GB.
-d DISKS
 Thenumber of disks on each host.
-k HBASE
"True"if HBase is installed, "False" if not.      

其中:Core 的数量可以通过 nproc 命令计算;内存大小可以通过 free –m 命令来计算; 磁盘的数量可以同过 lsblk –s 或 sudo fdisk –l 命令来查看。

python hdp-configuration-utils.py  -c 24 -m 16 -d 8 -k False

计算好每个选项需要的值,运行命令。例如:

将返回如下结果:

 Using cores=24 memory=16GB disks=8 hbase=False
 Profile: cores=24 memory=14336MB reserved=2GB usableMem=14GB disks=8   
 Num Container=14
 Container Ram=1024MB
 Used Ram=14GB
 Unused Ram=2GB
 yarn.scheduler.minimum-allocation-mb=1024
 yarn.scheduler.maximum-allocation-mb=14336
 yarn.nodemanager.resource.memory-mb=14336
 mapreduce.map.memory.mb=1024
 mapreduce.map.java.opts=-Xmx768m
 mapreduce.reduce.memory.mb=2048
 mapreduce.reduce.java.opts=-Xmx1536m
 yarn.app.mapreduce.am.resource.mb=1024
 yarn.app.mapreduce.am.command-opts=-Xmx768m
 mapreduce.task.io.sort.mb=384
 tez.am.resource.memory.mb=2048
 tez.am.java.opts=-Xmx1536m
 hive.tez.container.size=1024
 hive.tez.java.opts=-Xmx768m
 hive.auto.convert.join.noconditionaltask.size=134217000

最后可以参考以上结果来配置 mapred-site.xml 和 yarn-site.xml 文件中参数的值。

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计1904字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中