共计 1904 个字符，预计需要花费 5 分钟才能阅读完成。
Hadoop 的内存配置有两种方法：利用手动安装 hadoop 的帮助脚本；手动计算 yarn 和 mapreduce 内存大小进行配置. 此处只记录脚本计算方法:
用 wget 命令从 hortonworks 上下载脚本
python hdp-configuration-utils.py <options>
wget http://public-repo-1.hortonworks.com/HDP/tools/2.1.1.0/hdp_manual_install_rpm_helper_files-2.1.1.385.tar.gz
解压文件，运行 hdp-configuration-utils.py 脚本，执行以下命令
参数主要有以下几个：
|
|
|
|
|
|
|
|
|
|
其中：Core 的数量可以通过 nproc 命令计算；内存大小可以通过 free –m 命令来计算; 磁盘的数量可以同过 lsblk –s 或 sudo fdisk –l 命令来查看。
python hdp-configuration-utils.py -c 24 -m 16 -d 8 -k False
计算好每个选项需要的值，运行命令。例如：
将返回如下结果：
Using cores=24 memory=16GB disks=8 hbase=False
Profile: cores=24 memory=14336MB reserved=2GB usableMem=14GB disks=8
Num Container=14
Container Ram=1024MB
Used Ram=14GB
Unused Ram=2GB
yarn.scheduler.minimum-allocation-mb=1024
yarn.scheduler.maximum-allocation-mb=14336
yarn.nodemanager.resource.memory-mb=14336
mapreduce.map.memory.mb=1024
mapreduce.map.java.opts=-Xmx768m
mapreduce.reduce.memory.mb=2048
mapreduce.reduce.java.opts=-Xmx1536m
yarn.app.mapreduce.am.resource.mb=1024
yarn.app.mapreduce.am.command-opts=-Xmx768m
mapreduce.task.io.sort.mb=384
tez.am.resource.memory.mb=2048
tez.am.java.opts=-Xmx1536m
hive.tez.container.size=1024
hive.tez.java.opts=-Xmx768m
hive.auto.convert.join.noconditionaltask.size=134217000
最后可以参考以上结果来配置 mapred-site.xml 和 yarn-site.xml 文件中参数的值。
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
搭建 Hadoop 环境（在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建）http://www.linuxidc.com/Linux/2011-12/48894.htm
更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
