阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

关于CentOS 6下Hadoop占用系统态CPU高的处理办法

103次阅读
没有评论

共计 1395 个字符,预计需要花费 4 分钟才能阅读完成。

一次不经意发现 Hadoop 的系统态 CPU 使用率很高,然后百度一下居然是个已知问题。

RHEL6 优化了内存申请的效率,而且在某些场景下对 KVM 的性能有明显提升:http://www.linux-kvm.org/wiki/images/9/9e/2010-forum-thp.pdf。

而 Hadoop 是个高密集型内存运算系统,这个改动似乎给它带来了副作用。理论上运算型 Java 程序应该更多的使用用户态 CPU 才对,Cloudera 官方也推荐关闭 THP。于是参考一些文章作了调整:

  1. # for hadoop , disable thp
  2. echo never >/sys/kernel/mm/RedHat_transparent_hugepage/enabled
  3. echo never >/sys/kernel/mm/redhat_transparent_hugepage/defrag

作用非常明显:

关于 CentOS 6 下 Hadoop 占用系统态 CPU 高的处理办法

效果很明显,大概 12:05 分的时候操作的,系统态占用基本消失了。文件 Cache 使用上升、机器负载下降。

除了手动修改运行时参数之外,还可以修改 /etc/grub.conf 里内核的启动参数,追加“transparent_hugepage=never”(此选项只对 /sys/kernel/mm/redhat_transparent_hugepage/enabled 有效)。

原本 transparent_hugepage 功能是在内核 2.6.38 之后才引入的,红帽在 RHEL6 就将此功能合并进来、详细还有待进一步了解。

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

via : http://hi.baidu.com/higkoo/item/eb5e69c17c6b300a0ad93a00

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计1395字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中