阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop集群安装注意事项

296次阅读
没有评论

共计 2186 个字符,预计需要花费 6 分钟才能阅读完成。

(2013 年 1 月 5 日)近日在网上找到两篇关于 Ubuntu 下 Hadoop 单机和集群安装的文章,英文的

可以用来参考一下:

1. http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-single-node-cluster/

2. http://www.michael-noll.com/tutorials/running-hadoop-on-ubuntu-linux-multi-node-cluster/

总体来说,跟单机版的差不多,只是配置文件需要做些修改,以及各个服务器之间可以无密码 ssh 切换。现在简单描述一下:

1. 所有机器的安装目录要保持一致,比如都是在~/hadoop/ 目录下,将 hadoop 添加到环境变量当中去,修改.bashrc, 在后面添加:

export HADOOP_HOME=/home/user/hadoop/hadoop

export PATH=${HADOOP_HOME}/bin:${PATH}

export HADOOP_CONF_DIR=$HADOOP_HOME/conf

CLASSPATH=.:$HADOOP_HOME/lib

2. 修改 hadoop-env.sh

export Java_HOME=$JAVA_HOME
export HADOOP_CLASSPATH=”$HADOOP_CLASSPATH”
export HADOOP_HEAPSIZE=2048

3. 设置 masters 内容
 
    machine1(/etc/hosts 里面需要配置好的,具体查看这个文件)
 
  4. 设置 slaves 内容
 
    machine1
 
    machine2
 
  5. 设置 core-site.xml
 
<configuration>
  <property>
 <name>hadoop.tmp.dir</name>
        <value>/home/user/hadoop/hadoop/tmp</value>
  </property>
  <property>
 <name>fs.default.name</name>
        <value>hdfs://machine1:9000</value>
  </property>
</configuration>
 
 6. 设置 hdfs-site.xml
 
<configuration>
    <property>
 <name>dfs.replication</name>
        <value>2</value>
    </property>
</configuration>
 
 7. 设置 mapred-site.xml
 
<configuration>
  <property>
 <name>mapred.job.tracker</name>
 <value>machine1:9001</value>
  </property>
  <property>
    <name>mapred.child.java.opts</name>
    <value>-server -Xmx1g -Djava.net.preferIPv4Stack=true</value>
  </property>
</configuration>
 
 注:mapred.child.java.opts 是执行 task 的时候新建的子 JVM 虚拟机最大内存的指定,默认是 640M
 
所以也可以不设置,只有当你运行任务内存不够的时候设置这个值。
 
将 hadoop-env.sh,core-site.xml,hdfs-site.xml,mapred-site.xml,masters,slaves 文件分发到其它 hadoop node, 依然是通过 start-dfs.sh start-mapred.sh 启动 hadoop, 启动好之后,master 机器上的进程还是跟单机版的一样有 namenode, datanode, secondaryNameNode,jobtracker, tasktracker, slave 机器上有两个进程,一个是 datanode , 一个 tasktracker 进程。

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

相关阅读

Hadoop 2.0 安装向导 (0.23.x) http://www.linuxidc.com/Linux/2012-05/61463.htm

Hadoop 1.2.1 单节点安装 (Single Node Setup) 步骤 http://www.linuxidc.com/Linux/2013-08/89377.htm

在 CentOS 上安装 Hadoop http://www.linuxidc.com/Linux/2013-08/88600.htm

Ubuntu 12.04 安装 Hadoop http://www.linuxidc.com/Linux/2013-08/88187.htm

CentOS 6.3 x86_64 安装与配置 Hadoop-1.0 http://www.linuxidc.com/Linux/2013-07/87959.htm

Hadoop 入门 –Hadoop2 伪分布式安装 http://www.linuxidc.com/Linux/2013-06/86403.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2186字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中