CentOS 7 安装 Hadoop-cdh-2.5 on Mesos

共计 2842 个字符，预计需要花费 8 分钟才能阅读完成。

CentOS 7 安装 Hadoop-cdh-2.5 on Mesos

1. 环境说明

master    192.168.0.223  mesos-master

slave    192.168.0.225  mesos-salve

2. 环境准备

关闭防火墙

关闭 selinux

两台机器修改主机名 master/slave

设置 hosts，能互相解析

3.master 和 slave 配置 ssh 互信

这里配置 hadoop 用户双机互信，因为 hadoop 用 hadoop 用户启动

master
yum  -y install  sshpass
ssh-keygen 一路回车
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.220
slave
yum  -y install  sshpass
ssh-keygen 一路回车
ssh-copy-id -i ~/.ssh/id_rsa.pub hadoop@192.168.0.201
测试 ssh 对方主机，不提示输入密码则 OK

4. 安装 JDK

tar zxvf jdk-8u65-linux-x64.tar.gz

mv jdk1.8.0_65  /usr/jdk

4.1 设置环境变量

export JAVA_HOME=/usr/jdk

export JRE_HOME=/usr/jdk/jre

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JRE_HOME/lib

export PATH=$PATH:$JAVA_HOME/bin:$JRE_HOME/bin

执行 source  /etc/profile

4.2 测试 JDK

java -version #出现版本信息

5. 安装 mesos 主从，看其他博客

安装完成，会在 /usr/local/lib 下生成一个 libmesos.so 文件

6. 安装和配置 Hadoop

master 和 slave
 
tar zxvf hadoop-2.5.0-cdh5.4.8.tar.gz

mv hadoop-2.5.0-cdh5.4.8  /usr/hadoop

cd  /usr/hadoop

mkdir -p tmp

cd /usr/hadoop/

mv bin bin-mapreduce2/

ln -s bin-mapreduce1  bin

mv example  example-mapreduce2

ln -s example-mapreduce1  example

cd etc/

mv hadoop hadoop-mapreduce2

ln -s hadoop-mapreduce1 hadoop

7. 添加 hadoop 环境变量

vim /etc/profile

 export HADOOP_HOME=/usr/hadoop

 export PATH=$PATH:$HADOOP_HOME:$HADOOP_HOME/bin

source /etc/profile

8. 获取 hadoop on mesos 的 jar 包

yum -y install maven openjdk-7-jdk git

git clone

cd hadoop

mvn package  #获取 jar 包,jar 包会在 target 下

9. 把获取的 jar 包放到 hadoop 安装目录下

master 和 slave

cp hadoop/target/hadoop-mesos-0.1.0.jar  /usr/hadoop/share/hadoop/common/lib/

10. 配置 hadoop on mesos

master 和 slave

vim  /usr/hadoop/etc/hadoop/mapred.site.xml

<property>

  <name>mapred.job.tracker</name>

  <value>localhost:9001</value>

</property>

<property>

  <name>mapred.jobtracker.taskScheduler</name>

  <value>org.apache.hadoop.mapred.MesosScheduler</value>

</property>

<property>

  <name>mapred.mesos.taskScheduler</name>

  <value>org.apache.hadoop.mapred.JobQueueTaskScheduler</value>

</property>

<property>

  <name>mapred.mesos.master</name>

  <value>zk://192.168.0.223</value>

</property>

<property>

  <name>mapred.mesos.executor.uri</name>

  <value>hdfs://localhost:9000/hadoop-2.5.0-cdh5.2.0.tar.gz</value>

</property>

11. 给 hadoop 用户权限

master 和 slave

chown -R  hadoop:hadoop /usr/hadoop

12. 在 master 上启动 jobtracker，连接 mesos

su hadoop

MESOS_NATIVE_LIBRARY=/usr/local/lib/libmesos.so hadoop jobtracker

13. 测试

输入 192.168.0.223:5050 看看框架里有没有 hadoop

下面关于 Hadoop 的文章您也可能喜欢，不妨看看：

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址：http://www.linuxidc.com/Linux/2015-11/125033.htm