阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

64位CentOS下Hadoop2.2.0集群安装

138次阅读
没有评论

共计 6503 个字符,预计需要花费 17 分钟才能阅读完成。

1、准备环境

  三台 64 位 CentOS,安装在 VMware 虚拟机下。

  1)安装中文输入法:

      1、需要 root 权限,所以要用 root 登录,或 su root

        2、yum install “@Chinese Support”

  2)安装 ssh 或者 vsftp

      使用 chkconfig –list 来查看是否装有 vsftpd 服务;

      使用 yum 命令直接安装:yum install vsftpd

      查看与管理 ftp 服务:

      启动 ftp 服务:service vsftpd start

        查看 ftp 服务状态:service vsftpd status

        重启 ftp 服务:service vsftpd restart

        关闭 ftp 服务:service vsftpd stop

    3)jdk 安装

    参考 http://www.linuxidc.com/Linux/2014-06/102663.htm

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

2、修改主机名

      本人安装一个虚拟机,然后通过虚拟机 -》管理 -》克隆 完成其他两台机器的安装,现在存在的一个问题就是主机名是一样的,这个明显不是自己想要的,所以需要修改其余两台的主机名。

  [root@slaver2 sysconfig]# vi /etc/sysconfig/network

    NETWORKING=yes

    HOSTNAME=slaver

3、配置 /ect/hosts,三台服务器的配置一样

vi /etc/hosts

192.168.21.128  master

192.168.21.131  slaver

192.168.21.130  slaver2

4、创建用户(使用 root 用户创建后来发现 Browse the filesystem 报错,后来查文档,建议使用新建的用户)

useradd  hadoop

passwd hadoop

输入密码,确认

5、ssh 无密码登录

参考:http://www.linuxidc.com/Linux/2014-06/102664.htm

6、HADOOP 的下载和环境的配置

http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/

[] hadoop-2.2.0.tar.gz        07-Oct-2013 14:46  104M

hadoop 环境变量的配置:

vi/etc/profile

在文件的最下面添加

export HADOOP_HOME=/usr/zkt/hadoop2.2.0/hadoop-2.2.0

export PAHT=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_LOG_DIR=/usr/zkt/hadoop2.2.0/hadoop-2.2.0/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”

注:在 64 位操作系统上需要加入一下红色部分的配置信息

注:/usr/zkt/hadoop2.2.0/hadoop-2.2.0 为自定义的下载 hadoop 文件的解压路径

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-06/102662p2.htm

7、修改 Hadoop 的配置文件 hadoop2.2.0/etc/hadoop

1、修改 hadoop-env.sh 确保 hadoop 运行所需要的 java 环境

# The java implementation to use.

export JAVA_HOME=/usr/java/jdk1.7.0_55

2、修改 core-site.xml 文件 定义文件系统的配置

<configuration>

<property>

<name>fs.default.name</name>

<value>hdfs://master:9000/</value>

</property>

<property>

<name>hadoop.tmp.dir</name>

<value>/usr/zkt/hadoop2.2.0/tmp</value>

</property>

</configuration>

3、修改 hadfs-site.xml 定义名称节点和数据节点

<configuration>

<property>

<name>dfs.datanode.data.dir</name>

<value>/usr/zkt/hadoop2.2.0/data</value>

<final>true</final>

</property>

<property>

<name>dfs.namenode.name.dir</name>

<value>/usr/zkt/hadoop2.2.0/hdf/name</value>

<final>true</final>

</property>

<property>

<name>dfs.replication</name>

<value>2</value>

</property>

<property>

<name>dfs.permissions</name>

<value>false</value>

</property>

</configuration>

4、修改 mapred-site.xml Configurations for MapReduce Applications

<property>

<name>mapred.job.tracker</name>

<value>master:9001</value>

</property>

5、修改 yarn-site.xml 文件

该文件主要用于:

1、Configurations for ResourceManager and NodeManager:

2、Configurations for ResourceManager:

3、Configurations for NodeManager:

4、Configurations for History Server (Needs to be moved elsewhere):

<property>

<name>yarn.nodemanager.aux-services</name>

<value>mapreduce_shuffle</value>

</property>

<property>

<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>

<value>org.apache.hadoop.mapred.ShuffleHandler</value>

</property>

<property>

<name>yarn.resourcemanager.resource-tracker.address</name>

<value>master:8025</value>

</property>

<property>

<name>yarn.resourcemanager.scheduler.address</name>

<value>master:8030</value>

</property>

<property>

<name>yarn.resourcemanager.address</name>

<value>master:8040</value>

</property>

8、创建第 7 步配置文件中多出的文件夹

data tmp name log mkdir -r /usr/zkt/hadoop2.2.0/data 等

9、为这些文件夹赋权限 比较关键 不然文件生成的时候无文件创建、写权限

su – root

chown -R hadoop:hadoop /usr/zkt/hadoop2.2.0 (不明白的可以查看 chown 命令)

10、将配置好的 hadoop 分别拷贝到 slaver 和 slaver2 主机上

scp -r /usr/zkt/hadoop2.2.0/hadoop-2.2.0 hadoop@slaver:/usr/zkt/hadoop2.2.0/

scp -r /usr/zkt/hadoop2.2.0/hadoop-2.2.0 hadoop@slaver2:/usr/zkt/hadoop2.2.0/

11、hadoop namenode 的初始化

如果 hadoop 环境变量配置没问题直接使用

hdfs namenode -format

hadoop command not found 解决办法:

echo $PATH

发现 hadoop 的环境变量是:/home/hadoop/bin 而不是我们配置的环境变量,我们需要把 hadoop-2.2.0 包下的 bin、sbin 文件夹拷贝到 /home/hadoop/ 下,再次 echo $PATH,发现可以了。

12、启动 hadoop

start-all.sh

关闭 hadoop

stop-all.sh

13、查看启动的节点进程

jps

14、通过页面请求查看

http://master:50070

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

1、准备环境

  三台 64 位 CentOS,安装在 VMware 虚拟机下。

  1)安装中文输入法:

      1、需要 root 权限,所以要用 root 登录,或 su root

        2、yum install “@Chinese Support”

  2)安装 ssh 或者 vsftp

      使用 chkconfig –list 来查看是否装有 vsftpd 服务;

      使用 yum 命令直接安装:yum install vsftpd

      查看与管理 ftp 服务:

      启动 ftp 服务:service vsftpd start

        查看 ftp 服务状态:service vsftpd status

        重启 ftp 服务:service vsftpd restart

        关闭 ftp 服务:service vsftpd stop

    3)jdk 安装

    参考 http://www.linuxidc.com/Linux/2014-06/102663.htm

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

2、修改主机名

      本人安装一个虚拟机,然后通过虚拟机 -》管理 -》克隆 完成其他两台机器的安装,现在存在的一个问题就是主机名是一样的,这个明显不是自己想要的,所以需要修改其余两台的主机名。

  [root@slaver2 sysconfig]# vi /etc/sysconfig/network

    NETWORKING=yes

    HOSTNAME=slaver

3、配置 /ect/hosts,三台服务器的配置一样

vi /etc/hosts

192.168.21.128  master

192.168.21.131  slaver

192.168.21.130  slaver2

4、创建用户(使用 root 用户创建后来发现 Browse the filesystem 报错,后来查文档,建议使用新建的用户)

useradd  hadoop

passwd hadoop

输入密码,确认

5、ssh 无密码登录

参考:http://www.linuxidc.com/Linux/2014-06/102664.htm

6、HADOOP 的下载和环境的配置

http://mirror.esocc.com/apache/hadoop/common/hadoop-2.2.0/

[] hadoop-2.2.0.tar.gz        07-Oct-2013 14:46  104M

hadoop 环境变量的配置:

vi/etc/profile

在文件的最下面添加

export HADOOP_HOME=/usr/zkt/hadoop2.2.0/hadoop-2.2.0

export PAHT=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

export HADOOP_LOG_DIR=/usr/zkt/hadoop2.2.0/hadoop-2.2.0/logs

export YARN_LOG_DIR=$HADOOP_LOG_DIR

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_HOME/lib/native

export HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”

注:在 64 位操作系统上需要加入一下红色部分的配置信息

注:/usr/zkt/hadoop2.2.0/hadoop-2.2.0 为自定义的下载 hadoop 文件的解压路径

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-06/102662p2.htm

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计6503字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中