Hadoop-2.7.1伪分布式环境搭建

137次阅读

共计 4840 个字符，预计需要花费 13 分钟才能阅读完成。

1. 准备 Linux 环境
1.0 点击 VMware 快捷方式，右键打开文件所在位置 -> 双击 vmnetcfg.exe -> VMnet1 host-only -> 修改 subnet ip 设置网段：192.168.8.0 子网掩码：255.255.255.0 -> apply -> ok
回到 windows –> 打开网络和共享中心 -> 更改适配器设置 -> 右键 VMnet1 -> 属性 -> 双击 IPv4 -> 设置 windows 的 IP：192.168.8.100 子网掩码：255.255.255.0 -> 点击确定
在虚拟软件上 –My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok
1.1 修改主机名
vim /etc/sysconfig/network

NETWORKING=yes
HOSTNAME=FTH01

1.2 修改 IP
两种方式：
第一种：通过 Linux 图形界面进行修改（强烈推荐）
进入 Linux 图形界面 -> 右键点击右上方的两个小电脑 -> 点击 Edit connections -> 选中当前网络 System eth0 -> 点击 edit 按钮 -> 选择 IPv4 -> method 选择为 manual -> 点击 add 按钮 -> 添加 IP：192.168.8.118 子网掩码：255.255.255.0 网关：192.168.1.1 -> apply

第二种：修改配置文件方式（屌丝程序猿专用）
vim /etc/sysconfig/network-scripts/ifcfg-eth0

DEVICE=”eth0″
BOOTPROTO=”static”
HWADDR=”00:0C:29:3C:BF:E7″
IPV6INIT=”yeED=”yes”
ONBOOT=”yes”
TYPE=”Ethernet”
UUID=”ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c”
IPADDR=”192.168.8.11″
NETMASK=”255.255.255.0″
GATEWAY=”192.168.8.1″

执行 service network restart 命令使设置生效

1.3 修改主机名和 IP 的映射关系
vim /etc/hosts

192.168.8.11 FTH01

1.4 关闭防火墙
#查看防火墙状态
service iptables status
#关闭防火墙
service iptables stop
#查看防火墙开机启动状态
chkconfig iptables –list
#关闭防火墙开机启动
chkconfig iptables off

1.5 重启 Linux
reboot

注意！！！！！！
CentOS 的位数要与 Hadoop jdk 的位数一致

2. 安装 JDK
2.1 上传
通过 filezilla 软件上传文件，或者通过 secureCRT
2.2 解压 jdk
#创建文件夹
mkdir /usr/java
#解压
tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/

2.3 将 java 添加到环境变量中
vim /etc/profile
#在文件最后添加
export JAVA_HOME=/usr/java/jdk1.7.0_55
export PATH=$PATH:$JAVA_HOME/bin

#刷新配置
source /etc/profile

3. 安装 hadoop2.7.1

解压 hadoop 安装文件到 /fth/ 下

tar -zxvf hadoop 文件 -C /fth/
注意：hadoop2.x 的配置文件 $HADOOP_HOME/etc/hadoop
伪分布式需要修改 5 个配置文件 /fth/hadoop-2.7.1/conf/
3.1 配置 hadoop
第一个：hadoop-env.sh
vim hadoop-env.sh
#第 27 行
export JAVA_HOME=/usr/java/jdk1.7.0_65

第二个：core-site.xml
<!– 制定 HDFS 的老大（NameNode）的地址 –>
<property>
<name>fs.defaultFS</name>
<value>hdfs://FTH01:9000</value>
</property>
<!– 指定 hadoop 运行时产生文件的存储目录 –>
<property>
<name>hadoop.tmp.dir</name>
<value>/itcast/hadoop-2.7.1/tmp</value>
</property>

第三个：hdfs-site.xml
<!– 指定 HDFS 副本的数量 –>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>

第四个：mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
mv mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
<!– 指定 mr 运行在 yarn 上 –>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

第五个：yarn-site.xml
<!– 指定 YARN 的老大（ResourceManager）的地址 –>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>itcast01</value>
</property>
<!– reducer 获取数据的方式 –>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

3.2 将 hadoop 添加到环境变量

vim /etc/proflie
export JAVA_HOME=/usr/java/jdk1.7.0_65
export HADOOP_HOME=/itcast/hadoop-2.7.1
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile

3.3 格式化 namenode（是对 namenode 进行初始化）
hdfs namenode -format (hadoop namenode -format)

3.4 启动 hadoop
先启动 HDFS
sbin/start-dfs.sh

再启动 YARN
sbin/start-yarn.sh

3.5 验证是否启动成功
使用 jps 命令验证
27408 NameNode
28218 Jps
27643 SecondaryNameNode
28066 NodeManager
27803 ResourceManager
27512 DataNode

http://192.168.8.118:50070（HDFS 管理界面）
http://192.168.8.118:8088（MR 管理界面）

4. 配置 ssh 免登陆
#生成 ssh 免登陆密钥
#进入到我的 home 目录
cd ~/.ssh

ssh-keygen -t rsa（四个回车）
执行完这个命令后，会生成两个文件 id_rsa（私钥）、id_rsa.pub（公钥）
将公钥拷贝到要免登陆的机器上 cp id_rsa.pub authorized_keys
ssh-copy-id localhost
例如 ssh-copy-id 192.168.8.99 将 192.168.8.88 的公钥拷给 192.168.8.99 以后就可以不用输入密码，直接连上 192.168.8.99

5. 错误信息

查看 Linux 系统的位数 uname -a

1. Q：Java HotSpot(TM) ClientVM warning: You have loaded library/usr/local/hadoop2.5/lib/native/libhadoop.so.1.0.0which might have disabled stack guard. The VM will try to fix the stack guardnow.

A：这个问题的错误原因会发生在 64 位的操作系统上，原因是从官方下载的 hadoop 使用的本地库文件都是基于 32 位编译的，运行在 64 位系统上就会出现上述错误。

方案一：在 64 位系统上重新编译 hadoop；

方案二：在 hadoop-env.sh，yarn-env.sh 中添加下两行：

export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

export HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”

下面关于 Hadoop 的文章您也可能喜欢，不妨看看：

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm