阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 6.5下Hadoop1.1.2环境搭建(单机版)

98次阅读
没有评论

共计 4553 个字符,预计需要花费 12 分钟才能阅读完成。

(1)我的电脑环境

CentOS6.5,32 位,在虚拟机下实现。

注意:下面的操作我都是使用 root 权限进行!

(2)jdk1.6 的安装

这里,我使用的 jdk 安装包如下,大家可以上网自行下载,这里推荐 jdk 为 1.6 为好,最好不要哦用 1.7.

CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

将 jdk 安装包移动到 /usr/local 这个目录下,(local 下的文件可以删除,没有用的)。

然后首先是给 jdk 安装包“X”的执行权限,chmod u+x jdk-6u24-linux-i586.bin。

然后就是执行安装即可,jdk-6u24-linux-i586.bin。

然后将 /usr/local 下 jdk 的文件夹从命名为 jdk。

 

(3)设置环境变量

接下来就是配置环境变量:

vi /etc/profile

 

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

 

输入 source /etc/profile 使配置文件生效。

检查 jdk 是否安装配置成功,java -version,若显示如下,表示安装成功。

CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

————————————– 分割线 ————————————– 

(4)配置 SSH 免密码登陆

1. 查看当前用户下 (root) 是否有.ssh 的隐藏文件,如果没有就创建一个 mkdir .ssh

2. 输入 ssh-keygen -t rsa

这个命令会在.ssh 文件夹下生成 id_dsa 和 id_ds.pub 两个文件,这私钥和公钥。

3. 输入 cp id_rsa.pub authorized_keys

这条命令是把公钥加到用于认证的公钥文件中

4. 验证 SSH 是否安装成功,以及是否可以免密码登陆本机

ssh localhost

如果显示如下,表示安装成功

CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

 

(5)修改主机名

为了方便,这里我把主机名改为 hadoop;

输入:hostname 可以显示当前主机名;

输入:vi /etc/sysconfig/network 修改 HOSTNAME,如下,保存并退出

CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

 

(6)将 hostname 与 ip 地址绑定

这个时候,如果直接 ping hadoop0,那么是不成功的,因为 hadoop0 没有和本机地址绑定;
输入:vi /etc/hosts,增加一行:
192.168.1.105 hadoop0
这里 192.168.1.105 是我本机的 Ip 地址,之后再 ping hadoop0 就成功了。

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2014-08/105268p2.htm

(7)安装并运行 Hadoop

下载并将 hadoop-1.1.2.tar.gz 解压到当前用户目录下(/usr/local)。

tar -zxvf hadoop-1.1.2.tar.gz。然后将 hadoop 文件夹重命名为 hadoop。

采用伪分布式 hadoop 配置

进入 hadoop 文件夹下的 conf 夹,修改配置文件。

1. 指定 jdk 安装位置:

Hadoop-env.sh:

export JAVA_HOME=/usr/local/jdk

2.hadoop 核心配置文件,配置 HDFS 地址和段口号。

core-site.xml

<configuration>
<property>
<name>fs.default.name</name>
<value>hdfs://hadoop:9000</value>
</property>
< /configuration>

注意:这里 hadoop 是你的电脑主机名,根据自己的主机名来修改。

3.hdfs-site.xml,默认的配置方式是 3,在单机版的 hadoop 中,将其改为 1

<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
< /configuration>

4. 配置 MapReduce 文件,配置 JobTracker 的地址和端口

mapred-site.xml

<configuration>
<property>
<name>mapred.job.tracker</name>
<value>hadoop:9001</value>
</property>
< /configuration>

 

注意:这里 hadoop 是你的电脑主机名,根据自己的主机名来修改。

 

 

5. 接下来,在启动 hadoop 前,需要格式化 hadoop 的 HDFS。进入 hadoop 文件夹,

输入 bin/hadoop namenode -format

格式化文件系统,接下来启动 hadoop

输入命令,启动所有进程:

bin/start-all.sh

可以通过 jps 命令来查看运行的进程,如果成功运行,那么将会有 5 个进程运行,如下图:
CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

分别是:JobTracker、secondaryNameNode、TaskTracker、NameNode 和 DataNode。

 

为了方便,也可以把 /usr/local/hadoop/bin 的路径添加到 PATH 下,那么久可以直接通过命令:start-all.sh 来启动。

vi /etc/profile

 

export JAVA_HOME=/usr/local/jdk

export HADOOP_HOME=/usr/local/hadoop

export PATH=.:$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin

 

最后验证 hadoop 是否安装成功。

打开浏览器,分别输入网址:

localhost:50030(mapreduce 的 web 页面)

localhost:50070(HDFS 的 web 页面)

 

如果想在 windows 下访问这两个网址,那么就需要关闭 CentOS 的防火墙,否则访问不了。

命令:service iptables stop

使用:chkconfig iptables off,可以关闭防火墙的自动运行

 

 

CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

 

 

CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

备注:我也是刚起步学习 hadoop,可能文章有一些不完整或错误的地方,还请大家多多指教,也希望能交流学习,互相促进提高。CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

更多 CentOS 相关信息见CentOS 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=14

(1)我的电脑环境

CentOS6.5,32 位,在虚拟机下实现。

注意:下面的操作我都是使用 root 权限进行!

(2)jdk1.6 的安装

这里,我使用的 jdk 安装包如下,大家可以上网自行下载,这里推荐 jdk 为 1.6 为好,最好不要哦用 1.7.

CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

将 jdk 安装包移动到 /usr/local 这个目录下,(local 下的文件可以删除,没有用的)。

然后首先是给 jdk 安装包“X”的执行权限,chmod u+x jdk-6u24-linux-i586.bin。

然后就是执行安装即可,jdk-6u24-linux-i586.bin。

然后将 /usr/local 下 jdk 的文件夹从命名为 jdk。

 

(3)设置环境变量

接下来就是配置环境变量:

vi /etc/profile

 

export JAVA_HOME=/usr/local/jdk

export PATH=.:$JAVA_HOME/bin:$PATH

 

输入 source /etc/profile 使配置文件生效。

检查 jdk 是否安装配置成功,java -version,若显示如下,表示安装成功。

CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

————————————– 分割线 ————————————– 

(4)配置 SSH 免密码登陆

1. 查看当前用户下 (root) 是否有.ssh 的隐藏文件,如果没有就创建一个 mkdir .ssh

2. 输入 ssh-keygen -t rsa

这个命令会在.ssh 文件夹下生成 id_dsa 和 id_ds.pub 两个文件,这私钥和公钥。

3. 输入 cp id_rsa.pub authorized_keys

这条命令是把公钥加到用于认证的公钥文件中

4. 验证 SSH 是否安装成功,以及是否可以免密码登陆本机

ssh localhost

如果显示如下,表示安装成功

CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

 

(5)修改主机名

为了方便,这里我把主机名改为 hadoop;

输入:hostname 可以显示当前主机名;

输入:vi /etc/sysconfig/network 修改 HOSTNAME,如下,保存并退出

CentOS 6.5 下 Hadoop1.1.2 环境搭建(单机版)

 

(6)将 hostname 与 ip 地址绑定

这个时候,如果直接 ping hadoop0,那么是不成功的,因为 hadoop0 没有和本机地址绑定;
输入:vi /etc/hosts,增加一行:
192.168.1.105 hadoop0
这里 192.168.1.105 是我本机的 Ip 地址,之后再 ping hadoop0 就成功了。

更多详情见请继续阅读下一页的精彩内容:http://www.linuxidc.com/Linux/2014-08/105268p2.htm

正文完
星哥说事-微信公众号
post-qrcode
 
星锅
版权声明:本站原创文章,由 星锅 2022-01-20发表,共计4553字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中