阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 7.2 下配置Hadoop3.0 教程

131次阅读
没有评论

共计 4489 个字符,预计需要花费 12 分钟才能阅读完成。

说明:

本文的部署方式是传统的解压包方式和 Linux 标准方式。配置的基本环境是 Win10 下的 VMware Workstation12.1pro,Linux 版本为 CentOS 7.2,Hadoop 版本为 Hadoop3.0.0。部署完成后是一个 cMaster 主节点节点和两个从节点(cSlave0 和 cSlave1),均运行在 VMware 虚拟机中。本文仅保证在该环境下配置能够正常使用,其他环境请自行酌情修改。

 

配置步骤:

1. 准备资源和环境。

下载 Centos 7.2 的 iso 安装镜像,jdk1.8 for Linux 压缩包,hadoop3.0.0 压缩包。下载链接分别如下:

https://www.centos.org/download/

http://www.Oracle.com/technetwork/java/javase/downloads/jdk8-downloads-2133151.html

http://hadoop.apache.org/releases.html

下载完成后如图所示

CentOS 7.2 下配置 Hadoop3.0 教程

 

2. 安装虚拟机。

在 Vmware workstation 中用典型 typical 方式安装 Centos7,每个虚拟机的资源为单核、1G 内存、20GB 磁盘。网络类型为 NAT。

CentOS 7.2 下配置 Hadoop3.0 教程

 

在安装的时候机器名称设置为 cMaster(注意此处的名称只是在 Vmware 中的一个标识而已,真正新安装的 centos7 系统里的机器名都为 localhost.localdomain)

CentOS 7.2 下配置 Hadoop3.0 教程

CentOS 7.2 下配置 Hadoop3.0 教程 啊

 

用户名使用 joe 密码也为 joe(可自行更改)

重复以上步骤,分别安装 cSlave0 和 cSlave1 两个从节点的虚拟机。

(只是在机器名处分别填写 cSlave0 和 cSlave1,其他步骤都相同)

注意:centos7 默认是进行最小化安装,安装完成后是不带有图形化界面。如果需要图形化界面在软件安装选项里要勾选上 gnome。

CentOS 7.2 下配置 Hadoop3.0 教程

CentOS 7.2 下配置 Hadoop3.0 教程

 

3. 修改配置文件。

当三台虚拟机均安装完成后,需要进行的是修改机器名、添加域名映射、关闭防火墙,并安装 jdk。

(1)修改机器名。

打开终端,切换到 root 用户下修改机器名称。

$ sudo su

$ vim /etc/sysconfig/network

CentOS 7.2 下配置 Hadoop3.0 教程

 

在其中添加“HOSTNAME=cMaster”,然后重启当前虚拟机,再查看机器名就是 cMaster 了。

如果重启之后机器名不是 cMaster,可以使用命令 hostnamectl set-hostnamecMaster 修改机器名

CentOS 7.2 下配置 Hadoop3.0 教程

CentOS 7.2 下配置 Hadoop3.0 教程

 

 

 

 

 

(2)添加域名映射

使用 ifconfig 命令分别查看三台虚拟机的 IP 地址。然后将三个 ip 地址都添加到各自的 /etc/hosts 文件中。

CentOS 7.2 下配置 Hadoop3.0 教程

CentOS 7.2 下配置 Hadoop3.0 教程

 

 

3 台机器均修改完成后,使用 pingslave0/cmaster/cslave1 命令测试各机器之间是否能够正常通三台机信。如果出现下图所示信息说明通信正常。

CentOS 7.2 下配置 Hadoop3.0 教程

 

(3)关闭当前机器的防火墙。

在 root 权限下执行以下两条指令,关闭防火墙并阻止其开机启动。

systemctl stop firewalld.service# 停止 firewall
systemctl disable firewalld.service# 禁止 firewall 开机启动

(4)安装 JDK。

将之前下载好的 jdk 复制到虚拟机中的 /home/joe/ 目录下,

使用命令 rpm –ivh /home/joe/jdk-8u101-linux-x64.rpm 解压安装

安装完成后使用 javac 命令测试 jdk 是否安装成功,如果出现了如下图提示,说明安装 jdk 成功。

CentOS 7.2 下配置 Hadoop3.0 教程

 

 

 

4.解压 hadoop,部署 hadoop

(1)按照以上步骤配置完成后,最好重启一下所有机器,确保所有的设置生效。

然后利用 joe 账户分别登录三台机器。将事先下载好的 hadoop 压缩包复制到每台机器的 /home/joe/ 目录下,然后在每一台机器上分别使用

tar–zxvf /home/joe/ hadoop-3.0.0-alpha1.tar.gz 命令解压安装 hadoop3.0.

CentOS 7.2 下配置 Hadoop3.0 教程

 

 

(2)解压完成后需要修改 hadoop 的配置文件。

(本小节步骤在三台机器上都完全相同,三台机器都需要进行修改)

A.使用如下指令编辑 hadoop-env.sh 文件

 gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/hadoop-env.sh

 

在文件中找到 exportJAVA_HOME=${JAVA_HOME}

修改为 exportJAVA_HOME=/usr/java/jdk1.8.0_101(填写自己安装的 jdk 的路径)

CentOS 7.2 下配置 Hadoop3.0 教程

 

 

 

B.修改 core-site.xml 文件

使用命令 gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/core-site.xml

在 <configuration> 标签之间插入以下内容。

<property><name>hadoop.tmp.dir</name><value>/home/joe/cloudData</value></property>

<property><name>fs.defaultFS</name><value>hdfs://cMaster:8020</value></property>

CentOS 7.2 下配置 Hadoop3.0 教程

 

 

 

C.修改 yarn-site.xml 文件

使用以下命令修改 gedit /home/joe/hadoop-3.0.0-alpha1/etc/hadoop/yarn-site.xml

在 <configuration> 标签之间插入以下内容

<property><name>yarn.resourcemanager.hostname</name><value>cMaster</value></property>

<property><name>yarn.nodemanager.aux-services</name><value>mapreduce_shuffle</value></property>

CentOS 7.2 下配置 Hadoop3.0 教程

 

 

 

D.修改 mapred-site.xml.template

将 /home/joe/hadoop-3.0.0-alpha1/etc/hadoop/ 目录下的 mapred-site.xml.template 重命名为 mapred-site.xml

并用命令 gedit/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/mapred-site.xml

在 <configuration> 标签之间加入如下内容:

<property><name>mapreduce.framework.name</name><value>yarn</value></property>

CentOS 7.2 下配置 Hadoop3.0 教程

 

 

 

E.启动 hadoop

首先格式化主节点命名空间,使用命令:

/home/joe/hadoop-3.0.0-alpha1/bin/hdfsnamenode –formate

其次在主节点上启动存储服务和资源管理主服务。使用命令:

/home/joe/hadoop-3.0.0-alpha1/sbin/hadoop-daemon.sh start namenode #启动主存储服务

/home/joe/hadoop-3.0.0-alpha1/sbin/yarn-daemon.sh start resourcemanager # 启动资源管理服务。

最后在从节点上启动存储从服务和资源管理从服务(以下两条命令要在两台机器上分别执行)

/home/joe/hadoop-3.0.0-alpha1/sbin/hadoop-daemon.sh start datanode #启动从存储服务

/home/joe/hadoop-3.0.0-alpha1/sbin/yarn-daemon.sh start nodemanager #启动资源管理从服务

CentOS 7.2 下配置 Hadoop3.0 教程

 

 

 

服务启动后在三台机器上分别使用 jps 命令查看是否启动。

cSlave0 和 cSlave1 如下图所示

CentOS 7.2 下配置 Hadoop3.0 教程

 

cMaster 节点显示如下图所示

CentOS 7.2 下配置 Hadoop3.0 教程

 

在 cMaster 机器的浏览器地址栏里输入 cMaster:50070 可以看到 HDFS 的相关信息,cMaster:8088 可以看到 Yarn 的相关信息。

 

如图还可以查看从节点的信息。

CentOS 7.2 下配置 Hadoop3.0 教程

 

至此 Hadoop3.0 的配置工作已经完成了。接下来可以使用示例程序 Wordcount 来利用分布式系统统计某个文件中单词出现的次数。

在 cMaster 上以 joe 用户登录,然后执行以下的操作命令:

  cd/home/joe/hadoop-3.0.0-alpha1/

bin/hdfs dfs -mkdir /in

bin/hdfs dfs -put/home/joe/hadoop-3.0.0-alpha1/etc/hadoop/* /in

bin/hadoop jarshare/hadoop/mapreduce/hadoop-mapreduce-examples-3.0.0-alpha1.jar  wordcount /in /out/wc

如下图,在浏览器中输入 cMaster:50070 可以看到 hdfs,切换到相应文件夹下可以看到统计出的结果。

CentOS 7.2 下配置 Hadoop3.0 教程

下面关于 Hadoop 的文章您也可能喜欢,不妨看看:

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

CentOS 6.3 下 Hadoop 伪分布式平台搭建  http://www.linuxidc.com/Linux/2016-11/136789.htm

Ubuntu 14.04 LTS 下安装 Hadoop 1.2.1(伪分布模式)http://www.linuxidc.com/Linux/2016-09/135406.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop 2.6.0 HA 高可用集群配置详解  http://www.linuxidc.com/Linux/2016-08/134180.htm

Spark 1.5、Hadoop 2.7 集群环境搭建  http://www.linuxidc.com/Linux/2016-09/135067.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-11/137244.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计4489字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中