阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop的安装与环境搭建

444次阅读
没有评论

共计 1593 个字符,预计需要花费 4 分钟才能阅读完成。

一、Hadoop 的安装

1. 下载地址:https://archive.apache.org/dist/hadoop/common/ 我下载的是 hadoop-2.7.3.tar.gz 版本。

2. 在 /usr/local/  创建文件夹 zookeeper

mkdir hadoop

Hadoop 的安装与环境搭建

3. 上传文件到 Linux 上的 /usr/local/source 目录下

Hadoop 的安装与环境搭建

3. 解压缩

运行如下命令:

tar -zxvf hadoop-2.7.3.tar.gz -C /usr/local/hadoop

Hadoop 的安装与环境搭建

4. 修改配置文件

进入到 cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop/ , 修改 hadoop-env.sh

Hadoop 的安装与环境搭建

运行 vim hadoop-env.sh, 修改 Java_HOME

Hadoop 的安装与环境搭建

 

5. 将 Hadoop 的执行命令加入到我们的环境变量里

在 /etc/profile 文件中加入:

export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin

执行 /etc/profile 文件:

source /etc/profile

6. 将 npfdev1 机器上的 hadoop 复制到 npfdev2 和 npfdev3 和 npfdev4 机器上。使用下面的命令:

首先分别在 npfdev2 和 npfdev3 和 npfdev4 机器上,建立 /usr/local/hadoop 目录,然后在 npfdev1 上分别执行下面命令:

scp -r /usr/local/hadoop/hadoop-2.7.3/  npfdev2:/usr/local/hadoop/

scp -r /usr/local/hadoop/hadoop-2.7.3/  npfdev3:/usr/local/hadoop/

scp -r /usr/local/hadoop/hadoop-2.7.3/  npfdev4:/usr/local/hadoop/

记住:需要各自修改 npfdev2 和 npfdev3 和 npfdev4 的 /etc/profile 文件:

在 /etc/profile 文件中加入:

export PATH=$PATH:/usr/local/hadoop/hadoop-2.7.3/bin:/usr/local/hadoop/hadoop-2.7.3/sbin

执行 /etc/profile 文件:

source /etc/profile

然后分别在 npfdev1 和 npfdev2 和 npfdev3 和 npfdev4 机器上, 执行 hadoop 命令,看是否安装成功。并且关闭防火墙。

Hadoop 的安装与环境搭建

7. 确定所有机器之间可以相互 ping 通,使用下面的命令:

(1). ping npfdev1

Hadoop 的安装与环境搭建

(2). ping npfdev2

Hadoop 的安装与环境搭建

(3). ping npfdev3

Hadoop 的安装与环境搭建

(4). ping npfdev4

Hadoop 的安装与环境搭建

8. 启动 hadoop:

我们这里将 npfdev1 作为 master,npfdev2 和 npfdev3 和 npfdev4 分别作为三台 slave。

(1). 修改配置文件 core-site.xml

进入 cd /usr/local/hadoop/hadoop-2.7.3/etc/hadoop

Hadoop 的安装与环境搭建

 

具体配置如下:

Hadoop 的安装与环境搭建

(2). 在 master 机器 npfdev1 上启动 namenode

首先需要格式化 namenode,第一次使用需要格式化,后来就不需要了。

hdfs namenode -format

Hadoop 的安装与环境搭建

然后启动 namenode:

hadoop-daemon.sh start namenode

Hadoop 的安装与环境搭建

通过 jps 命令查看,如果有 namenode 的 java 进程,就说明我们启动 namenode 成功。

Hadoop 的安装与环境搭建

(3). 在 slave 机器 npfdev2,npfdev3,npfdev4 上启动 datanode

Hadoop 的安装与环境搭建

更多 Hadoop 相关信息见 Hadoop 专题页面 https://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计1593字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7997205
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...
【开源神器】微信公众号内容单篇、批量下载软件

【开源神器】微信公众号内容单篇、批量下载软件

【开源神器】微信公众号内容单篇、批量下载软件 大家好,我是星哥,很多人都希望能高效地保存微信公众号的文章,用于...
星哥带你玩飞牛NAS硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话?

星哥带你玩飞牛NAS硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话?

星哥带你玩飞牛 NAS 硬件 01:捡垃圾的最爱双盘,暴风二期矿渣为何成不老神话? 前言 在选择 NAS 用预...
颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

颠覆 AI 开发效率!开源工具一站式管控 30+大模型ApiKey,秘钥付费+负载均衡全搞定

  颠覆 AI 开发效率!开源工具一站式管控 30+ 大模型 ApiKey,秘钥付费 + 负载均衡全...
300元就能买到的”小钢炮”?惠普7L四盘位小主机解析

300元就能买到的”小钢炮”?惠普7L四盘位小主机解析

  300 元就能买到的 ” 小钢炮 ”?惠普 7L 四盘位小主机解析 最近...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地 大家好,我是星哥,今天教大家在飞牛 NA...
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...
星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

星哥带你玩飞牛NAS-16:不再错过公众号更新,飞牛NAS搭建RSS

  星哥带你玩飞牛 NAS-16:不再错过公众号更新,飞牛 NAS 搭建 RSS 对于经常关注多个微...
免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

  免费无广告!这款跨平台 AI RSS 阅读器,拯救你的信息焦虑 在算法推荐主导信息流的时代,我们...
星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛NAS硬件02:某鱼6张左右就可拿下5盘位的飞牛圣体NAS

星哥带你玩飞牛 NAS 硬件 02:某鱼 6 张左右就可拿下 5 盘位的飞牛圣体 NAS 前言 大家好,我是星...