阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

一台x86计算机搭建Hadoop的全分布式集群

429次阅读
没有评论

共计 4470 个字符,预计需要花费 12 分钟才能阅读完成。

基本的软硬件配置:

x86 台式机,Windows 7 64 位系统

vb 虚拟机 (x86 的台式机至少是 4G 内存,才能开 3 台虚机)

CentOS6.4 操作系统

Hadoop-1.1.2.tar.gz

jdk-6u24-linux-i586.bin

WinScp 远程文件传输工具,很好用。可以用于 windows 和虚拟机 Linux 之间文件相互拷贝。

一、root 下的配置

a) 修改主机名:vi /etc/sysconfig/network

Master,slave1,slave2

b) 解析 Ip: vi /etc/hosts

192.168.8.100 master

192.168.8.101 slave1

192.168.8.102 slave2

c) 调试网络:

采用网桥连接网络,配置网络。

修改后记得调用 service network restart

确保三台虚拟机能够相互 ping 通。

d) 关闭防火墙

查看:service iptables status

关闭:service iptables stop

查看防火墙有无自启动:

Chkconfig –-list | grepiptables

关闭自启动:

Chkconfig iptables off

二、yao 用户下的配置

a) 创建用户 yao, 设置密码,进入用户

useradd yao

passwd 123456

b) master 创建公私秘钥

ssh-keygen –t rsa

1) 将 id_rsa.pub 复制给 authorized_keys

Cp id_rsa.pub authorized_keys

2) 将 master 中的 authorized_keys 复制给 slave1 的 /home 下

scp id_rsa.pub root@192.168.8.101:/home

3) 将 master 拷贝过来的 authorized_keys 复制到 slave1 本身所创的 authorized_keys 下,同理 slave2 的也是。最后达到任一个 authorized_keys 中都包含所有机组的公钥。

4) 将 hadoop 拷贝复制到对应的机子中 /home/yao/Documents/

在 root 下配置环境变量:vi /etc/profile

export HADOOP_HOME=/home/yao/Documents/hadoop

export HADOOP_HOME_WARN_SUPPRESS=1

export PATH=.:$PATH:$HADOOP_HOME

注:su + 用户名实现切换用户。

5)安装 jdk, 解压时需要授权;

Chmod u+x jdk。。。

解压。

配置环境变量:vi /etc/profile

一台 x86 计算机搭建 Hadoop 的全分布式集群

6)修改 /hadoop/conf 下的配置文件

修改 core-site.xml

一台 x86 计算机搭建 Hadoop 的全分布式集群

修改 hdfs-site.xml

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-05/102533p2.htm

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

三、拷贝 Hadoop

上述 master 中的 hadoop 配置基本完成了,由于 namenode 节点上的 hadoop 配置是相同的,所以现在将 master 上的 hadoop 分别拷贝到 slave1 和 slave2 上。

命令:

Scp -r ./hadoop yao@slave1:/home/yao/

Scp -r ./hadoop yao@slave2:/home/yao/

拷贝完成后,在 master 机器上 hadoop 目录下执行:

格式化:Bin/hadoop namenode -format

下一步,执行启动:

Bin/start-all.sh

一台 x86 计算机搭建 Hadoop 的全分布式集群

在 slave1 中,输入 jps:

一台 x86 计算机搭建 Hadoop 的全分布式集群

类似的在 slave2 中,输入 jps,也能得到同样的结果:

总结:

配置这种全分布式的 hadoop 集群,分为几个步骤:

1)配置 Hosts 文件

2)建立 Hadoop 运行账号

3)配置 ssh 免密码连入

4)下载并解压 hadoop 安装包

5)配置 namenode, 修改 site 文件

6)配置 hadoop-env.sh

7)配置 masters, 和 slaves 文件

8)向个节点复制 hadoop

9)格式化 namenode

10)启动 hadoop

11)用 jps 检验各后台进程是否成功启动

注:不能眼高手低,从装机开始,每一步都会遇到各种各样的问题需要解决。这是个熟悉指令和 hadoop 文件机制的过程。

伪分布式

伪分布式的搭建是非常简单的,因为它是单一的节点,上述步骤只需要:

1)建立 Hadoop 运行账号

2)配置 ssh 免密码连入(单一节点,只要将 id_rsa.pub 复制到 authorized_keys 中就能实现自身免密码)

3)下载并解压 hadoop 安装包

4)下载 jdk,并解压安装

5)修改 site 文件

6)配置 hadoop-env.sh

7)格式化 namenode

8)启动 hadoop

9)用 jps 检验各后台进程是否成功启动

OK, 基本上理解 hadoop 搭建的过程,伪分布和全分布都是很简单的。

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

基本的软硬件配置:

x86 台式机,Windows 7 64 位系统

vb 虚拟机 (x86 的台式机至少是 4G 内存,才能开 3 台虚机)

CentOS6.4 操作系统

Hadoop-1.1.2.tar.gz

jdk-6u24-linux-i586.bin

WinScp 远程文件传输工具,很好用。可以用于 windows 和虚拟机 Linux 之间文件相互拷贝。

一、root 下的配置

a) 修改主机名:vi /etc/sysconfig/network

Master,slave1,slave2

b) 解析 Ip: vi /etc/hosts

192.168.8.100 master

192.168.8.101 slave1

192.168.8.102 slave2

c) 调试网络:

采用网桥连接网络,配置网络。

修改后记得调用 service network restart

确保三台虚拟机能够相互 ping 通。

d) 关闭防火墙

查看:service iptables status

关闭:service iptables stop

查看防火墙有无自启动:

Chkconfig –-list | grepiptables

关闭自启动:

Chkconfig iptables off

二、yao 用户下的配置

a) 创建用户 yao, 设置密码,进入用户

useradd yao

passwd 123456

b) master 创建公私秘钥

ssh-keygen –t rsa

1) 将 id_rsa.pub 复制给 authorized_keys

Cp id_rsa.pub authorized_keys

2) 将 master 中的 authorized_keys 复制给 slave1 的 /home 下

scp id_rsa.pub root@192.168.8.101:/home

3) 将 master 拷贝过来的 authorized_keys 复制到 slave1 本身所创的 authorized_keys 下,同理 slave2 的也是。最后达到任一个 authorized_keys 中都包含所有机组的公钥。

4) 将 hadoop 拷贝复制到对应的机子中 /home/yao/Documents/

在 root 下配置环境变量:vi /etc/profile

export HADOOP_HOME=/home/yao/Documents/hadoop

export HADOOP_HOME_WARN_SUPPRESS=1

export PATH=.:$PATH:$HADOOP_HOME

注:su + 用户名实现切换用户。

5)安装 jdk, 解压时需要授权;

Chmod u+x jdk。。。

解压。

配置环境变量:vi /etc/profile

一台 x86 计算机搭建 Hadoop 的全分布式集群

6)修改 /hadoop/conf 下的配置文件

修改 core-site.xml

一台 x86 计算机搭建 Hadoop 的全分布式集群

修改 hdfs-site.xml

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2014-05/102533p2.htm

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计4470字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7984867
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛 NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手! 作为动漫爱好者,你是否还在为...
在Windows系统中通过VMware安装苹果macOS15

在Windows系统中通过VMware安装苹果macOS15

在 Windows 系统中通过 VMware 安装苹果 macOS15 许多开发者和爱好者希望在 Window...
从“纸堆”到“电子化”文档:用这个开源系统打造你的智能文档管理系统

从“纸堆”到“电子化”文档:用这个开源系统打造你的智能文档管理系统

从“纸堆”到“电子化”文档:用这个开源系统打造你的智能文档管理系统 大家好,我是星哥。公司的项目文档存了一堆 ...
飞牛NAS玩转Frpc并且配置,随时随地直连你的私有云

飞牛NAS玩转Frpc并且配置,随时随地直连你的私有云

飞牛 NAS 玩转 Frpc 并且配置,随时随地直连你的私有云 大家好,我是星哥,最近在玩飞牛 NAS。 在数...
Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集 在云原生体系中,Prometheus 已成为最主流的监控与报警...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号 AI 知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率 大家好,我是星哥,...
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...
星哥带你玩飞牛NAS硬件03:五盘位+N5105+双网口的成品NAS值得入手吗

星哥带你玩飞牛NAS硬件03:五盘位+N5105+双网口的成品NAS值得入手吗

星哥带你玩飞牛 NAS 硬件 03:五盘位 +N5105+ 双网口的成品 NAS 值得入手吗 前言 大家好,我...
把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地 大家好,我是星哥,今天教大家在飞牛 NA...
仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

还在忍受动辄数百兆的“全家桶”监控软件?后台偷占资源、界面杂乱冗余,想查个 CPU 温度都要层层点选? 今天给...