阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Ubuntu 14.04下安装Hadoop2.4.0 (单机模式)

404次阅读
没有评论

共计 2827 个字符,预计需要花费 8 分钟才能阅读完成。

一、在 Ubuntu 下创建 Hadoop 组和 hadoop 用户

增加 hadoop 用户组,同时在该组里增加 hadoop 用户,后续在涉及到 hadoop 操作时,我们使用该用户。

1、创建 hadoop 用户组

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

2、创建 hadoop 用户

sudo adduser -ingroup hadoop hadoop

回车后会提示输入新的 UNIX 密码,这是新建用户 hadoop 的密码,输入回车即可。

如果不输入密码,回车后会重新提示输入密码,即密码不能为空。

最后确认信息是否正确,如果没问题,输入 Y,回车即可。

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

3、为 hadoop 用户添加权限

输入:sudo gedit /etc/sudoers

回车,打开 sudoers 文件

给 hadoop 用户赋予和 root 用户同样的权限

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

二、用新增加的 hadoop 用户登录 Ubuntu 系统

三、安装 ssh

sudo apt-get install openssh-server

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

安装完成后,启动服务

sudo /etc/init.d/ssh start

查看服务是否正确启动:ps -e | grep ssh

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

设置免密码登录,生成私钥和公钥

ssh-keygen -t rsa -P “”

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

此时会在/home/hadoop/.ssh 下生成两个文件:id_rsa 和 id_rsa.pub,前者为私钥,后者为公钥。

下面我们将公钥追加到 authorized_keys 中,它用户保存所有允许以当前用户身份登录到 ssh 客户端用户的公钥内容。

cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

登录 ssh

ssh localhost

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

退出

exit

四、安装 Java 环境

sudo apt-get install openjdk-7-jdk

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

查看安装结果,输入命令:java -version,结果如下表示安装成功。

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

五、安装 hadoop2.4.0

1、官网下载 http://mirror.bit.edu.cn/apache/hadoop/common/

2、安装

解压

sudo tar xzf hadoop-2.4.0.tar.gz

假如我们要把 hadoop 安装到 /usr/local 下

拷贝到 /usr/local/ 下,文件夹为 hadoop

sudo mv hadoop-2.4.0 /usr/local/hadoop

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

赋予用户对该文件夹的读写权限

sudo chmod 774 /usr/local/hadoop

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

3、配置

1)配置~/.bashrc

配置该文件前需要知道 Java 的安装路径,用来设置 JAVA_HOME 环境变量,可以使用下面命令行查看安装路径

update-alternatives – -config java

执行结果如下:

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

完整的路径为

/usr/lib/jvm/java-7-openjdk-amd64/jre/bin/java

我们只取前面的部分 /usr/lib/jvm/java-7-openjdk-amd64

配置.bashrc 文件

sudo gedit ~/.bashrc

该命令会打开该文件的编辑窗口,在文件末尾追加下面内容,然后保存,关闭编辑窗口。

#HADOOP VARIABLES START

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

export HADOOP_INSTALL=/usr/local/hadoop

export PATH=$PATH:$HADOOP_INSTALL/bin

export PATH=$PATH:$HADOOP_INSTALL/sbin

export HADOOP_MAPRED_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_HOME=$HADOOP_INSTALL

export HADOOP_HDFS_HOME=$HADOOP_INSTALL

export YARN_HOME=$HADOOP_INSTALL

export HADOOP_COMMON_LIB_NATIVE_DIR=$HADOOP_INSTALL/lib/native

export HADOOP_OPTS=”-Djava.library.path=$HADOOP_INSTALL/lib”

#HADOOP VARIABLES END

最终结果如下图:

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

执行下面命,使添加的环境变量生效:

source ~/.bashrc

2)编辑 /usr/local/hadoop/etc/hadoop/hadoop-env.sh

执行下面命令,打开该文件的编辑窗口

sudo gedit /usr/local/hadoop/etc/hadoop/hadoop-env.sh

找到 JAVA_HOME 变量,修改此变量如下

export JAVA_HOME=/usr/lib/jvm/java-7-openjdk-amd64

修改后的 hadoop-env.sh 文件如下所示:

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

六、WordCount 测试

单机模式安装完成,下面通过执行 hadoop 自带实例 WordCount 验证是否安装成功

/usr/local/hadoop 路径下创建 input 文件夹

mkdir input

拷贝 README.txt 到 input

cp README.txt input

执行 WordCount

bin/hadoop jar share/hadoop/mapreduce/sources/hadoop-mapreduce-examples-2.4.0-sources.jar org.apache.hadoop.examples.WordCount input output

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

执行结果:

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

执行 cat output/*,查看字符统计结果

Ubuntu 14.04 下安装 Hadoop2.4.0(单机模式)

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

搭建 Hadoop 环境(在 Winodws 环境下用虚拟机虚拟两个 Ubuntu 系统进行搭建)http://www.linuxidc.com/Linux/2011-12/48894.htm

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2827字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19350
评论数
4
阅读量
7964460
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸

一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸

一句话生成拓扑图!AI+Draw.io 封神开源组合,工具让你的效率爆炸 前言 作为天天跟架构图、拓扑图死磕的...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地

把小米云笔记搬回家:飞牛 NAS 一键部署,小米云笔记自动同步到本地 大家好,我是星哥,今天教大家在飞牛 NA...
支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare也瘫了连监控都挂,根因藏在哪?

支付宝、淘宝、闲鱼又双叕崩了,Cloudflare 也瘫了连监控都挂,根因藏在哪? 最近两天的互联网堪称“故障...
免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

免费无广告!这款跨平台AI RSS阅读器,拯救你的信息焦虑

  免费无广告!这款跨平台 AI RSS 阅读器,拯救你的信息焦虑 在算法推荐主导信息流的时代,我们...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手!

星哥带你玩飞牛 NAS-13:自动追番、订阅下载 + 刮削,动漫党彻底解放双手! 作为动漫爱好者,你是否还在为...
星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

星哥带你玩飞牛NAS-16:飞牛云NAS换桌面,fndesk图标管理神器上线!

  星哥带你玩飞牛 NAS-16:飞牛云 NAS 换桌面,fndesk 图标管理神器上线! 引言 哈...
自己手撸一个AI智能体—跟创业大佬对话

自己手撸一个AI智能体—跟创业大佬对话

自己手撸一个 AI 智能体 — 跟创业大佬对话 前言 智能体(Agent)已经成为创业者和技术人绕...
每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站-手机博物馆-CHAZ 3D Experience

每天一个好玩的网站 - 手机博物馆 -CHAZ 3D Experience 一句话介绍:一个用 3D 方式重温...
告别Notion焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁”

告别Notion焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁”

  告别 Notion 焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁” 引言 在数字笔记工...