阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop local模式部署(单节点)

139次阅读
没有评论

共计 7695 个字符,预计需要花费 20 分钟才能阅读完成。

装个 Hadoop 单节点的,为得是方便学习和调试。

0.jdk 安装,很简单在本博可以找到。

(我直接用 root 玩了,你也可以不这么搞)

在终端窗口里面输入: sudo -s. 然后输入普通用户登陆的密码,回车即可进入 root 用户权限模式。

 

然后执行: vim /etc/lightdm/lightdm.conf.

增加 greeter-show-manual-login=true allow-guest=false . 修改完的整个配置文件是

 

[SeatDefaults]
greeter-session=unity-greeter
user-session=Ubuntu
greeter-show-manual-login=true #手工输入登陆系统的用户名和密码
allow-guest=false # 不允许 guest 登录

 

1. 下载 hadoop-2.2.0.tar.gz(从 Apache 官方可以下载)

Hadoop 路径配置

建议将 Hadoop 安装在 /opt 下,所以将 /opt 的属主修改为实际用户(本文以 kevin 用户为例):
  1. $sudo chown kevin:kevin /opt

  2. tar xzvf hadoop-2.2.0.tar.gz

  3. $ mv hadoop-2.2.0 /opt/hadoop

 

ssh 本地互通

sudo apt-get install openssh-client
sudo apt-get install openssh-server

cd /root
ssh-keygen -t rsa -P “”(回车)
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys 用命令验证一下是否可以免密码链接 localhost

然后执行以下命令:

  1. $ ssh localhost

全局变量

在 /etc/profile 的末尾加入:

vim /etc/profile

  1. export HADOOP_HOME=/opt/hadoop

  2. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

确保可以在任意位置执行 hadoop 命令。

然后将配置文件启用:

$ source /etc/profile

 

目录配置

创建 Hadoop 的数据存储目录,并修改属主权限(我这用的 root 可以不需要这写)

 

$ sudo mkdir /hadoop
$ sudo chown krvin:kevin /hadoop
$ mkdir /hadoop/dfs
$ mkdir /hadoop/tmp

配置 Hadoop

配置 hadoop-env.sh

修改 hadoop-env.sh 文件:

$ cd /opt/hadoop/etc/hadoop
$ vim hadoop-env.sh

将默认的 JAVA_HOME 修改为:/opt/jdk1.6.0_35

 

配置 core-site.xml

修改 core-site.xml 文件:

$cd /opt/hadoop/etc/hadoop
$vim core-site.xml

<configuration> 标签中(即嵌套在该标签中) 加入以下内容:

<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
<description>temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.100:9000</value>
<description>The name of the defaultfile system. Either the literal string “local” or a host:port forNDFS.
</description>
<final>true</final>
</property>

更多配置信息,参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/core-default.xml

 

配置 hdfs-site.xml

修改 hdfs-site.xml

  1. $ vim hdfs-site.xml

 

<configuration> 标签中(即嵌套在该标签中) 加入以下内容:

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/dfs/name</value>
<description>Determineswhere on the local filesystem the DFS name node should store the name table.</description>
<final>true</final>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/dfs/data</value>
<description>Determineswhere on the local filesystem an DFS data node should store its blocks.
</description>
<final>true</final>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

更多 hdfs-site.xml 的配置信息,参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

相关阅读:

将本地文件拷到 HDFS 中 http://www.linuxidc.com/Linux/2013-05/83866.htm

从 HDFS 下载文件到本地 http://www.linuxidc.com/Linux/2012-11/74214.htm

将本地文件上传至 HDFS http://www.linuxidc.com/Linux/2012-11/74213.htm

HDFS 基本文件常用命令 http://www.linuxidc.com/Linux/2013-09/89658.htm

Hadoop 中 HDFS 和 MapReduce 节点基本简介 http://www.linuxidc.com/Linux/2013-09/89653.htm

《Hadoop 实战》中文版 + 英文文字版 + 源码【PDF】http://www.linuxidc.com/Linux/2012-10/71901.htm

Hadoop: The Definitive Guide【PDF 版】http://www.linuxidc.com/Linux/2012-01/51182.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

配置 mapred-site.xml

默认不存在此文件,需要创建:

$ cp mapred-site.xml.template mapred-site.xml
$ vim mapred-site.xml

<configuration> 标签中(即嵌套在该标签中) 加入以下内容:

<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

<property>
<name>mapred.system.dir</name>
<value>file:/Hadoop/mapred/system</value>
<final>true</final>
</property>

<property>
<name>mapred.local.dir</name>
<value>file:/hadoop/mapred/local</value>
<final>true</final>
</property>

配置 yarn-site.xml

执行以下命令:

$ vim yarn-site.xml

<configuration> 标签中(即嵌套在该标签中) 加入以下内容:

<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
<description>shuffle service that needsto be set for Map Reduce to run </description>
</property>

<property>
<name>yarn.resourcemanager.hostname</name>
<value>192.168.1.100</value>
<description>hostanem of RM</description>
</property>

yarn.resourcemanager.hostname 配置后,其他端口号将使用默认。详见:

http://hadoop.apache.org/docs/current/hadoop-yarn/hadoop-yarn-common/yarn-default.xml

初始化

格式化 NameNode:

  1. $ hdfs namenode -format

 

 

启动 DFS

分别按顺序执行以下命令:
 
  1. $ hadoop-daemon.sh start namenode

  2. $ hadoop-daemon.sh start datanode

 

使用 jps 查看进程是否启动

  1. $ jps

 

并在以下网页检查:

  1. http://localhost:50070/dfshealth.jsp

启动 Yarn

  1. $ yarn-daemon.sh start resourcemanager

  2. $ yarn-daemon.sh start nodemanager

异常处理

如果发生任何启动异常,关闭进程后,需要清空数据:
  1. $ rm -rf /hadoop/dfs/*

  2. $ rm -rf /hadoop/tmp/*

然后重新执行格式化:

  1. $ hdfs namenode -format

相关阅读:

将本地文件拷到 HDFS 中 http://www.linuxidc.com/Linux/2013-05/83866.htm

从 HDFS 下载文件到本地 http://www.linuxidc.com/Linux/2012-11/74214.htm

将本地文件上传至 HDFS http://www.linuxidc.com/Linux/2012-11/74213.htm

HDFS 基本文件常用命令 http://www.linuxidc.com/Linux/2013-09/89658.htm

Hadoop 中 HDFS 和 MapReduce 节点基本简介 http://www.linuxidc.com/Linux/2013-09/89653.htm

《Hadoop 实战》中文版 + 英文文字版 + 源码【PDF】http://www.linuxidc.com/Linux/2012-10/71901.htm

Hadoop: The Definitive Guide【PDF 版】http://www.linuxidc.com/Linux/2012-01/51182.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

装个 Hadoop 单节点的,为得是方便学习和调试。

0.jdk 安装,很简单在本博可以找到。

(我直接用 root 玩了,你也可以不这么搞)

在终端窗口里面输入: sudo -s. 然后输入普通用户登陆的密码,回车即可进入 root 用户权限模式。

 

然后执行: vim /etc/lightdm/lightdm.conf.

增加 greeter-show-manual-login=true allow-guest=false . 修改完的整个配置文件是

 

[SeatDefaults]
greeter-session=unity-greeter
user-session=Ubuntu
greeter-show-manual-login=true #手工输入登陆系统的用户名和密码
allow-guest=false # 不允许 guest 登录

 

1. 下载 hadoop-2.2.0.tar.gz(从 Apache 官方可以下载)

Hadoop 路径配置

建议将 Hadoop 安装在 /opt 下,所以将 /opt 的属主修改为实际用户(本文以 kevin 用户为例):
  1. $sudo chown kevin:kevin /opt

  2. tar xzvf hadoop-2.2.0.tar.gz

  3. $ mv hadoop-2.2.0 /opt/hadoop

 

ssh 本地互通

sudo apt-get install openssh-client
sudo apt-get install openssh-server

cd /root
ssh-keygen -t rsa -P “”(回车)
$ cat .ssh/id_rsa.pub >> .ssh/authorized_keys 用命令验证一下是否可以免密码链接 localhost

然后执行以下命令:

  1. $ ssh localhost

全局变量

在 /etc/profile 的末尾加入:

vim /etc/profile

  1. export HADOOP_HOME=/opt/hadoop

  2. export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

 

确保可以在任意位置执行 hadoop 命令。

然后将配置文件启用:

$ source /etc/profile

 

目录配置

创建 Hadoop 的数据存储目录,并修改属主权限(我这用的 root 可以不需要这写)

 

$ sudo mkdir /hadoop
$ sudo chown krvin:kevin /hadoop
$ mkdir /hadoop/dfs
$ mkdir /hadoop/tmp

配置 Hadoop

配置 hadoop-env.sh

修改 hadoop-env.sh 文件:

$ cd /opt/hadoop/etc/hadoop
$ vim hadoop-env.sh

将默认的 JAVA_HOME 修改为:/opt/jdk1.6.0_35

 

配置 core-site.xml

修改 core-site.xml 文件:

$cd /opt/hadoop/etc/hadoop
$vim core-site.xml

<configuration> 标签中(即嵌套在该标签中) 加入以下内容:

<property>
<name>hadoop.tmp.dir</name>
<value>/hadoop/tmp</value>
<description>temporary directories.</description>
</property>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.1.100:9000</value>
<description>The name of the defaultfile system. Either the literal string “local” or a host:port forNDFS.
</description>
<final>true</final>
</property>

更多配置信息,参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-common/core-default.xml

 

配置 hdfs-site.xml

修改 hdfs-site.xml

  1. $ vim hdfs-site.xml

 

<configuration> 标签中(即嵌套在该标签中) 加入以下内容:

<property>
<name>dfs.namenode.name.dir</name>
<value>file:/hadoop/dfs/name</value>
<description>Determineswhere on the local filesystem the DFS name node should store the name table.</description>
<final>true</final>
</property>

<property>
<name>dfs.datanode.data.dir</name>
<value>file:/hadoop/dfs/data</value>
<description>Determineswhere on the local filesystem an DFS data node should store its blocks.
</description>
<final>true</final>
</property>

<property>
<name>dfs.replication</name>
<value>1</value>
</property>

<property>
<name>dfs.permissions</name>
<value>false</value>
</property>

更多 hdfs-site.xml 的配置信息,参考:

http://hadoop.apache.org/docs/r2.2.0/hadoop-project-dist/hadoop-hdfs/hdfs-default.xml

相关阅读:

将本地文件拷到 HDFS 中 http://www.linuxidc.com/Linux/2013-05/83866.htm

从 HDFS 下载文件到本地 http://www.linuxidc.com/Linux/2012-11/74214.htm

将本地文件上传至 HDFS http://www.linuxidc.com/Linux/2012-11/74213.htm

HDFS 基本文件常用命令 http://www.linuxidc.com/Linux/2013-09/89658.htm

Hadoop 中 HDFS 和 MapReduce 节点基本简介 http://www.linuxidc.com/Linux/2013-09/89653.htm

《Hadoop 实战》中文版 + 英文文字版 + 源码【PDF】http://www.linuxidc.com/Linux/2012-10/71901.htm

Hadoop: The Definitive Guide【PDF 版】http://www.linuxidc.com/Linux/2012-01/51182.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计7695字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中