阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop-2.7.1伪分布式环境搭建

163次阅读
没有评论

共计 4840 个字符,预计需要花费 13 分钟才能阅读完成。

1. 准备 Linux 环境
  1.0 点击 VMware 快捷方式,右键打开文件所在位置 -> 双击 vmnetcfg.exe -> VMnet1 host-only -> 修改 subnet ip 设置网段:192.168.8.0 子网掩码:255.255.255.0 -> apply -> ok
  回到 windows –> 打开网络和共享中心 -> 更改适配器设置 -> 右键 VMnet1 -> 属性 -> 双击 IPv4 -> 设置 windows 的 IP:192.168.8.100 子网掩码:255.255.255.0 -> 点击确定
  在虚拟软件上 –My Computer -> 选中虚拟机 -> 右键 -> settings -> network adapter -> host only -> ok
  1.1 修改主机名
  vim /etc/sysconfig/network
 
  NETWORKING=yes
  HOSTNAME=FTH01 
 
1.2 修改 IP
  两种方式:
  第一种:通过 Linux 图形界面进行修改(强烈推荐)
  进入 Linux 图形界面 -> 右键点击右上方的两个小电脑 -> 点击 Edit connections -> 选中当前网络 System eth0 -> 点击 edit 按钮 -> 选择 IPv4 -> method 选择为 manual -> 点击 add 按钮 -> 添加 IP:192.168.8.118 子网掩码:255.255.255.0 网关:192.168.1.1 -> apply
 
  第二种:修改配置文件方式(屌丝程序猿专用)
  vim /etc/sysconfig/network-scripts/ifcfg-eth0
 
  DEVICE=”eth0″
  BOOTPROTO=”static”             
  HWADDR=”00:0C:29:3C:BF:E7″
  IPV6INIT=”yeED=”yes”
  ONBOOT=”yes”
  TYPE=”Ethernet”
  UUID=”ce22eeca-ecde-4536-8cc2-ef0dc36d4a8c”
  IPADDR=”192.168.8.11″         
  NETMASK=”255.255.255.0″       
  GATEWAY=”192.168.8.1″       

  执行 service network restart 命令使设置生效 

1.3 修改主机名和 IP 的映射关系
  vim /etc/hosts
 
  192.168.8.11 FTH01
 
  1.4 关闭防火墙
  #查看防火墙状态
  service iptables status
  #关闭防火墙
  service iptables stop
  #查看防火墙开机启动状态
  chkconfig iptables –list
  #关闭防火墙开机启动
  chkconfig iptables off
 
  1.5 重启 Linux
  reboot

注意!!!!!!
CentOS 的位数要与 Hadoop jdk 的位数一致

 

2. 安装 JDK
2.1 上传
  通过 filezilla 软件上传文件,或者通过 secureCRT
  2.2 解压 jdk
  #创建文件夹
  mkdir /usr/java
  #解压
  tar -zxvf jdk-7u55-linux-i586.tar.gz -C /usr/java/
 
  2.3 将 java 添加到环境变量中
  vim /etc/profile
  #在文件最后添加
  export JAVA_HOME=/usr/java/jdk1.7.0_55
  export PATH=$PATH:$JAVA_HOME/bin
 
  #刷新配置
  source /etc/profile
 
3. 安装 hadoop2.7.1

解压 hadoop 安装文件到 /fth/ 下

tar -zxvf hadoop 文件 -C /fth/
  注意:hadoop2.x 的配置文件 $HADOOP_HOME/etc/hadoop
  伪分布式需要修改 5 个配置文件 /fth/hadoop-2.7.1/conf/
  3.1 配置 hadoop
  第一个:hadoop-env.sh
  vim hadoop-env.sh
  #第 27 行
  export JAVA_HOME=/usr/java/jdk1.7.0_65
 
  第二个:core-site.xml
  <!– 制定 HDFS 的老大(NameNode)的地址 –>
  <property>
  <name>fs.defaultFS</name>
  <value>hdfs://FTH01:9000</value>
  </property>
  <!– 指定 hadoop 运行时产生文件的存储目录 –>
  <property>
  <name>hadoop.tmp.dir</name>
  <value>/itcast/hadoop-2.7.1/tmp</value>
        </property>
 
  第三个:hdfs-site.xml
  <!– 指定 HDFS 副本的数量 –>
  <property>
  <name>dfs.replication</name>
  <value>1</value>
        </property>
 
  第四个:mapred-site.xml (mv mapred-site.xml.template mapred-site.xml)
  mv mapred-site.xml.template mapred-site.xml
  vim mapred-site.xml
  <!– 指定 mr 运行在 yarn 上 –>
  <property>
  <name>mapreduce.framework.name</name>
  <value>yarn</value>
      </property>
 
  第五个:yarn-site.xml
  <!– 指定 YARN 的老大(ResourceManager)的地址 –>
  <property>
  <name>yarn.resourcemanager.hostname</name>
  <value>itcast01</value>
      </property>
  <!– reducer 获取数据的方式 –>
      <property>
  <name>yarn.nodemanager.aux-services</name>
  <value>mapreduce_shuffle</value>
      </property>
 
  3.2 将 hadoop 添加到环境变量
 
  vim /etc/proflie
  export JAVA_HOME=/usr/java/jdk1.7.0_65
  export HADOOP_HOME=/itcast/hadoop-2.7.1
  export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

source /etc/profile
 
  3.3 格式化 namenode(是对 namenode 进行初始化)
  hdfs namenode -format (hadoop namenode -format)
 
  3.4 启动 hadoop
  先启动 HDFS
  sbin/start-dfs.sh
 
  再启动 YARN
  sbin/start-yarn.sh
 
    3.5 验证是否启动成功
  使用 jps 命令验证
  27408 NameNode
  28218 Jps
  27643 SecondaryNameNode
  28066 NodeManager
  27803 ResourceManager
  27512 DataNode
 
  http://192.168.8.118:50070(HDFS 管理界面)
  http://192.168.8.118:8088(MR 管理界面)
 
4. 配置 ssh 免登陆
  #生成 ssh 免登陆密钥
  #进入到我的 home 目录
  cd ~/.ssh

  ssh-keygen -t rsa(四个回车)
  执行完这个命令后,会生成两个文件 id_rsa(私钥)、id_rsa.pub(公钥)
  将公钥拷贝到要免登陆的机器上  cp id_rsa.pub authorized_keys
  ssh-copy-id localhost
  例如 ssh-copy-id 192.168.8.99    将 192.168.8.88 的公钥拷给 192.168.8.99  以后就可以不用输入密码,直接连上 192.168.8.99

5. 错误信息

查看 Linux 系统的位数  uname -a

  1.  Q:Java HotSpot(TM) ClientVM warning: You have loaded library/usr/local/hadoop2.5/lib/native/libhadoop.so.1.0.0which might have disabled stack guard. The VM will try to fix the stack guardnow.

  A:这个问题的错误原因会发生在 64 位的操作系统上,原因是从官方下载的 hadoop 使用的本地库文件都是基于 32 位编译的,运行在 64 位系统上就会出现上述错误。

  方案一:在 64 位系统上重新编译 hadoop;

  方案二:在 hadoop-env.sh,yarn-env.sh 中添加下两行:

    export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native

  export  HADOOP_OPTS=”-Djava.library.path=$HADOOP_HOME/lib”

下面关于 Hadoop 的文章您也可能喜欢,不妨看看:

Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程  http://www.linuxidc.com/Linux/2015-02/113487.htm

CentOS 安装和配置 Hadoop2.2.0  http://www.linuxidc.com/Linux/2014-01/94685.htm

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址:http://www.linuxidc.com/Linux/2016-04/130463.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计4840字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中