阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

如何确认分布式Hadoop1.2.1集群环境是否运转正常

126次阅读
没有评论

共计 1835 个字符,预计需要花费 5 分钟才能阅读完成。

Hadoop 学习环境搭建好后,就要测试环境是否 OK 了,测试的方法很简单,只需要自己用 hadoop 自带的 example jar 进行测试一把即可,具体的测试方法如下:

 1:su – grid
 2:  pwd
      /home/grid
 3:  创建 input 目录,mkdir input  —> 然后进入 input 目录 cd input
 4: 通过输出重定向的方式,新增两个 txt 文件
    echo “Hi,China”>Text1.txt 
    echo “Hi,Hadoop”>Text2.txt
 5: 查看 txt 文件,确认内容是否 OK
    cat Text1.txt
    Hi,China
  6:查看 Hadoop HDFS 里是否有东西
    cd ..
      cd hadoop-1.2.1
      bin/hadoop fs -ls
      返回:ls: Cannot  access .: No such file or directory
 7:  把 input 目录下的文件拷贝到 hadoop in 目录下
    bin/hadoop fs -put ../put  ./in
    提示错误:
    put: org.apache.hadoop.hdfs.server .namenode.SafeModeException: Cannot create directory /user/grid/in. Name node is in safe mode.
 
  很显然,提示我们目前 Hadoop 处于安全模式下,处于安全模式下,我们是不能做任何操作的,不能拷贝文件,所以需要接触安全模式:
 
  bin/hadoop dfsadmin -safemode leave , 继续以上操作就哦了。
 
8:确认文件是否拷贝进去.
  bin/hadoop fs -ls
  返回:以上两个文件。
 
9:可以查看以上文件内容,确认是否 OK.
  bin/hadoop fs -cat ./in/Text1.txt
  返回:Hi,China
 
10:执行 example jar 进行统计分析。
  bin/hadoop jar hadoop-examples-1.2.1.jar wordcount in out
 
11: 查看执行输出文件。
 bin/hadoop fs -cat ./out/part-r-00000
 

返回:
 Hadoop 1
 Hi 2
 China 1
 
如果看上以上结果,就说明集群环境已经哦了,可以正常干活了。

试验过程的步骤,供大家参考:

免费下载地址在 http://linux.linuxidc.com/

用户名与密码都是 www.linuxidc.com

具体下载目录在 /2014 年资料 / 5 月 /13 日 / 如何确认分布式 Hadoop1.2.1 集群环境是否运转正常

下载方法见 http://www.linuxidc.com/Linux/2013-07/87684.htm

————————————– 分割线 ————————————–

Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm

Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm

Ubuntu 上搭建 Hadoop 环境(单机模式 + 伪分布模式)http://www.linuxidc.com/Linux/2013-01/77681.htm

Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm

单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm

Hadoop LZO 安装教程 http://www.linuxidc.com/Linux/2013-01/78397.htm

Hadoop 集群上使用 Lzo 压缩 http://www.linuxidc.com/Linux/2012-05/60554.htm

————————————– 分割线 ————————————–

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计1835字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中