共计 2834 个字符，预计需要花费 8 分钟才能阅读完成。
最新的 Hadoop2.5 安装目录做了一定修改，安装变得稍微简单一点
首先安装准备工具
$ sudo apt-get install ssh
$ sudo apt-get install rsync 配置 ssh $ ssh localhostIf you cannot ssh to localhost without a passphrase, execute the following commands: $ ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa
$ cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys
进入 etc/hadoop/hadoop-env.sh 配置运行环境
# set to the root of your Java installation
export JAVA_HOME=/usr/java/latest
# Assuming your installation directory is /usr/local/hadoop
export HADOOP_PREFIX=/usr/local/hadoop
配置 hdfs 端口和备份数
etc/hadoop/core-site.xml:
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://localhost:9000</value>
</property><property>#ClientDatanodeProtocol 调用 getBlockLocalPathInfo 的时候
<name>dfs.block.local-path-access.user</name>
<value>infomorrow</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/home/infomorrow/hadoop-tmp</value>
</property> </configuration>
etc/hadoop/hdfs-site.xml:
<configuration>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置使用 yarn
etc/hadoop/mapred-site.xml:
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
etc/hadoop/yarn-site.xml:
NodeManager 在 启 动 时 加 载 shuffle server,shuffle server 实 际 上 是 Jetty/Netty Server,Reduce Task 通 过 该 server 从 各 个 NodeManager 上远程复制 Map Task 产生的中间结果
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
</configuration>
启动过程：
hdfs
$ bin/hdfs namenode -format（初次使用时）$ sbin/start-dfs.sh 进入监控页查看 – http://localhost:50070/ 在 hdfs 上创建文件夹
$ bin/hdfs dfs -mkdir /user
$ bin/hdfs dfs -mkdir /user/<username> 查看 hdfs 上创建的文件夹 bin/hadoop fs -ls /yarn
$ sbin/start-yarn.sh 进入监控页查看 – http://localhost:8088/ 关闭：
$ sbin/stop-dfs.sh $ sbin/stop-yarn.sh
bin/hadoop dfsadmin -safemode leave 退出安全模式
如需使用 spark 只需在集群节点安装 scala,spark, 并在 spark-env.sh 中添加配置
export SCALA_HOME=/home/juxinli/scala-2.11.5
export JAVA_HOME=/usr/lib/jvm/java-8-sun
export HADOOP_HOME=/home/juxinli/hadoop-2.5.0
export YARN_CONF_DIR=$HADOOP_HOME/etc/hadoop-2.5.0
export SPARK_JAR=/home/juxinli/spark-1.2.0-bin-hadoop2.4/lib/spark-assembly-1.2.0-hadoop2.4.0.jar
在 slaves 添加节点主机名
下面关于 Hadoop 的文章您也可能喜欢，不妨看看：
Ubuntu14.04 下 Hadoop2.4.1 单机 / 伪分布式安装配置教程 http://www.linuxidc.com/Linux/2015-02/113487.htm
CentOS 安装和配置 Hadoop2.2.0 http://www.linuxidc.com/Linux/2014-01/94685.htm
Ubuntu 13.04 上搭建 Hadoop 环境 http://www.linuxidc.com/Linux/2013-06/86106.htm
Ubuntu 12.10 +Hadoop 1.2.1 版本集群配置 http://www.linuxidc.com/Linux/2013-09/90600.htm
Ubuntu 上搭建 Hadoop 环境（单机模式 + 伪分布模式）http://www.linuxidc.com/Linux/2013-01/77681.htm
Ubuntu 下 Hadoop 环境的配置 http://www.linuxidc.com/Linux/2012-11/74539.htm
单机版搭建 Hadoop 环境图文教程详解 http://www.linuxidc.com/Linux/2012-02/53927.htm
更多 Hadoop 相关信息见Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13
本文永久更新链接地址：http://www.linuxidc.com/Linux/2016-01/127700.htm
