大数据Hadoop快速入门教程

403次阅读

共计 5169 个字符，预计需要花费 13 分钟才能阅读完成。

1、Hadoop 生态概况

Hadoop 是一个由 Apache 基金会所开发的分布式系统集成架构，用户可以在不了解分布式底层细节情况下，开发分布式程序，充分利用集群的威力来进行高速运算与存储，具有可靠、高效、可伸缩的特点
Hadoop 的核心是 YARN,HDFS,Mapreduce, 常用模块架构如下

大数据 Hadoop 快速入门教程

2、HDFS
源自谷歌的 GFS 论文，发表于 2013 年 10 月，HDFS 是 GFS 的克隆版，HDFS 是 Hadoop 体系中数据存储管理的基础，它是一个高度容错的系统，能检测和应对硬件故障
HDFS 简化了文件一致性模型，通过流式数据访问，提供高吞吐量应用程序数据访问功能，适合带有大型数据集的应用程序，它提供了一次写入多次读取的机制，数据以块的形式，同时分布在集群不同物理机器

3、Mapreduce
源自于谷歌的 MapReduce 论文，用以进行大数据量的计算，它屏蔽了分布式计算框架细节，将计算抽象成 map 和 reduce 两部分

4、HBASE（分布式列存数据库）
源自谷歌的 Bigtable 论文，是一个建立在 HDFS 之上，面向列的针对结构化的数据可伸缩，高可靠，高性能分布式和面向列的动态模式数据库

5、zookeeper
解决分布式环境下数据管理问题，统一命名，状态同步，集群管理，配置同步等

6、HIVE
由 Facebook 开源，定义了一种类似 sql 查询语言，将 SQL 转化为 mapreduce 任务在 Hadoop 上面执行

7、flume
日志收集工具

8、yarn 分布式资源管理器
是下一代 mapreduce，主要解决原始的 Hadoop 扩展性较差，不支持多种计算框架而提出的，架构如下

大数据 Hadoop 快速入门教程

9、spark
spark 提供了一个更快更通用的数据处理平台，和 Hadoop 相比，spark 可以让你的程序在内存中运行

10、kafka
分布式消息队列，主要用于处理活跃的流式数据

11、Hadoop 伪分布式部署
目前而言，不收费的 Hadoop 版本主要有三个，都是国外厂商，分别是

1、Apache 原始版本
2、CDH 版本，对于国内用户而言，绝大多数选择该版本
3、HDP 版本

这里我们选择 CDH 版本 hadoop-2.6.0-cdh5.8.2.tar.gz，环境是 CentOS7.1，jdk 需要 1.7.0_55 以上

[root@hadoop1 ~]# useradd hadoop

我的系统默认自带的 java 环境如下
[root@hadoop1 ~]# ll /usr/lib/jvm/
total 12
lrwxrwxrwx. 1 root root 26 Oct 27 22:48 java -> /etc/alternatives/java_sdk
lrwxrwxrwx. 1 root root 32 Oct 27 22:48 java-1.6.0 -> /etc/alternatives/java_sdk_1.6.0
drwxr-xr-x. 7 root root 4096 Oct 27 22:48 java-1.6.0-openjdk-1.6.0.34.x86_64
lrwxrwxrwx. 1 root root 34 Oct 27 22:48 java-1.6.0-openjdk.x86_64 -> java-1.6.0-openjdk-1.6.0.34.x86_64
lrwxrwxrwx. 1 root root 32 Oct 27 22:44 java-1.7.0 -> /etc/alternatives/java_sdk_1.7.0
lrwxrwxrwx. 1 root root 40 Oct 27 22:44 java-1.7.0-openjdk -> /etc/alternatives/java_sdk_1.7.0_openjdk
drwxr-xr-x. 8 root root 4096 Oct 27 22:44 java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
lrwxrwxrwx. 1 root root 32 Oct 27 22:44 java-1.8.0 -> /etc/alternatives/java_sdk_1.8.0
lrwxrwxrwx. 1 root root 40 Oct 27 22:44 java-1.8.0-openjdk -> /etc/alternatives/java_sdk_1.8.0_openjdk
drwxr-xr-x. 7 root root 4096 Oct 27 22:44 java-1.8.0-openjdk-1.8.0.31-2.b13.el7.x86_64
lrwxrwxrwx. 1 root root 34 Oct 27 22:48 java-openjdk -> /etc/alternatives/java_sdk_openjdk
lrwxrwxrwx. 1 root root 21 Oct 27 22:44 jre -> /etc/alternatives/jre
lrwxrwxrwx. 1 root root 27 Oct 27 22:44 jre-1.6.0 -> /etc/alternatives/jre_1.6.0
lrwxrwxrwx. 1 root root 38 Oct 27 22:44 jre-1.6.0-openjdk.x86_64 -> java-1.6.0-openjdk-1.6.0.34.x86_64/jre
lrwxrwxrwx. 1 root root 27 Oct 27 22:44 jre-1.7.0 -> /etc/alternatives/jre_1.7.0
lrwxrwxrwx. 1 root root 35 Oct 27 22:44 jre-1.7.0-openjdk -> /etc/alternatives/jre_1.7.0_openjdk
lrwxrwxrwx. 1 root root 52 Oct 27 22:44 jre-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64 -> java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64/jre
lrwxrwxrwx. 1 root root 27 Oct 27 22:44 jre-1.8.0 -> /etc/alternatives/jre_1.8.0
lrwxrwxrwx. 1 root root 35 Oct 27 22:44 jre-1.8.0-openjdk -> /etc/alternatives/jre_1.8.0_openjdk
lrwxrwxrwx. 1 root root 48 Oct 27 22:44 jre-1.8.0-openjdk-1.8.0.31-2.b13.el7.x86_64 -> java-1.8.0-openjdk-1.8.0.31-2.b13.el7.x86_64/jre
lrwxrwxrwx. 1 root root 29 Oct 27 22:44 jre-openjdk -> /etc/alternatives/jre_openjdk

[root@hadoop1 ~]# cat /home/hadoop/.bashrc

增加如下环境变量
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.75-2.5.4.2.el7_0.x86_64
export CLASSPATH=.:$JAVA_HOME/jre/lib/rt.jar:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
export PATH=$PATH:$JAVA_HOME/bin
export HADOOP_PREFIX=/opt/hadoop/current
export HADOOP_MAPRED_HOME=${HADOOP_PREFIX}
export HADOOP_COMMON_HOME=${HADOOP_PREFIX}
export HADOOP_HDFS_HOME=${HADOOP_PREFIX}
export HADOOP_YARN_HOME=${HADOOP_PREFIX}
export HTTPS_CATALINA_HOME=${HADOOP_PREFIX}/share/hadoop/httpfs/tomcat
export HADOOP_CONF_DIR=/etc/hadoop/conf
export YARN_CONF_DIR=/etc/hadoop/conf
export HTTPS_CONFIG=/etc/hadoop/conf
export PATH=$PATH:$HADOOP_PREFIX/bin:$HADOOP_PREFIX/sbin

我们将 Hadoop 安装在 /opt/hadoop 目录下面，建立如下软连接，配置文件放在 /etc/hadoop/conf 目录下面
[root@hadoop1 hadoop]# ll current
lrwxrwxrwx 1 root root 21 Oct 29 11:02 current -> hadoop-2.6.0-cdh5.8.2

做好如下授权
[root@hadoop1 hadoop]# chown -R hadoop.hadoop hadoop-2.6.0-cdh5.8.2
[root@hadoop1 hadoop]# chown -R hadoop.hadoop /etc/hadoop/conf

CDH5 新版本的 Hadoop 启动服务脚步位于 $HADOOP_HOME/sbin 目录下面，启动服务有如下
namenode
secondarynamenode
datanode
resourcemanger
nodemanager
这里以 Hadoop 用户来进行管理和启动 Hadoop 的各种服务

[root@hadoop1 etc]# cd /etc/hadoop/conf/
[root@hadoop1 conf]# vim core-site.xml
<configuration>

<property>
<name>fs.defaultFS</name>
<value>hdfs://hadoop1</value>
</property>

</configuration>

格式化 namenode
[root@hadoop1 conf]# cd /opt/hadoop/current/bin
[root@hadoop1 bin]# hdfs namenode -format

启动 namenode 服务
[root@hadoop1 bin]# cd /opt/hadoop/current/sbin/
[root@hadoop1 sbin]# ./hadoop-daemon.sh start namenode
[hadoop@hadoop1 sbin]$ ./hadoop-daemon.sh start datanode