本文主要是记录使用 yum 安装 CDH Hadoop 集群的过程，包括 HDFS、Yarn、Hive 和 H…

本文主要记录 CDH5 集群中 Spark 集群模式的安装过程配置过程并测试 Spark 的一些基本使用方法。…

这篇文章简单回顾下 Spark 如何在集群上运行，以使其中的组件更易理解。 组件 Spark 应用在集群上以独…

近几年大数据越来越火热。由于工作需要以及个人兴趣，最近开始学习大数据相关技术。学习过程中的一些经验教训希望能通…

上一篇在 Win7 虚拟机下搭建了 Hadoop2.6.0 伪分布式环境 (见 http://www.linu…

Hadoop 的安装和配置可以参考我之前的文章：在 Win7 虚拟机下搭建 Hadoop2.6.0 伪分布式环…

开发机器上安装 jdk1.7.0_60 和 scala2.10.4，配置好相关环境变量。网上资料很多，安装过程…

前几篇文章主要介绍了单机模式的 Hadoop 和 Spark 的安装和配置，方便开发和调试。本文主要介绍，真正…

由于需要研究 Spark 的源码，最近不得不着手学习 Scala。当然，开发环境的搭建是入门的第一步。之前一直…

我的技术栈 正如在此博客中我所写到的，我想和你分享我如何在一个单集群中使用 docker 容器来运行分析作业。…