CentOS 安装R 集成 Hadoop、RHive 配置安装手册

共计 2217 个字符，预计需要花费 6 分钟才能阅读完成。

RHive 是一种通过 HIVE 高性能查询来扩展 R 计算能力的包。它可以在 R 环境中非常容易的调用 HQL，也允许在 Hive 中使用 R 的对象和函数。理论上数据处理量可以无限扩展的 Hive 平台，搭配上数据挖掘的利器 R 环境，堪称是一个完美的大数据分析挖掘的工作环境。

资源包下载地址 ：

—————————————— 分割线 ——————————————

FTP 地址：ftp://ftp1.linuxidc.com

用户名：ftp1.linuxidc.com

密码：www.linuxidc.com

在 2015 年 LinuxIDC.com\7 月 \CentOS 安装 R 集成 Hadoop、RHive 配置安装手册

下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm

—————————————— 分割线 ——————————————

安装

首先 hadoop 以及 hive 的安装这里就跳过了。这里主要介绍在 Centos 中如何安装 R 语言以及如何集成 Rhive 到 hadoop 中。

本次实验节点有 8 个因此我们需要在每个节点中安装 R 以及相应的其他模块首先我们来看看如何安装 R

下载资源包中的 R-3.2.0.tar.gz 并解压

编译前确保安装如下模块

执行命令：

yum install gcc-gfortran  gcc gcc-c++ libXt-devel  openssl-devel  readline-devel

RHive 依赖于 Rserve，因此在编译安装 R 的时候主要使用参数 –disable-nls –enable-R-shlib：

cd R-3.2.0/

./configure –disable-nls –enable-R-shlib

make

make install

cd ../

执行 R 命令进行 rJava、RHive 等模块的安装

R CMD INSTALL rJava_0.9-6.tar.gz

R CMD INSTALL Rserve_1.8-3.tar.gz

R CMD INSTALL RHive_2.0-0.2.tar.gz

说明：如果你有多个节点，请在每个节点 和 master 中均安装上述模块

到此安装结束，我们进入环境配置部分。

配置

1. 新建 RHIVE 数据存储路径（本地的非 HDFS）

我这里保存在 /www/store/rhive/data

2. 新建 Rserv.conf 文件并写入“remote enable”保存到你指定的目录

我这里存放在 /www/cloud/R/Rserv.conf

3. 修改各个节点以及 master 的 /etc/profile 新增环境变量

export RHIVE_DATA=/www/store/rhive/data

4. 将 R 目录下的 lib 目录中所有文件上传至 HDFS 中的 /rhive/lib 目录下（如果目录不存在手工新建一下即可）

cd /usr/local/lib64/R/lib

hadoop fs -put ./* /rhive/lib

启动

1. 在所有节点和 master 上执行

R CMD Rserve –RS-conf /www/cloud/R/Rserv.conf

telnet cloud01 6311

然后在 Master 节点 telnet 所有 slave 节点，显示 Rsrv0103QAP1 则表示连接成功

2. 启动 hive 远程服务：rhive 是通过 thrift 连接 hiveserver 的，需要要启动后台 thrift 服务，即：在 hive 客户端启动 hive 远程服务, 如果已经开启了跳过本步骤

nohup hive –service hiveserver &

Rhive 测试

library(RHive)

rhive.connect(“master”, 10000,hiveServer2=TRUE)

完毕！

最后附上 RHive 相关文档地址 https://github.com/nexr/RHive/wiki/User-Guide

Hive 编程指南 PDF 中文高清版  http://www.linuxidc.com/Linux/2015-01/111837.htm

基于 Hadoop 集群的 Hive 安装 http://www.linuxidc.com/Linux/2013-07/87952.htm

Hive 内表和外表的区别 http://www.linuxidc.com/Linux/2013-07/87313.htm

Hadoop + Hive + Map +reduce 集群安装部署 http://www.linuxidc.com/Linux/2013-07/86959.htm

Hive 本地独立模式安装 http://www.linuxidc.com/Linux/2013-06/86104.htm

Hive 学习之 WordCount 单词统计 http://www.linuxidc.com/Linux/2013-04/82874.htm

Hive 运行架构及配置部署 http://www.linuxidc.com/Linux/2014-08/105508.htm

Hive 的详细介绍 ：请点这里
Hive 的下载地址 ：请点这里

本文永久更新链接地址 ：http://www.linuxidc.com/Linux/2015-07/119760.htm