阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 安装R 集成 Hadoop、RHive 配置安装手册

107次阅读
没有评论

共计 2217 个字符,预计需要花费 6 分钟才能阅读完成。

RHive 是一种通过 HIVE 高性能查询来扩展 R 计算能力的包。它可以在 R 环境中非常容易的调用 HQL,也允许在 Hive 中使用 R 的对象和函数。理论上数据处理量可以无限扩展的 Hive 平台,搭配上数据挖掘的利器 R 环境,堪称是一个完美的大数据分析挖掘的工作环境。

资源包下载地址

—————————————— 分割线 ——————————————

FTP 地址:ftp://ftp1.linuxidc.com

用户名:ftp1.linuxidc.com

密码:www.linuxidc.com

在 2015 年 LinuxIDC.com\7 月 \CentOS 安装 R 集成 Hadoop、RHive 配置安装手册

下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm

—————————————— 分割线 ——————————————

安装

首先 hadoop 以及 hive 的安装这里就跳过了。这里主要介绍在 Centos 中如何安装 R 语言以及如何集成 Rhive 到 hadoop 中。

本次实验节点有 8 个因此我们需要在每个节点中安装 R 以及相应的其他模块首先我们来看看如何安装 R

下载资源包中的 R-3.2.0.tar.gz 并解压

编译前确保安装如下模块

执行命令:

yum install gcc-gfortran  gcc gcc-c++ libXt-devel  openssl-devel  readline-devel

RHive 依赖于 Rserve,因此在编译安装 R 的时候主要使用参数 –disable-nls –enable-R-shlib:

cd R-3.2.0/

./configure –disable-nls –enable-R-shlib

make

make install

cd ../

执行 R 命令进行 rJava、RHive 等模块的安装

R CMD INSTALL rJava_0.9-6.tar.gz

R CMD INSTALL Rserve_1.8-3.tar.gz

R CMD INSTALL RHive_2.0-0.2.tar.gz

说明:如果你有多个节点,请在每个节点 和 master 中均安装上述模块

到此安装结束,我们进入环境配置部分。

配置

1. 新建 RHIVE 数据存储路径(本地的非 HDFS)

我这里保存在 /www/store/rhive/data

2. 新建 Rserv.conf 文件并写入“remote enable”保存到你指定的目录

我这里存放在 /www/cloud/R/Rserv.conf

3. 修改各个节点以及 master 的 /etc/profile 新增环境变量

export RHIVE_DATA=/www/store/rhive/data

4. 将 R 目录下的 lib 目录中所有文件上传至 HDFS 中的 /rhive/lib 目录下(如果目录不存在手工新建一下即可)

cd /usr/local/lib64/R/lib

hadoop fs -put ./* /rhive/lib

启动

1. 在所有节点和 master 上执行

R CMD Rserve –RS-conf /www/cloud/R/Rserv.conf

telnet cloud01 6311

然后在 Master 节点 telnet 所有 slave 节点,显示 Rsrv0103QAP1 则表示连接成功

2. 启动 hive 远程服务:rhive 是通过 thrift 连接 hiveserver 的,需要要启动后台 thrift 服务,即:在 hive 客户端启动 hive 远程服务, 如果已经开启了跳过本步骤

nohup hive –service hiveserver &

Rhive 测试

library(RHive)

rhive.connect(“master”, 10000,hiveServer2=TRUE)

完毕!

最后附上 RHive 相关文档地址 https://github.com/nexr/RHive/wiki/User-Guide

Hive 编程指南 PDF 中文高清版  http://www.linuxidc.com/Linux/2015-01/111837.htm

基于 Hadoop 集群的 Hive 安装 http://www.linuxidc.com/Linux/2013-07/87952.htm

Hive 内表和外表的区别 http://www.linuxidc.com/Linux/2013-07/87313.htm

Hadoop + Hive + Map +reduce 集群安装部署 http://www.linuxidc.com/Linux/2013-07/86959.htm

Hive 本地独立模式安装 http://www.linuxidc.com/Linux/2013-06/86104.htm

Hive 学习之 WordCount 单词统计 http://www.linuxidc.com/Linux/2013-04/82874.htm

Hive 运行架构及配置部署 http://www.linuxidc.com/Linux/2014-08/105508.htm

Hive 的详细介绍 :请点这里
Hive 的下载地址 :请点这里

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2015-07/119760.htm

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2217字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中