阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

CentOS 安装R 集成 Hadoop、RHive 配置安装手册

423次阅读
没有评论

共计 2217 个字符,预计需要花费 6 分钟才能阅读完成。

RHive 是一种通过 HIVE 高性能查询来扩展 R 计算能力的包。它可以在 R 环境中非常容易的调用 HQL,也允许在 Hive 中使用 R 的对象和函数。理论上数据处理量可以无限扩展的 Hive 平台,搭配上数据挖掘的利器 R 环境,堪称是一个完美的大数据分析挖掘的工作环境。

资源包下载地址

—————————————— 分割线 ——————————————

FTP 地址:ftp://ftp1.linuxidc.com

用户名:ftp1.linuxidc.com

密码:www.linuxidc.com

在 2015 年 LinuxIDC.com\7 月 \CentOS 安装 R 集成 Hadoop、RHive 配置安装手册

下载方法见 http://www.linuxidc.com/Linux/2013-10/91140.htm

—————————————— 分割线 ——————————————

安装

首先 hadoop 以及 hive 的安装这里就跳过了。这里主要介绍在 Centos 中如何安装 R 语言以及如何集成 Rhive 到 hadoop 中。

本次实验节点有 8 个因此我们需要在每个节点中安装 R 以及相应的其他模块首先我们来看看如何安装 R

下载资源包中的 R-3.2.0.tar.gz 并解压

编译前确保安装如下模块

执行命令:

yum install gcc-gfortran  gcc gcc-c++ libXt-devel  openssl-devel  readline-devel

RHive 依赖于 Rserve,因此在编译安装 R 的时候主要使用参数 –disable-nls –enable-R-shlib:

cd R-3.2.0/

./configure –disable-nls –enable-R-shlib

make

make install

cd ../

执行 R 命令进行 rJava、RHive 等模块的安装

R CMD INSTALL rJava_0.9-6.tar.gz

R CMD INSTALL Rserve_1.8-3.tar.gz

R CMD INSTALL RHive_2.0-0.2.tar.gz

说明:如果你有多个节点,请在每个节点 和 master 中均安装上述模块

到此安装结束,我们进入环境配置部分。

配置

1. 新建 RHIVE 数据存储路径(本地的非 HDFS)

我这里保存在 /www/store/rhive/data

2. 新建 Rserv.conf 文件并写入“remote enable”保存到你指定的目录

我这里存放在 /www/cloud/R/Rserv.conf

3. 修改各个节点以及 master 的 /etc/profile 新增环境变量

export RHIVE_DATA=/www/store/rhive/data

4. 将 R 目录下的 lib 目录中所有文件上传至 HDFS 中的 /rhive/lib 目录下(如果目录不存在手工新建一下即可)

cd /usr/local/lib64/R/lib

hadoop fs -put ./* /rhive/lib

启动

1. 在所有节点和 master 上执行

R CMD Rserve –RS-conf /www/cloud/R/Rserv.conf

telnet cloud01 6311

然后在 Master 节点 telnet 所有 slave 节点,显示 Rsrv0103QAP1 则表示连接成功

2. 启动 hive 远程服务:rhive 是通过 thrift 连接 hiveserver 的,需要要启动后台 thrift 服务,即:在 hive 客户端启动 hive 远程服务, 如果已经开启了跳过本步骤

nohup hive –service hiveserver &

Rhive 测试

library(RHive)

rhive.connect(“master”, 10000,hiveServer2=TRUE)

完毕!

最后附上 RHive 相关文档地址 https://github.com/nexr/RHive/wiki/User-Guide

Hive 编程指南 PDF 中文高清版  http://www.linuxidc.com/Linux/2015-01/111837.htm

基于 Hadoop 集群的 Hive 安装 http://www.linuxidc.com/Linux/2013-07/87952.htm

Hive 内表和外表的区别 http://www.linuxidc.com/Linux/2013-07/87313.htm

Hadoop + Hive + Map +reduce 集群安装部署 http://www.linuxidc.com/Linux/2013-07/86959.htm

Hive 本地独立模式安装 http://www.linuxidc.com/Linux/2013-06/86104.htm

Hive 学习之 WordCount 单词统计 http://www.linuxidc.com/Linux/2013-04/82874.htm

Hive 运行架构及配置部署 http://www.linuxidc.com/Linux/2014-08/105508.htm

Hive 的详细介绍 :请点这里
Hive 的下载地址 :请点这里

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2015-07/119760.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2217字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19348
评论数
4
阅读量
7821298
文章搜索
热门文章
开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南

开发者必备神器:阿里云 Qoder CLI 全面解析与上手指南 大家好,我是星哥。之前介绍了腾讯云的 Code...
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板1Panel:小白轻松构建Web服务与面板加固指南

云服务器部署服务器面板 1Panel:小白轻松构建 Web 服务与面板加固指南 哈喽,我是星哥,经常有人问我不...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
告别Notion焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁”

告别Notion焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁”

  告别 Notion 焦虑!这款全平台开源加密笔记神器,让你的隐私真正“上锁” 引言 在数字笔记工...
150元打造低成本NAS小钢炮,捡一块3865U工控板

150元打造低成本NAS小钢炮,捡一块3865U工控板

150 元打造低成本 NAS 小钢炮,捡一块 3865U 工控板 一块二手的熊猫 B3 工控板 3865U,搭...
三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Android 的最优解?

  三大开源投屏神器横评:QtScrcpy、scrcpy、escrcpy 谁才是跨平台控制 Andr...
开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

开源MoneyPrinterTurbo 利用AI大模型,一键生成高清短视频!

  开源 MoneyPrinterTurbo 利用 AI 大模型,一键生成高清短视频! 在短视频内容...
星哥带你玩飞牛NAS-11:咪咕视频订阅部署全攻略

星哥带你玩飞牛NAS-11:咪咕视频订阅部署全攻略

星哥带你玩飞牛 NAS-11:咪咕视频订阅部署全攻略 前言 在家庭影音系统里,NAS 不仅是存储中心,更是内容...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集

Prometheus:监控系统的部署与指标收集 在云原生体系中,Prometheus 已成为最主流的监控与报警...
240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

240 元左右!五盘位 NAS主机,7 代U硬解4K稳如狗,拓展性碾压同价位

  240 元左右!五盘位 NAS 主机,7 代 U 硬解 4K 稳如狗,拓展性碾压同价位 在 NA...
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的NAS中!

星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的NAS中!

星哥带你玩飞牛 NAS-10:备份微信聊天记录、数据到你的 NAS 中! 大家对「数据安全感」的需求越来越高 ...
浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍

浏览器自动化工具!开源 AI 浏览器助手让你效率翻倍 前言 在 AI 自动化快速发展的当下,浏览器早已不再只是...