阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Zeppelin0.6.2+SparkR2.0.2环境搭建

453次阅读
没有评论

共计 2874 个字符,预计需要花费 8 分钟才能阅读完成。

0. 序

先吐槽一下网上旧版本的 Zeppelin 和 R 的安装,让我折腾了几个小时。

不过最终还是调通了也不容易,其实我现在一点 R 都没有学呢,只是刚看了一节课,但是这个工具既然出现在了 Spark 中,我想它还是蛮流行和好用的。

之前配置了 Zeppelin 的 Spark 的结合,但是那没有配置 R 的部分,但是 Zeppelin 既然能够有这么多的解释器,在我看来就是凸显他的一个别的软件所不具有的优势:那就是在一个 note 里你可以使用多种解释器来编写文字,生成图像,分析一个问题。

再加上方便的导入导出和存储功能,我个人感觉未来流行只是时间问题。

废话尽量少说,进入正题:

1. 安装 R 及相关的包

注意我使用的是 CentOS7 的系统,如果你不是我的系统可能下载的包会不一致。不过请不要担心,我会尽量说明白如何找到对应系统的 R 的安装包。

首先访问官网 https://www.r-project.org/

然后我们找到这个:

Zeppelin0.6.2+SparkR2.0.2 环境搭建

然后找到 China 那一栏,随便点一个地址就好。

然后我们选择这个:

Zeppelin0.6.2+SparkR2.0.2 环境搭建

这下你应该能找到了吧,里面包含几种常用 Linux 发行版,我的是 CentOS,自然是选择 RedHat 系列了。

然后我们依次点下去,直到点开 README

Zeppelin0.6.2+SparkR2.0.2 环境搭建

很好,这里似乎要安装一个 EPEL 的源来完成我们的 R 包的安装,这里我们进入划横线的网址:

Zeppelin0.6.2+SparkR2.0.2 环境搭建

箭头所指是这个源的 RPM 包,下载并安装之!

wget https://dl.Fedoraproject.org/pub/epel/epel-release-latest-7.noarch.rpm
rpm -ivh epel-release-latest-7.noarch.rpm

接下来我打开这个网址:https://zeppelin.apache.org/docs/0.6.2/interpreter/r.html

安装相关 R 以及相关依赖:

yum install R R-devel libcurl-devel openssl-devel

安装时间比较长,耐心等待,去喝杯咖啡或者看会别的,再回来吧!

不过你要是一直细心看的话,它竟然在处理依赖关系的时候自动给安装上了 open-jdk,没事,我们使用以下方式解决:

wget --no-check-certificate --no-cookies --header "Cookie: Oraclelicense=accept-securebackup-cookie" http://download.oracle.com/otn-pub/Java/jdk/8u112-b15/jdk-8u112-linux-x64.rpm 
rpm -ivh jdk-8u112-linux-x64.rpm

再给它安装回去 -。- 醉了。

安装一些官网所说的依赖:

R -e “install.packages(‘devtools’, repos = ‘http://cran.rstudio.com’)”
R -e “install.packages(‘knitr’, repos = ‘http://cran.rstudio.com’)”
R -e “install.packages(‘ggplot2’, repos = ‘http://cran.rstudio.com’)”
R -e “install.packages(c(‘devtools’,’mplot’, ‘googleVis’), repos = ‘http://cran.rstudio.com’); require(devtools); install_github(‘ramnathv/rCharts’)”

2. 配置 Zeppelin

复制官网的一段话:

Configuration

To run Zeppelin with the R Interpreter, the SPARK_HOME environment variable must be set. The best way to do this is by editing conf/zeppelin-env.sh. If it is not set, the R Interpreter will not be able to interface with Spark.

You should also copy conf/zeppelin-site.xml.template to conf/zeppelin-site.xml. That will ensure that Zeppelin sees the R Interpreter the first time it starts up.

两个步骤:

  • 在 conf/zeppelin-env.sh 中加入 SPARK_HOME 这个环境变量
  •  cp conf/zeppelin-site.xml.template  conf/zeppelin-site.xml

此处不再赘述。

3. 重启 Zeppelin:

/opt/zeppelin-0.6.2-bin-all/bin/zeppelin-daemon.sh restart

4. 验证环境是否装好:

打开浏览器进入 Zeppelin 的地址,然后 notebook -> R Tutorial

如下图

Zeppelin0.6.2+SparkR2.0.2 环境搭建

 

等待编译完成,然后我截取了几张图片放在下面:

Zeppelin0.6.2+SparkR2.0.2 环境搭建

Zeppelin0.6.2+SparkR2.0.2 环境搭建

Zeppelin0.6.2+SparkR2.0.2 环境搭建

好,我们的 SparkR 环境搭建好了,Zeppelin 又多了一个新的工具,又强大了不少。

更多 Spark 相关教程见以下内容

CentOS 7.0 下安装并配置 Spark  http://www.linuxidc.com/Linux/2015-08/122284.htm

Spark1.0.0 部署指南 http://www.linuxidc.com/Linux/2014-07/104304.htm

Spark2.0 安装配置文档  http://www.linuxidc.com/Linux/2016-09/135352.htm

Spark 1.5、Hadoop 2.7 集群环境搭建  http://www.linuxidc.com/Linux/2016-09/135067.htm

Spark 官方文档 – 中文翻译  http://www.linuxidc.com/Linux/2016-04/130621.htm

CentOS 6.2(64 位)下安装 Spark0.8.0 详细记录 http://www.linuxidc.com/Linux/2014-06/102583.htm

Spark2.0.2 Hadoop2.6.4 全分布式配置详解 http://www.linuxidc.com/Linux/2016-11/137367.htm

Ubuntu 14.04 LTS 安装 Spark 1.6.0(伪分布式)http://www.linuxidc.com/Linux/2016-03/129068.htm

Spark2.0.2+Zeppelin0.6.2 环境搭建入门初探  http://www.linuxidc.com/Linux/2017-06/144929.htm

Spark 的详细介绍:请点这里
Spark 的下载地址:请点这里

本文永久更新链接地址:http://www.linuxidc.com/Linux/2017-06/144930.htm

正文完
星哥玩云-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计2874字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中

星哥玩云

星哥玩云
星哥玩云
分享互联网知识
用户数
4
文章数
19351
评论数
4
阅读量
7979222
文章搜索
热门文章
星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛NAS-6:抖音视频同步工具,视频下载自动下载保存

星哥带你玩飞牛 NAS-6:抖音视频同步工具,视频下载自动下载保存 前言 各位玩 NAS 的朋友好,我是星哥!...
星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛NAS-3:安装飞牛NAS后的很有必要的操作

星哥带你玩飞牛 NAS-3:安装飞牛 NAS 后的很有必要的操作 前言 如果你已经有了飞牛 NAS 系统,之前...
我把用了20年的360安全卫士卸载了

我把用了20年的360安全卫士卸载了

我把用了 20 年的 360 安全卫士卸载了 是的,正如标题你看到的。 原因 偷摸安装自家的软件 莫名其妙安装...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛NAS中安装Navidrome音乐文件中文标签乱码问题解决、安装FntermX终端

飞牛 NAS 中安装 Navidrome 音乐文件中文标签乱码问题解决、安装 FntermX 终端 问题背景 ...
阿里云CDN
阿里云CDN-提高用户访问的响应速度和成功率
随机文章
星哥带你玩飞牛NAS-7:手把手教你免费内网穿透-Cloudflare tunnel

星哥带你玩飞牛NAS-7:手把手教你免费内网穿透-Cloudflare tunnel

星哥带你玩飞牛 NAS-7:手把手教你免费内网穿透 -Cloudflare tunnel 前言 大家好,我是星...
再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见zabbix!轻量级自建服务器监控神器在Linux 的完整部署指南

再见 zabbix!轻量级自建服务器监控神器在 Linux 的完整部署指南 在日常运维中,服务器监控是绕不开的...
小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比

小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比

小白也能看懂:什么是云服务器?腾讯云 vs 阿里云对比 星哥玩云,带你从小白到上云高手。今天咱们就来聊聊——什...
从“纸堆”到“电子化”文档:用这个开源系统打造你的智能文档管理系统

从“纸堆”到“电子化”文档:用这个开源系统打造你的智能文档管理系统

从“纸堆”到“电子化”文档:用这个开源系统打造你的智能文档管理系统 大家好,我是星哥。公司的项目文档存了一堆 ...
还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手!

还在找免费服务器?无广告免费主机,新手也能轻松上手! 前言 对于个人开发者、建站新手或是想搭建测试站点的从业者...

免费图片视频管理工具让灵感库告别混乱

一言一句话
-「
手气不错
国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号AI知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率

国产开源公众号 AI 知识库 Agent:突破未认证号限制,一键搞定自动回复,重构运营效率 大家好,我是星哥,...
星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定!

星哥带你玩飞牛 NAS-9:全能网盘搜索工具 13 种云盘一键搞定! 前言 作为 NAS 玩家,你是否总被这些...
零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face免费服务器+Docker 快速部署HertzBeat 监控平台

零成本上线!用 Hugging Face 免费服务器 +Docker 快速部署 HertzBeat 监控平台 ...
仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

仅2MB大小!开源硬件监控工具:Win11 无缝适配,CPU、GPU、网速全维度掌控

还在忍受动辄数百兆的“全家桶”监控软件?后台偷占资源、界面杂乱冗余,想查个 CPU 温度都要层层点选? 今天给...
多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞定

多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞定

多服务器管理神器 Nexterm 横空出世!NAS/Win/Linux 通吃,SSH/VNC/RDP 一站式搞...