阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Hadoop User Experience(HUE)安装与HUE配置Hadoop

123次阅读
没有评论

共计 4095 个字符,预计需要花费 11 分钟才能阅读完成。

HUE: Hadoop User Experience,Hue 是运营和开发 Hadoop 应用的图形化用户界面。Hue 程序被整合到一个类似桌面的环境,以 web 程序的形式发布,对于单独的用户来说不需要额外的安装。

官网地址:http://gethue.com/

Hue 官网无法下载,超时。

使用 CDH 版本安装。

下载地址:

http://archive.cloudera.com/cdh5/cdh/5/

说明文档:

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/

 

安装依赖包

参考:https://github.com/cloudera/hue

我的系统是 CentOS,安装 CentOS 依赖包;

yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libtidy libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel Python-devel sqlite-devel openssl-devel  gmp-devel -y

下载 maven apache-maven-3.3.3-bin.tar.gz

解压 tar -xzvf apache-maven-3.3.3-bin.tar.gz -C /usr/

设置 maven 环境变量

$vi ~/.bash_profile
export MAVEN_HOME= /usr/apache-maven-3.3.3
export PATH = $PATH:$MAVEN_HOME/bin

JDK 已经安装了,所以没有再安装,可根据需要自行安装。

 

解压安装包

tar -xzvf hue-3.9.0-cdh5.5.0.tar.gz -C /usr/

文件解压到 /usr/ 目录下;

 

Build

cd /usr/hue-3.9.0-cdh5.5.0

make apps

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

build 成功!

启动服务

cd /usr/hue-3.9.0-cdh5.5.0/build/env/bin

./supervisor

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

找不到 hue 用户

解决办法:

1、创建 hue 用户

adduser hue

然后再次启动服务;

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop 成功启动!

 

访问 Web

http://node1:8888

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

数据库为只读

解决方法:

修改数据文件权限

chmod 777 desktop

chmod 766 desktop/desktop.db

然后重新刷新页面

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

输入用户名、密码

然后页面跳转到如下内容:

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

页面有很多报错信息,因为并没有设置相应的配置,接下来的文章会对配置进行说明。

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2016-07/133362p2.htm

HDFS 配置

参考文档:http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/manual.html

 

Hadoop 配置文件修改

hdfs-site.xml

<property>
  <name>dfs.webhdfs.enabled</name>
  <value>true</value>
</property>

core-site.html

<property>
  <name>hadoop.proxyuser.hue.hosts</name>
  <value>*</value>
</property>
<property>
  <name>hadoop.proxyuser.hue.groups</name>
  <value>*</value>
</property>

 

HUE 配置文件修改

[[hdfs_clusters]] [[[default]]]

fs_defaultfs=hdfs://mycluster

webhdfs_url=http://node1:50070/webhdfs/v1

hadoop_bin=/usr/hadoop-2.5.1/bin

hadoop_conf_dir=/usr/hadoop-2.5.1/etc/hadoop

启动 hdfs、重启 hue

 

访问 Web

 Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

解决方法:

修改默认的 hdfs 访问用户

修改 hue.ini 中的配置

default_hdfs_superuser=hdfs

改为

default_hdfs_superuser=root

重启 hue

 

可以通过 HUE 的 文件浏览器 来操作 hdfs 的文件,进行增、删、改、查等操作。

但是修改文件内容是出现异常,查看日志文件:

 Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

解决方法:

1、关闭 hdfs 的权限验证

hdfs-site.xml

<property>

          <name>dfs.permissions.enabled</name>

    <value>false</value>

</property>

需要重启 hdfs 和 hue

2、在 hue 中创建 root 用户,并以 root 用户登录 hue。

 

Yarn 配置

HUE 配置文件修改

[[yarn_clusters]] [[[default]]]

resourcemanager_host=node1

resourcemanager_port=8032

submit_to=True

resourcemanager_api_url=http://node1:8088

重启 HUE 服务

运行 workcout 程序进行测试

hadoop jar /usr/hadoop-2.5.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.1.jar wordcount /test/wc/input /out1

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

更多 Hadoop 相关信息见 Hadoop 专题页面 http://www.linuxidc.com/topicnews.aspx?tid=13

本文永久更新链接地址 :http://www.linuxidc.com/Linux/2016-07/133362.htm

HUE: Hadoop User Experience,Hue 是运营和开发 Hadoop 应用的图形化用户界面。Hue 程序被整合到一个类似桌面的环境,以 web 程序的形式发布,对于单独的用户来说不需要额外的安装。

官网地址:http://gethue.com/

Hue 官网无法下载,超时。

使用 CDH 版本安装。

下载地址:

http://archive.cloudera.com/cdh5/cdh/5/

说明文档:

http://archive.cloudera.com/cdh5/cdh/5/hue-3.9.0-cdh5.5.0/

 

安装依赖包

参考:https://github.com/cloudera/hue

我的系统是 CentOS,安装 CentOS 依赖包;

yum install ant asciidoc cyrus-sasl-devel cyrus-sasl-gssapi cyrus-sasl-plain gcc gcc-c++ krb5-devel libffi-devel libtidy libxml2-devel libxslt-devel make mysql mysql-devel openldap-devel Python-devel sqlite-devel openssl-devel  gmp-devel -y

下载 maven apache-maven-3.3.3-bin.tar.gz

解压 tar -xzvf apache-maven-3.3.3-bin.tar.gz -C /usr/

设置 maven 环境变量

$vi ~/.bash_profile
export MAVEN_HOME= /usr/apache-maven-3.3.3
export PATH = $PATH:$MAVEN_HOME/bin

JDK 已经安装了,所以没有再安装,可根据需要自行安装。

 

解压安装包

tar -xzvf hue-3.9.0-cdh5.5.0.tar.gz -C /usr/

文件解压到 /usr/ 目录下;

 

Build

cd /usr/hue-3.9.0-cdh5.5.0

make apps

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

build 成功!

启动服务

cd /usr/hue-3.9.0-cdh5.5.0/build/env/bin

./supervisor

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

找不到 hue 用户

解决办法:

1、创建 hue 用户

adduser hue

然后再次启动服务;

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop 成功启动!

 

访问 Web

http://node1:8888

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

数据库为只读

解决方法:

修改数据文件权限

chmod 777 desktop

chmod 766 desktop/desktop.db

然后重新刷新页面

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

输入用户名、密码

然后页面跳转到如下内容:

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

页面有很多报错信息,因为并没有设置相应的配置,接下来的文章会对配置进行说明。

更多详情见请继续阅读下一页的精彩内容 :http://www.linuxidc.com/Linux/2016-07/133362p2.htm

HUE 配置 HIVE

HIVE 配置

修改 hue.ini 配置文件

[beeswax]
hive_server_host=node1
hive_server_port=10000
hive_conf_dir=/usr/hive-1.2.1/conf

重启 HUE

build/env/bin/supervisor

启动 hdfs 和 hiveserver2

$HIVE_HOME/bin/hiveserver2

登录 Web

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

点击:Query Editors->Hive

然后就可以通过图形化操作 Hive 了!

HUE 配置 HBase

HBase 的配置

修改配置 hue.ini 的配置文件

[hbase]
hbase_clusters=(Cluster|node1:9090)
hbase_conf_dir=/usr/hbase-0.98.12.1-Hadoop2/conf

Cluster Hue 展现的名字

node1:9090 hbase 启动的 thrift 主机及端口

 

需要启动 hdfs 和 hbase,然后再启动 thrift

hbase-daemon.sh start thrift

 

重新启动 Hue,访问 Web

Hadoop User Experience(HUE)安装与 HUE 配置 Hadoop

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-21发表,共计4095字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中