阿里云-云小站(无限量代金券发放中)
【腾讯云】云服务器、云数据库、COS、CDN、短信等热卖云产品特惠抢购

Storm集群部署手册

143次阅读
没有评论

共计 2203 个字符,预计需要花费 6 分钟才能阅读完成。

 

一、准备

 

1、硬件

 

三台装好 RHEL6.7_x64 的 x86 服务器,机器名如下

 

storm01

 

storm02

 

storm03

 

2、软件

 

jdk-7u80-linux-x64.rpm

 

apache-storm-1.0.1.zip

 

3、zookeeper

 

storm 需用到 zookeeper,开始安装前先安装好 zookeeper,参照 zookeeper 集群部署手册

 

4、Python

 

storm 需用到 python,一般 Linux 都有 python,这里需要 python 2.6.6,如没有或版本不对请先安装。安装方法可上网查找。

 

可用以下命令查 python 版本

 

#python

 

二、安装 JDK(root 用户执行)

 

参照 zookeeper 集群部署手册

 

三、创建用户(root 用户执行)

 

1、执行以下命令创建用户

 

useradd -d /home/stadmin -m stadmin

 

四、创建目录(root 用户执行)

 

执行以下命令

 

mkdir -p /data01/software/apache-storm-1.0.1

 

mkdir -p /data01/software/apache-storm-1.0.1/topology

 

mkdir -p /data01/software/apache-storm-1.0.1/wkdir

 

mkdir -p /data01/software/apache-storm-1.0.1/logs

 

mkdir -p /data01/software/apache-storm-1.0.1/logs/workers-artifacts

 

 

 

五、拷贝安装介质并设置权限(root 用户执行)

 

1、将 storm 的安装介质解压后用 ftp 拷贝到 /data01/software/apache-storm-1.0.1

 

2、将要运行的 Topology 用 ftp 拷贝到 /data01/software/apache-storm-1.0.1/topology

 

3、修改 hosts 映射:vi /etc/hosts。将“127.0.0.1    hostname”

 

改成“业务 ip  hostname”,每台机器都要修改

 

4、修改配置文件 /data01/software/apache-storm-1.0.1/conf/storm.yaml,将红色字体改成实际值。

 

storm.zookeeper.servers:

 

    – “zookeeper01”

 

    – “zookeeper02”

 

    – “zookeeper03”

 

nimbus.seeds: [“storm01″,”storm02″,”storm03”]

 

storm.local.dir: “/data01/software/apache-storm-1.0.1/wkdir”

 

storm.workers.artifacts.dir: “/data01/software/apache-storm-1.0.1/logs/workers-artifacts”

 

supervisor.slots.ports:

 

    – 6700

 

    – 6701

 

    – 6702

 

    – 6703

 

 

 

supervisor.slots.ports 为每台机器上运行的 worker,数量决定了每台机器上可运行的 worker 数,可根据机器的逻辑 CPU 数来定。

 

5、执行以下命令

 

chown -R stadmin:stadmin /data01/software/apache-storm-1.0.1

 

chmod -R u=rwx /data01/software/apache-storm-1.0.1

 

chmod -R u=rwx /data01/software/apache-storm-1.0.1/logs

 

chmod -R u=rwx /data01/software/apache-storm-1.0.1/wkdir

 

 

 

六、运行 storm(stadmin 用户执行)

 

1、执行以下命令

 

su – stadmin

 

cd /data01/software/apache-storm-1.0.1

 

bin/storm nimbus &

 

bin/storm supervisor &

 

bin/storm ui &

 

2、执行完成后可在浏览器中输入以下网址查看是否安装成功

 

http://storm01:8080/

 

七、部署 Topology(stadmin 用户执行)

 

1、执行以下命令,将红色字体改成实际值。

 

#bin/storm jar topology/xxx-1.0-SNAPSHOT-executable.jar xxx.StormTopology xxxTopology

 

2、执行完成后可在浏览器中输入以下网址查看是否安装成功

 

http://storm01:8080/

 

 

 

八、停止 storm(stadmin 用户执行)

 

1、执行以下命令停止 topology,将红色字体改成实际值。

 

su – stadmin

 

cd /data01/software/apache-storm-1.0.1

 

bin/storm kill xxxTopology

 

2、执行以下命令停止 storm

 

1)执行以下命令查出所有 storm 的进程

 

#ps -ef | grep storm

 

2)逐个执行以下命令结束

 

#kill -s TERM 进程号

 

 

#kill -9 进程号

 

正文完
星哥说事-微信公众号
post-qrcode
 0
星锅
版权声明:本站原创文章,由 星锅 于2022-01-20发表,共计2203字。
转载说明:除特殊说明外本站文章皆由CC-4.0协议发布,转载请注明出处。
【腾讯云】推广者专属福利,新客户无门槛领取总价值高达2860元代金券,每种代金券限量500张,先到先得。
阿里云-最新活动爆款每日限量供应
评论(没有评论)
验证码
【腾讯云】云服务器、云数据库、COS、CDN、短信等云产品特惠热卖中