Storm0.9.0.1升级安装

共计 2008 个字符，预计需要花费 6 分钟才能阅读完成。

1，下载 0.9.0.1 http://storm.incubator.apache.org/downloads.html

2，安装就 jdk,Python,zookeeper  在服务器 “192.168.1.1” “192.168.1.1””192.168.1.2″ 上

3，解压，修改 conf 下的 storm.yaml

storm.zookeeper.servers:
    – “192.168.1.1”
    – “192.168.1.2”
    – “192.168.1.3”

 nimbus.host: “192.168.1.10”
 storm.local.dir: “/data/storm/work”
 supervisor.slots.ports:
    – 6700
    – 6701
    – 6702
    – 6703
 storm.messaging.transport: “backtype.storm.messaging.netty.Context” 
 storm.messaging.netty.buffer_size: 209715200 
 storm.messaging.netty.max_retries: 100 
 storm.messaging.netty.max_wait_ms: 1000 
 storm.messaging.netty.min_wait_ms: 100
 
 logviewer.port: 80

4, 删除 storm/lib 下的 log4j-over-slf4j，因为 0.9 用的 logback, 不删除 top 可能起不来，并报类似如下错误

2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn’t started
2014-03-12 16:59:02 b.s.d.supervisor [INFO] b700af25-89fb-41da-9ea4-6abfffb2f275 still hasn’t started

或者如下错误

2014-03-12 17:48:56 b.s.d.worker [ERROR] Error on initialization of server mk-worker
Java.io.IOException: No such file or directory

把这些错误日志前面的执行语句拿出来看一下就明白了

为了支持 logviewer 还要给 storm/lib 下手动 copy 一个 log4j 的 jar 报，这个自己找找吧，我是把 0.8.1 下面的 log4j  拷贝过来的

不得不说，storm 的升级对日志的支持很乱

4，分发配置好的 storm，到 192.168.1.10，192.168.1.12，192.168.1.13，并在三台服务器上创建 /data/storm/work 给足够的写权限

5，启动

  192.168.1.10

  #启动 storm nimbus 进程
  nohup storm nimbus &
  #启动 storm ui 监控界面进程
  nohup storm ui &

  192.168.1.12，192.168.1.13

  #启动 storm supervisor 进程
nohup storm supervisor &
# 启动 storm 日志监控进程。启动该进程，可以在 storm ui 界面上看各个 supervisor 节点上日志
nohup storm logviewer &

6，show time

      http://192.168.1.10:8080/

      storm  jar **.jar  ATopology  跑一个 top 看看效果

    下面可以看具体 work 的日志

      http://192.168.1.12/log?file=worker-6701.log

7, 资源分配不爽

    storm rebalance ATopology -n 10  修改个 ATopology 的 workers 玩玩

    storm rebalance ATopology -e stepblot=74 修改个 ATopology 的 stepblot 的 executors 数量玩玩

安装到此为止！

4, 删除 storm/lib 下的 log4j-over-slf4j，因为 0.9 用的 logback, 不删除 top 可能起不来，并报类似如下错误

推荐阅读：

Twitter Storm 安装配置（集群）笔记 http://www.linuxidc.com/Linux/2013-05/84307.htm

安装 Twitter Storm 集群 http://www.linuxidc.com/Linux/2012-07/66336.htm

Twitter Storm 安装配置（单机版）笔记 http://www.linuxidc.com/Linux/2013-05/84306.htm

Storm 实战及实例讲解一 http://www.linuxidc.com/Linux/2012-08/69146.htm