Storm_cn
文檔
官網
github
github-2
維基百科
中文
中文-2
概念
為什么要用storm？ more
- Storm是一個免費，開源的分布式實時計算系統。
- Storm有很多使用場景：實時分析，在線機器學習，持續計算，分布式RPC，ETL工具等。
- Storm很快：基準測試計時顯示，每個節點每秒處理超過一百萬個tuple數據。
- 它是高可用的，高容錯的，保證你的數據得到處理，并且很容易設置和操作。
Topologies more
- 實時應用的邏輯被封裝成topology。
- 一個topology和一個MapReduce job類似。唯一的不同點就是一個MapReduce job最終會結束，然而一個topology會永遠運行（當然，直到你kill了它）。
- 一個topology是一個通過stream groupings連接的spouts和bolts的圖表。
Topologies -> TopologyBuilder more
TopologyBuilder公開了Java API，用于具體描述一個topology，用于Storm執行。Topologies最終是Thrift結構，但是基于Thrift API如此冗長，TopologyBuilder極大的簡化了創建topologies的過程。創建和提交一個topology的模版如下：
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("1", new TestWordSpout(true), 5);
builder.setSpout("2", new TestWordSpout(true), 3);
builder.setBolt("3", new TestWordCounter(), 3)
.fieldsGrouping("1", new Fields("word"))
.fieldsGrouping("2", new Fields("word"));
builder.setBolt("4", new TestGlobalCount())
.globalGrouping("1");
Map conf = new HashMap();
conf.put(Config.TOPOLOGY_WORKERS, 4);
StormSubmitter.submitTopology("mytopology", conf, builder.createTopology());
用本地模式運行相同的topology，將它配置為記錄所有發出的tuples，如下。注意讓topology運行10秒鐘再關閉。
TopologyBuilder builder = new TopologyBuilder();
builder.setSpout("1", new TestWordSpout(true), 5);
builder.setSpout("2", new TestWordSpout(true), 3);
builder.setBolt("3", new TestWordCounter(), 3)
.fieldsGrouping("1", new Fields("word"))
.fieldsGrouping("2", new Fields("word"));
builder.setBolt("4", new TestGlobalCount())
.globalGrouping("1");
Map conf = new HashMap();
conf.put(Config.TOPOLOGY_WORKERS, 4);
conf.put(Config.TOPOLOGY_DEBUG, true);
LocalCluster cluster = new LocalCluster();
cluster.submitTopology("mytopology", conf, builder.createTopology());
Utils.sleep(10000);
cluster.shutdown();
Streams more
- Stream是Storm的一個核心抽象概念。一個Stream是一系列無界的tuples序列，它用一種分布式的并行的方式處理或創建的。
- Streams定義了一個模式，該模式命名了tuples的字段，tuples包含intergers，longs，shorts，bytes，strings，doubles，floats，booleans和byte數組。你也可以定義你自己的序列化，以便自定義類似用于tuples的本地。
- 每個流被聲明的時候都被賦予一個id。鑒于單個spouts和bolts的流如此常見，OutputFieldsDeclarer有一個簡單的方法用于聲明單個stream，而不需要特別指定id。在這種情況下，stream的默認id為"default".
Streams -> Tuple more
- tuple是Storm的主要數據結構。一個tuple是一個被命名的值的列表，每個值可以是任何類型。tuples是動態類型的 - 字段的類型不需要指定。typles有一些有用的方法比如getInteger，getString，用于獲取字段的值，而無需轉換結果。
- Storm需要指導如何序列化一個tuple里的所有值。默認情況下，Storm指導如何序列化原始的類型，string，byte數組。如果你想要使用其他類型，你需要為那個類型實現并注冊一個序列化。
Streams -> Serialization more
Spouts more
- 一個spout是在topology里的streams的一個源。通常spouts會從外部源讀取tuples然后將它們發射到topology里（例如，Kestrel隊列或者Twitter API）。
- Spouts可以是可靠的或者不可靠的。如果tuple被Storm處理失敗，一個可靠的spout能夠響應，然后不可靠的spout會在它發射之后忽略它。
- Spouts可以發射超過一個stream。為了實現這個，使用OutputFieldsDeclarer的declareStream方法聲明多個streams，然后在使用SpoutOutputCollector的emit方法時，特別指定要發射的stream。
- spouts的主要方法是nextTuple。nextTuple可以發射一個新tuple到topology，或者在沒有新tuple發射的時候簡單返回。有一點很重要，nextTuple方法在任何spout的實現中都不要阻塞，因為Storm在同一個線程上調用所有的spout方法。
- spouts的另一個主要方法是ack和fail。當Storm檢測到一個從spout發射的tuple被topology成功處理或者處理失敗的時候，它們會被調用。ack和fail只會被可靠的spouts調用。
Spouts -> ISpout more
Spouts -> IRichSpout more
Spouts -> Guaranteeing Message Processing more
Bolts more
- topologies的所有處理都在bolts中完成。bolts可以任何事，如過濾，處理，聚合，joins，和數據庫交互等等。
- Bolts可以做簡單的stream轉換。做復雜的stream轉換通常需要很多步驟和很多bolts。例如，將一條推特轉換為趨勢圖像至少需要兩步：一個bolt用于滾動計數，一個或多個bolts用于退出頂部X圖像（你可以通過用三個bolts來實現一個更穩定的stream轉換）。
- Bolts可以發射超過一個stream。為了實現這個，為了實現這個，使用OutputFieldsDeclarer的declareStream方法聲明多個streams，然后在使用SpoutOutputCollector的emit方法時，特別指定要發射的stream.
