歡迎來到魔據教育大數據學院,專注大數據工程師培養!
當前位置:首頁 > 學習資料 > 講師博文 > Strom和SparkStreaming對比

Strom和SparkStreaming對比

時間:2017-08-17 18:05:17作者:[!--zuozhe--]

 

一、場景
伴隨著信息科技日新月異的發展,信息呈現出爆發式的膨脹,人們獲取信息的途徑也更加多樣、更加便捷,同時對于信息的時效性要求也越來越高。舉個例子,如果用戶昨天在淘寶上買了一雙襪子,今天想買一副泳鏡去游泳,但是卻發現系統在不遺余力地給他推薦襪子。根本對他今天尋找泳鏡的行為視而不見,這樣買家的用戶體驗戶非常的差。其實稍微了解點背景知識的碼農們都知道,這是因為后臺系統做的是每天一次的全量處理,而且大多是在夜深人靜之時做的,那么你今天白天做的事情當然要明天才能反映出來啦。
二、storm
Storm是一個免費并開源的分布式實時計算系統。利用Storm可以很容易做到可靠地處理無限的數據流,像Hadoop批量處理大數據一樣,Storm可以實時處理數據。Storm簡單,可以使用任何編程語言。
Storm有如下特點:
Ø 編程簡單:開發人員只需要關注應用邏輯,而且跟Hadoop類似,Storm提供的編程原語也很簡單
Ø 高性能,低延遲:可以應用于廣告搜索引擎這種要求對廣告主的操作進行實時響應的場景。
Ø 分布式:可以輕松應對數據量大,單機搞不定的場景
Ø 可擴展:隨著業務發展,數據量和計算量越來越大,系統可水平擴展
Ø 容錯:單個節點掛了不影響應用
Ø 消息不丟失:保證消息處理
 
 
Storm不是完整的解決方案。使用Storm時你需要關注以下幾點:
Ø 如果使用的是自己的消息隊列,需要加入消息隊列做數據的來源和產出的代碼
Ø 需要考慮如何做故障處理:如何記錄消息隊列處理的進度,應對Storm重啟,掛掉的場景
Ø 需要考慮如何做消息的回退:如果某些消息處理一直失敗怎么辦?
Strom應用場景
Storm有很多應用:實時分析,在線機器學習(online machine learning),連續計算(continuous computation),分布式遠程過程調用(RPC)、ETL等。Storm處理速度很快:每個節點每秒鐘可以處理超過百萬的數據組。它是可擴展(scalable),容錯(fault-tolerant),保證你的數據會被處理,并且很容易搭建和操作。

12-1.png

三、SparkStreaming
Spark是一個類似于MapReduce的分布式計算框架,其核心是RDD(彈性分布式數據集),提供了比MapReduce更豐富的模型,可以在快速在內存中對數據集進行多次迭代,以支持復雜的數據挖掘算法和圖形計算算法。Spark Streaming是一種構建在Spark上的實時計算框架,它擴展了Spark處理大規模流式數據的能力。
Spark Streaming的優勢在于:
Ø 能運行在100+的結點上,并達到秒級延遲。
Ø 使用基于內存的Spark作為執行引擎,具有高效和容錯的特性。
Ø 能集成Spark的批處理和交互查詢。
Ø 為實現復雜的算法提供和批處理類似的簡單接口。
四、Storm與SparkStreaming對比

12-2.png 

對于Storm來說:
Ø 建議在那種需要純實時,不能忍受1秒以上延遲的場景下使用,比如實時金融系統,要求純實時進行金融交易和分析
Ø 對于實時計算的功能中,要求可靠的事務機制和可靠性機制,即數據的處理完全精準,一條也不能多,一條也不能少,也可以考慮使用Storm
Ø 需要針對高峰低峰時間段,動態調整實時計算程序的并行度,以最大限度利用集群資源(通常是在小型公司,集群資源緊張的情況),也可以考慮用Storm
Ø 一個大數據應用系統,它就是純粹的實時計算,不需要在中間執行SQL交互式查詢、復雜的transformation算子等,那么用Storm是比較好的選擇
對于Spark Streaming來說:
Ø 如果對上述適用于Storm的三點,一條都不滿足的實時場景,即,不要求純實時,不要求強大可靠的事務機制,不要求動態調整并行度,那么可以考慮使用Spark Streaming
 

更多大數據相關資訊敬請關注魔據教育,為您分享最及時的大數據資訊。
學習大數據敬請關注魔據教育微信二維碼。
魔據教育微信二維碼

【版權與免責聲明】如發現內容存在版權問題,煩請提供相關信息發郵件至[email protected],我們將及時溝通與處理。本站內容除非來源注明魔據教育,否則均為網友轉載,涉及言論、版權與本站無關。

全國咨詢熱線:18501996998,值班手機:18501996998(7*24小時)

在線咨詢:張老師QQ 320169340

企業合作服務專線:010-82340234-821, 院校合作洽談專線:010-82340234

Copyright 2001-2019 魔據教育 - 北京華育興業科技有限公司 版權所有,京ICP備17018991號-2

免費在線咨詢立即咨詢

免費索取技術資料立即索取

大數據技術交流QQ:226594285

電話咨詢010-82340234

六合图库118万众图库