分布式系統中,我們廣泛運用消息中間件進行系統間的數據交換,便于異步解耦。現在開源的消息中間件有很多,前段時間我們自家的產品 RocketMQ (阿里云消息隊列(MQ)的內核) 也順利開源,得到大家的關注。
那么,消息中間件性能究竟哪家強?
帶著這個疑問,我們消息隊列測試小組對常見的三類消息產品(Kafka、RabbitMQ、RocketMQ)做了性能比較。
Kafka是LinkedIn開源的分布式發布-訂閱消息系統,目前歸屬于Apache定級項目。Kafka主要特點是基于Pull的模式來處理消息消費,追求高吞吐量,一開始的目的就是用于日志收集和傳輸。0.8版本開始支持復制,不支持事務,對消息的重復、丟失、錯誤沒有嚴格要求,適合產生大量數據的互聯網服務的數據收集業務。
RabbitMQ是使用Erlang語言開發的開源消息隊列系統,基于AMQP協議來實現。AMQP的主要特征是面向消息、隊列、路由(包括點對點和發布/訂閱)、可靠性、安全。AMQP協議更多用在企業系統內,對數據一致性、穩定性和可靠性要求很高的場景,對性能和吞吐量的要求還在其次。
RocketMQ是阿里開源的消息中間件,它是純Java開發,具有高吞吐量、高可用性、適合大規模分布式系統應用的特點。RocketMQ思路起源于Kafka,但并不是Kafka的一個Copy,它對消息的可靠傳輸及事務性做了優化,目前在阿里集團被廣泛應用于交易、充值、流計算、消息推送、日志流式處理、binglog分發等場景。
測試目的
對比Kafka、RabbitMQ、RocketMQ發送小消息(124字節)的性能。這次壓測我們只關注服務端的性能指標,所以壓測的標準是:
不斷增加發送端的壓力,直到系統吞吐量不再上升,而響應時間拉長。這時服務端已出現性能瓶頸,可以獲得相應的系統最佳吞吐量。
測試場景
在同步發送場景中,三個消息中間件的表現區分明顯:
Kafka的吞吐量高達17.3w/s,不愧是高吞吐量消息中間件的行業老大。這主要取決于它的隊列模式保證了寫磁盤的過程是線性IO。此時broker磁盤IO已達瓶頸。
RocketMQ也表現不俗,吞吐量在11.6w/s,磁盤IO %util已接近100%。RocketMQ的消息寫入內存后即返回ack,由單獨的線程專門做刷盤的操作,所有的消息均是順序寫文件。
RabbitMQ的吞吐量5.95w/s,CPU資源消耗較高。它支持AMQP協議,實現非常重量級,為了保證消息的可靠性在吞吐量上做了取舍。我們還做了RabbitMQ在消息持久化場景下的性能測試,吞吐量在2.6w/s左右。
測試結論
在服務端處理同步發送的性能上,Kafka>RocketMQ>RabbitMQ。
作為專業的阿里云消息隊列測試小組,不禁想問,阿里云的MQ和Kafka相比,哪家強?
阿里云消息隊列 Kafka VS Apache Kafka
阿里云消息隊列 MQ 推出 Kafka 企業級消息服務(MQ-Kafka),全面融合 Kafka 開源生態,兼容 Kafka API,做到無縫遷移,打造更安全、更可靠、更易運維的 Kafka 企業級消息服務。
測試小組此次也對Apache Kafka和消息隊列 Kafka 企業級消息服務在性能、可用性、可靠性等方面做了如下對比:
對比項
Apache Kafka(開源)
阿里云 MQ-Kafka