源起
大家可能都遇到過(guò)類似的需求:
- 生成訂單60秒后,給用戶發(fā)短信
- 下單之后15分鐘,如果用戶不付款就關(guān)閉訂單
解決方式
是的沒錯(cuò),我們用一種術(shù)語(yǔ)來(lái)描述上面的任務(wù),延時(shí)任務(wù).
那么針對(duì)于類似這樣的任務(wù),一般我們都是怎么處理的呢?
對(duì)于這種延時(shí)任務(wù),我們一般有以下的4中解決方式:
- 利用quartz等定時(shí)任務(wù)
- delayQueue
- wheelTimer
- rabbitMq的延遲隊(duì)列
下面就讓我們一起看一下這四種方式各自的優(yōu)劣。
利用quartz等定時(shí)任務(wù)
相信目前還有很多的公司依然沿用著這種做法,那么利用quartz怎么解決這個(gè)延時(shí)任務(wù)的問(wèn)題呢?
具體的方式就是這樣的,比如我們有個(gè)下單15分鐘后用戶不付款就關(guān)閉訂單的任務(wù).我的訂單是存儲(chǔ)在mysql的一個(gè)表里,表里會(huì)有各種狀態(tài)和創(chuàng)建時(shí)間.
利用quartz來(lái)設(shè)定一個(gè)定時(shí)任務(wù),我們暫時(shí)設(shè)置為每5分鐘掃描一次.掃描的條件為未付款并且當(dāng)前時(shí)間大于創(chuàng)建時(shí)間超過(guò)15分鐘.然后我們?cè)偃ブ鹨坏牟僮髅恳粭l數(shù)據(jù).
優(yōu)點(diǎn): 簡(jiǎn)單易用,可以利用quartz的分布式特性輕易的進(jìn)行橫向擴(kuò)展。
缺點(diǎn): 需要掃表會(huì)增加程序負(fù)荷、任務(wù)執(zhí)行不夠準(zhǔn)時(shí)。
利用jdk自帶的delayQueue
上面我們已經(jīng)說(shuō)過(guò)了用quartz解決這個(gè)辦法,現(xiàn)在我們這里引入了新的東東,就是jdk自帶的delayQueue.
那么究竟什么是delayQueue呢?
DelayQueue是java.util.concurrent中提供的一個(gè)很有意思的類。很巧妙,非常棒!但是java doc和Java SE 5.0的source中都沒有提供Sample。在ScheduledThreadPoolExecutor源碼時(shí),發(fā)現(xiàn)DelayQueue的妙用。可以這么說(shuō),DelayQueue是一個(gè)使用優(yōu)先隊(duì)列(PriorityQueue)實(shí)現(xiàn)的BlockingQueue,優(yōu)先隊(duì)列的比較基準(zhǔn)值是時(shí)間(關(guān)于DelayQueue的源碼解析可以看我之前的文章delayQueue原理理解之源碼解析)
怎么使用delayQueue呢?
DelayQueue主要用于放置實(shí)現(xiàn)了Delay接口的對(duì)象,其中的對(duì)象只能在其時(shí)刻到期時(shí)才能從隊(duì)列中取走。這種隊(duì)列是有序的,即隊(duì)頭的延遲到期時(shí)間最短。如果沒有任何延遲到期,那么久不會(huì)有任何頭元素,并且poll()將返回null(正因?yàn)檫@樣,你不能將null放置到這種隊(duì)列中)
也就是說(shuō)我們只需要把我們需要延遲觸發(fā)的任務(wù)構(gòu)建完畢放到delayQueue中,然后構(gòu)建一個(gè)消費(fèi)者不斷的去取到期的任務(wù),進(jìn)行處理就好.
優(yōu)點(diǎn): 效率高,任務(wù)觸發(fā)時(shí)間延遲低。
缺點(diǎn): 復(fù)雜度比quartz要高,自己要處理分布式橫向擴(kuò)展的問(wèn)題,因?yàn)閿?shù)據(jù)是放在內(nèi)存里,需要自己寫持久化的備案以達(dá)到高可用。
利用wheelTimer
netty中的Timer管理,使用了的Hashed time Wheel的模式,Time Wheel翻譯為時(shí)間輪,是用于實(shí)現(xiàn)定時(shí)器timer的經(jīng)典算法。
HashWheelTimer的原理
時(shí)間輪算法的原理如圖所示:
可以將 HashedWheelTimer 理解為一個(gè) Set<Task>[] 數(shù)組, 圖中每個(gè)槽位(slot)表示一個(gè) Set<Task>
HashedWheelTimer 有兩個(gè)重要參數(shù)
tickDuration: 每 tick 一次的時(shí)間間隔, 每 tick 一次就會(huì)到達(dá)下一個(gè)槽位
ticksPerWheel: 輪中的 slot 數(shù)
上圖就是一個(gè) ticksPerWheel = 8 的時(shí)間輪, 假如說(shuō) tickDuration = 100 ms, 則 800ms 可以走完一圈
在 timer.start() 以后, 便開始 tick, 每 tick 一次, timer 會(huì)將記錄總的 tick 次數(shù) ticks
我們加入一個(gè)新的超時(shí)任務(wù)時(shí), 會(huì)根據(jù)超時(shí)的任務(wù)的超時(shí)時(shí)間與時(shí)間輪開始時(shí)間算出來(lái)它應(yīng)該在的槽位.
怎么使用WheelTimer呢?
在netty中已經(jīng)有了時(shí)間輪算法的實(shí)現(xiàn)HashWheelTimer,HashWheelTimer的使用非常的簡(jiǎn)單:先new一個(gè)HashedWheelTimer,然后調(diào)用它的newTimeout方法傳遞相應(yīng)的延時(shí)任務(wù)就ok了。
下面是newTimeout的聲明:
/**
* Schedules the specified {@link TimerTask} for one-time execution after
* the specified delay.
*
* @return a handle which is associated with the specified task
*
* @throws IllegalStateException if this timer has been
* {@linkplain #stop() stopped} already
*/
Timeout newTimeout(TimerTask task, long delay, TimeUnit unit);
這個(gè)方法需要一個(gè)TimerTask對(duì)象以知道當(dāng)時(shí)間到時(shí)要執(zhí)行什么邏輯,然后需要delay時(shí)間數(shù)值和TimeUnit時(shí)間的單位,像下面的例子中,我們?cè)趖imer到期后會(huì)打印字符串,第一個(gè)任務(wù)是5秒后開始執(zhí)行,第二個(gè)10秒后開始執(zhí)行。
public class HashWheelTimerTest {
public static void main(String[] argv) {
final Timer timer = new HashedWheelTimer();
timer.newTimeout(new TimerTask() {
public void run(Timeout timeout) throws Exception {
System.out.println("timeout 5");
}
}, 5, TimeUnit.SECONDS);
timer.newTimeout(new TimerTask() {
public void run(Timeout timeout) throws Exception {
System.out.println("timeout 10");
}
}, 10, TimeUnit.SECONDS);
}
}
優(yōu)點(diǎn): 效率高,根據(jù)樓主自己寫的測(cè)試,在大量高負(fù)荷的任務(wù)堆積的情況下,HashWheelTimer基本要比delayQueue低上一倍的延遲率.netty中也有了時(shí)間輪算法的實(shí)現(xiàn),實(shí)現(xiàn)難度低
缺點(diǎn): 內(nèi)存占用相對(duì)較高,對(duì)時(shí)間精度要求相對(duì)不高.和delayQueue有著相同的問(wèn)題,自己要處理分布式橫向擴(kuò)展的問(wèn)題,因?yàn)閿?shù)據(jù)是放在內(nèi)存里,需要自己寫持久化的備案以達(dá)到高可用。
rabbitMq的延遲隊(duì)列
大家都知道rabbitmq是一個(gè)消息隊(duì)列,同時(shí)因?yàn)槠涮烊坏姆植际教匦缘闹С忠呀?jīng)極高的消息處理效率深受大家的喜愛.那么大家應(yīng)該不知道他也是可以用來(lái)處理我們的延時(shí)任務(wù)的.
如何使用rabbitMq的延遲隊(duì)列
- AMQP和RabbitMQ本身沒有直接支持延遲隊(duì)列功能,但是可以通過(guò)以下特性模擬出延遲隊(duì)列的功能。
- RabbitMQ可以針對(duì)Queue和Message設(shè)置 x-message-tt,來(lái)控制消息的生存時(shí)間,如果超時(shí),則消息變?yōu)閐ead letter
- lRabbitMQ的Queue可以配置x-dead-letter-exchange 和x-dead-letter-routing-key(可選)兩個(gè)參數(shù),用來(lái)控制隊(duì)列內(nèi)出現(xiàn)了deadletter,則按照這兩個(gè)參數(shù)重新路由。
- 結(jié)合以上兩個(gè)特性,就可以模擬出延遲消息的功能
具體實(shí)現(xiàn)可參照官方文檔:
http://www.rabbitmq.com/ttl.html
http://www.rabbitmq.com/dlx.html
優(yōu)點(diǎn): 高效,可以利用rabbitmq的分布式特性輕易的進(jìn)行橫向擴(kuò)展,消息支持持久化增加了可靠性。
缺點(diǎn): 本身的易用度要依賴于rabbitMq的運(yùn)維.因?yàn)橐胷abbitMq,所以復(fù)雜度和成本變高