【死磕Java并發】-----J.U.C之線程池:ThreadPoolExecutor

原文出處http://cmsblogs.com/ 『chenssy』

作為Executor框架中最核心的類,ThreadPoolExecutor代表著鼎鼎大名的線程池,它給了我們足夠的理由來弄清楚它。

下面我們就通過源碼來一步一步弄清楚它。

內部狀態

線程有五種狀態:新建,就緒,運行,阻塞,死亡,線程池同樣有五種狀態:Running, SHUTDOWN, STOP, TIDYING, TERMINATED。

? ? private final AtomicInteger ctl = new AtomicInteger(ctlOf(RUNNING, 0));

? ? private static final int COUNT_BITS = Integer.SIZE - 3;

? ? private static final int CAPACITY? = (1 << COUNT_BITS) - 1;

? ? // runState is stored in the high-order bits

? ? private static final int RUNNING? ? = -1 << COUNT_BITS;

? ? private static final int SHUTDOWN? =? 0 << COUNT_BITS;

? ? private static final int STOP? ? ? =? 1 << COUNT_BITS;

? ? private static final int TIDYING? ? =? 2 << COUNT_BITS;

? ? private static final int TERMINATED =? 3 << COUNT_BITS;

? ? // Packing and unpacking ctl

? ? private static int runStateOf(int c)? ? { return c & ~CAPACITY; }

? ? private static int workerCountOf(int c)? { return c & CAPACITY; }

? ? private static int ctlOf(int rs, int wc) { return rs | wc; }

變量ctl定義為AtomicInteger ,其功能非常強大,記錄了“線程池中的任務數量”和“線程池的狀態”兩個信息。共32位,其中高3位表示"線程池狀態",低29位表示"線程池中的任務數量"。

RUNNING? ? ? ? ? ? -- 對應的高3位值是111。

SHUTDOWN? ? ? -- 對應的高3位值是000。

STOP? ? ? ? ? ? ? ? ? -- 對應的高3位值是001。

TIDYING? ? ? ? ? ? ? -- 對應的高3位值是010。

TERMINATED? ? -- 對應的高3位值是011。

RUNNING:處于RUNNING狀態的線程池能夠接受新任務,以及對新添加的任務進行處理。

SHUTDOWN:處于SHUTDOWN狀態的線程池不可以接受新任務,但是可以對已添加的任務進行處理。

STOP:處于STOP狀態的線程池不接收新任務,不處理已添加的任務,并且會中斷正在處理的任務。

TIDYING:當所有的任務已終止,ctl記錄的"任務數量"為0,線程池會變為TIDYING狀態。當線程池變為TIDYING狀態時,會執行鉤子函數terminated()。terminated()在ThreadPoolExecutor類中是空的,若用戶想在線程池變為TIDYING時,進行相應的處理;可以通過重載terminated()函數來實現。

TERMINATED:線程池徹底終止的狀態。

各個狀態的轉換如下:

線程池狀態轉換

創建線程池

我們可以通過ThreadPoolExecutor構造函數來創建一個線程池:

? ? public ThreadPoolExecutor(int corePoolSize,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? int maximumPoolSize,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? long keepAliveTime,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? TimeUnit unit,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? BlockingQueue<Runnable> workQueue,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ThreadFactory threadFactory,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? RejectedExecutionHandler handler) {

? ? ? ? if (corePoolSize < 0 ||

? ? ? ? ? ? maximumPoolSize <= 0 ||

? ? ? ? ? ? maximumPoolSize < corePoolSize ||

? ? ? ? ? ? keepAliveTime < 0)

? ? ? ? ? ? throw new IllegalArgumentException();

? ? ? ? if (workQueue == null || threadFactory == null || handler == null)

? ? ? ? ? ? throw new NullPointerException();

? ? ? ? this.corePoolSize = corePoolSize;

? ? ? ? this.maximumPoolSize = maximumPoolSize;

? ? ? ? this.workQueue = workQueue;

? ? ? ? this.keepAliveTime = unit.toNanos(keepAliveTime);

? ? ? ? this.threadFactory = threadFactory;

? ? ? ? this.handler = handler;

? ? }

共有七個參數,每個參數含義如下:

corePoolSize

線程池中核心線程的數量。當提交一個任務時,線程池會新建一個線程來執行任務,直到當前線程數等于corePoolSize。如果調用了線程池的prestartAllCoreThreads()方法,線程池會提前創建并啟動所有基本線程。

maximumPoolSize

線程池中允許的最大線程數。線程池的阻塞隊列滿了之后,如果還有任務提交,如果當前的線程數小于maximumPoolSize,則會新建線程來執行任務。注意,如果使用的是無界隊列,該參數也就沒有什么效果了。

keepAliveTime

線程空閑的時間。線程的創建和銷毀是需要代價的。線程執行完任務后不會立即銷毀,而是繼續存活一段時間:keepAliveTime。默認情況下,該參數只有在線程數大于corePoolSize時才會生效。

unit

keepAliveTime的單位。TimeUnit

workQueue

用來保存等待執行的任務的阻塞隊列,等待的任務必須實現Runnable接口。我們可以選擇如下幾種:

ArrayBlockingQueue:基于數組結構的有界阻塞隊列,FIFO。【死磕Java并發】----J.U.C之阻塞隊列:ArrayBlockingQueue

LinkedBlockingQueue:基于鏈表結構的有界阻塞隊列,FIFO。

SynchronousQueue:不存儲元素的阻塞隊列,每個插入操作都必須等待一個移出操作,反之亦然。【死磕Java并發】----J.U.C之阻塞隊列:SynchronousQueue

PriorityBlockingQueue:具有優先界別的阻塞隊列。【死磕Java并發】----J.U.C之阻塞隊列:PriorityBlockingQueue

threadFactory

用于設置創建線程的工廠。該對象可以通過Executors.defaultThreadFactory(),如下:

? ? public static ThreadFactory defaultThreadFactory() {

? ? ? ? return new DefaultThreadFactory();

? ? }

返回的是DefaultThreadFactory對象,源碼如下:

? ? static class DefaultThreadFactory implements ThreadFactory {

? ? ? ? private static final AtomicInteger poolNumber = new AtomicInteger(1);

? ? ? ? private final ThreadGroup group;

? ? ? ? private final AtomicInteger threadNumber = new AtomicInteger(1);

? ? ? ? private final String namePrefix;

? ? ? ? DefaultThreadFactory() {

? ? ? ? ? ? SecurityManager s = System.getSecurityManager();

? ? ? ? ? ? group = (s != null) ? s.getThreadGroup() :

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? Thread.currentThread().getThreadGroup();

? ? ? ? ? ? namePrefix = "pool-" +

? ? ? ? ? ? ? ? ? ? ? ? ? poolNumber.getAndIncrement() +

? ? ? ? ? ? ? ? ? ? ? ? "-thread-";

? ? ? ? }

? ? ? ? public Thread newThread(Runnable r) {

? ? ? ? ? ? Thread t = new Thread(group, r,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? namePrefix + threadNumber.getAndIncrement(),

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 0);

? ? ? ? ? ? if (t.isDaemon())

? ? ? ? ? ? ? ? t.setDaemon(false);

? ? ? ? ? ? if (t.getPriority() != Thread.NORM_PRIORITY)

? ? ? ? ? ? ? ? t.setPriority(Thread.NORM_PRIORITY);

? ? ? ? ? ? return t;

? ? ? ? }

? ? }

ThreadFactory的左右就是提供創建線程的功能的線程工廠。他是通過newThread()方法提供創建線程的功能,newThread()方法創建的線程都是“非守護線程”而且“線程優先級都是Thread.NORM_PRIORITY”。

handler

RejectedExecutionHandler,線程池的拒絕策略。所謂拒絕策略,是指將任務添加到線程池中時,線程池拒絕該任務所采取的相應策略。當向線程池中提交任務時,如果此時線程池中的線程已經飽和了,而且阻塞隊列也已經滿了,則線程池會選擇一種拒絕策略來處理該任務。

線程池提供了四種拒絕策略:

AbortPolicy:直接拋出異常,默認策略;

CallerRunsPolicy:用調用者所在的線程來執行任務;

DiscardOldestPolicy:丟棄阻塞隊列中靠最前的任務,并執行當前任務;

DiscardPolicy:直接丟棄任務;

當然我們也可以實現自己的拒絕策略,例如記錄日志等等,實現RejectedExecutionHandler接口即可。

線程池

Executor框架提供了三種線程池,他們都可以通過工具類Executors來創建。

FixedThreadPool

FixedThreadPool,可重用固定線程數的線程池,其定義如下:

? ? public static ExecutorService newFixedThreadPool(int nThreads) {

? ? ? ? return new ThreadPoolExecutor(nThreads, nThreads,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 0L, TimeUnit.MILLISECONDS,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? new LinkedBlockingQueue<Runnable>());

? ? }

corePoolSize 和 maximumPoolSize都設置為創建FixedThreadPool時指定的參數nThreads,意味著當線程池滿時且阻塞隊列也已經滿時,如果繼續提交任務,則會直接走拒絕策略,該線程池不會再新建線程來執行任務,而是直接走拒絕策略。FixedThreadPool使用的是默認的拒絕策略,即AbortPolicy,則直接拋出異常。

keepAliveTime設置為0L,表示空閑的線程會立刻終止。

workQueue則是使用LinkedBlockingQueue,但是沒有設置范圍,那么則是最大值(Integer.MAX_VALUE),這基本就相當于一個無界隊列了。使用該“無界隊列”則會帶來哪些影響呢?當線程池中的線程數量等于corePoolSize 時,如果繼續提交任務,該任務會被添加到阻塞隊列workQueue中,當阻塞隊列也滿了之后,則線程池會新建線程執行任務直到maximumPoolSize。由于FixedThreadPool使用的是“無界隊列”LinkedBlockingQueue,那么maximumPoolSize參數無效,同時指定的拒絕策略AbortPolicy也將無效。而且該線程池也不會拒絕提交的任務,如果客戶端提交任務的速度快于任務的執行,那么keepAliveTime也是一個無效參數。

其運行圖如下(參考《Java并發編程的藝術》):

FixedThreadPool

SingleThreadExecutor

SingleThreadExecutor是使用單個worker線程的Executor,定義如下:

? ? public static ExecutorService newSingleThreadExecutor() {

? ? ? ? return new FinalizableDelegatedExecutorService

? ? ? ? ? ? (new ThreadPoolExecutor(1, 1,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 0L, TimeUnit.MILLISECONDS,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? new LinkedBlockingQueue<Runnable>()));

? ? }

作為單一worker線程的線程池,SingleThreadExecutor把corePool和maximumPoolSize均被設置為1,和FixedThreadPool一樣使用的是無界隊列LinkedBlockingQueue,所以帶來的影響和FixedThreadPool一樣。

SingleThreadExecutor

CachedThreadPool

CachedThreadPool是一個會根據需要創建新線程的線程池 ,他定義如下:

? ? public static ExecutorService newCachedThreadPool() {

? ? ? ? return new ThreadPoolExecutor(0, Integer.MAX_VALUE,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? 60L, TimeUnit.SECONDS,

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? new SynchronousQueue<Runnable>());

? ? }

CachedThreadPool的corePool為0,maximumPoolSize為Integer.MAX_VALUE,這就意味著所有的任務一提交就會加入到阻塞隊列中。keepAliveTime這是為60L,unit設置為TimeUnit.SECONDS,意味著空閑線程等待新任務的最長時間為60秒,空閑線程超過60秒后將會被終止。阻塞隊列采用的SynchronousQueue,而我們在【死磕Java并發】----J.U.C之阻塞隊列:SynchronousQueue中了解到SynchronousQueue是一個沒有元素的阻塞隊列,加上corePool = 0 ,maximumPoolSize = Integer.MAX_VALUE,這樣就會存在一個問題,如果主線程提交任務的速度遠遠大于CachedThreadPool的處理速度,則CachedThreadPool會不斷地創建新線程來執行任務,這樣有可能會導致系統耗盡CPU和內存資源,所以在使用該線程池是,一定要注意控制并發的任務數,否則創建大量的線程可能導致嚴重的性能問題。

CachedThreadPool

任務提交

線程池根據業務不同的需求提供了兩種方式提交任務:Executor.execute()、ExecutorService.submit()。其中ExecutorService.submit()可以獲取該任務執行的Future。

我們以Executor.execute()為例,來看看線程池的任務提交經歷了那些過程。

定義:

public interface Executor {

? ? void execute(Runnable command);

}

ThreadPoolExecutor提供實現:

? ? public void execute(Runnable command) {

? ? ? ? if (command == null)

? ? ? ? ? ? throw new NullPointerException();

? ? ? ? int c = ctl.get();

? ? ? ? if (workerCountOf(c) < corePoolSize) {

? ? ? ? ? ? if (addWorker(command, true))

? ? ? ? ? ? ? ? return;

? ? ? ? ? ? c = ctl.get();

? ? ? ? }

? ? ? ? if (isRunning(c) && workQueue.offer(command)) {

? ? ? ? ? ? int recheck = ctl.get();

? ? ? ? ? ? if (! isRunning(recheck) && remove(command))

? ? ? ? ? ? ? ? reject(command);

? ? ? ? ? ? else if (workerCountOf(recheck) == 0)

? ? ? ? ? ? ? ? addWorker(null, false);

? ? ? ? }

? ? ? ? else if (!addWorker(command, false))

? ? ? ? ? ? reject(command);

? ? }

執行流程如下:

如果線程池當前線程數小于corePoolSize,則調用addWorker創建新線程執行任務,成功返回true,失敗執行步驟2。

如果線程池處于RUNNING狀態,則嘗試加入阻塞隊列,如果加入阻塞隊列成功,則嘗試進行Double Check,如果加入失敗,則執行步驟3。

如果線程池不是RUNNING狀態或者加入阻塞隊列失敗,則嘗試創建新線程直到maxPoolSize,如果失敗,則調用reject()方法運行相應的拒絕策略。

在步驟2中如果加入阻塞隊列成功了,則會進行一個Double Check的過程。Double Check過程的主要目的是判斷加入到阻塞隊里中的線程是否可以被執行。如果線程池不是RUNNING狀態,則調用remove()方法從阻塞隊列中刪除該任務,然后調用reject()方法處理任務。否則需要確保還有線程執行。

addWorker

當線程中的當前線程數小于corePoolSize,則調用addWorker()創建新線程執行任務,當前線程數則是根據ctl變量來獲取的,調用workerCountOf(ctl)獲取低29位即可:

? ? private static int workerCountOf(int c)? { return c & CAPACITY; }

addWorker(Runnable firstTask, boolean core)方法用于創建線程執行任務,源碼如下:

? ? private boolean addWorker(Runnable firstTask, boolean core) {

? ? ? ? retry:

? ? ? ? for (;;) {

? ? ? ? ? ? int c = ctl.get();

? ? ? ? ? ? // 獲取當前線程狀態

? ? ? ? ? ? int rs = runStateOf(c);

? ? ? ? ? ? if (rs >= SHUTDOWN &&

? ? ? ? ? ? ? ? ? ? ! (rs == SHUTDOWN &&

? ? ? ? ? ? ? ? ? ? ? ? ? ? firstTask == null &&

? ? ? ? ? ? ? ? ? ? ? ? ? ? ! workQueue.isEmpty()))

? ? ? ? ? ? ? ? return false;

? ? ? ? ? ? // 內層循環,worker + 1

? ? ? ? ? ? for (;;) {

? ? ? ? ? ? ? ? // 線程數量

? ? ? ? ? ? ? ? int wc = workerCountOf(c);

? ? ? ? ? ? ? ? // 如果當前線程數大于線程最大上限CAPACITY? return false

? ? ? ? ? ? ? ? // 若core == true,則與corePoolSize 比較,否則與maximumPoolSize ,大于 return false

? ? ? ? ? ? ? ? if (wc >= CAPACITY ||

? ? ? ? ? ? ? ? ? ? ? ? wc >= (core ? corePoolSize : maximumPoolSize))

? ? ? ? ? ? ? ? ? ? return false;

? ? ? ? ? ? ? ? // worker + 1,成功跳出retry循環

? ? ? ? ? ? ? ? if (compareAndIncrementWorkerCount(c))

? ? ? ? ? ? ? ? ? ? break retry;

? ? ? ? ? ? ? ? // CAS add worker 失敗,再次讀取ctl

? ? ? ? ? ? ? ? c = ctl.get();

? ? ? ? ? ? ? ? // 如果狀態不等于之前獲取的state,跳出內層循環,繼續去外層循環判斷

? ? ? ? ? ? ? ? if (runStateOf(c) != rs)

? ? ? ? ? ? ? ? ? ? continue retry;

? ? ? ? ? ? }

? ? ? ? }

? ? ? ? boolean workerStarted = false;

? ? ? ? boolean workerAdded = false;

? ? ? ? Worker w = null;

? ? ? ? try {

? ? ? ? ? ? // 新建線程:Worker

? ? ? ? ? ? w = new Worker(firstTask);

? ? ? ? ? ? // 當前線程

? ? ? ? ? ? final Thread t = w.thread;

? ? ? ? ? ? if (t != null) {

? ? ? ? ? ? ? ? // 獲取主鎖:mainLock

? ? ? ? ? ? ? ? final ReentrantLock mainLock = this.mainLock;

? ? ? ? ? ? ? ? mainLock.lock();

? ? ? ? ? ? ? ? try {

? ? ? ? ? ? ? ? ? ? // 線程狀態

? ? ? ? ? ? ? ? ? ? int rs = runStateOf(ctl.get());

? ? ? ? ? ? ? ? ? ? // rs < SHUTDOWN ==> 線程處于RUNNING狀態

? ? ? ? ? ? ? ? ? ? // 或者線程處于SHUTDOWN狀態,且firstTask == null(可能是workQueue中仍有未執行完成的任務,創建沒有初始任務的worker線程執行)

? ? ? ? ? ? ? ? ? ? if (rs < SHUTDOWN ||

? ? ? ? ? ? ? ? ? ? ? ? ? ? (rs == SHUTDOWN && firstTask == null)) {

? ? ? ? ? ? ? ? ? ? ? ? // 當前線程已經啟動,拋出異常

? ? ? ? ? ? ? ? ? ? ? ? if (t.isAlive()) // precheck that t is startable

? ? ? ? ? ? ? ? ? ? ? ? ? ? throw new IllegalThreadStateException();

? ? ? ? ? ? ? ? ? ? ? ? // workers是一個HashSet<Worker>

? ? ? ? ? ? ? ? ? ? ? ? workers.add(w);

? ? ? ? ? ? ? ? ? ? ? ? // 設置最大的池大小largestPoolSize,workerAdded設置為true

? ? ? ? ? ? ? ? ? ? ? ? int s = workers.size();

? ? ? ? ? ? ? ? ? ? ? ? if (s > largestPoolSize)

? ? ? ? ? ? ? ? ? ? ? ? ? ? largestPoolSize = s;

? ? ? ? ? ? ? ? ? ? ? ? workerAdded = true;

? ? ? ? ? ? ? ? ? ? }

? ? ? ? ? ? ? ? } finally {

? ? ? ? ? ? ? ? ? ? // 釋放鎖

? ? ? ? ? ? ? ? ? ? mainLock.unlock();

? ? ? ? ? ? ? ? }

? ? ? ? ? ? ? ? // 啟動線程

? ? ? ? ? ? ? ? if (workerAdded) {

? ? ? ? ? ? ? ? ? ? t.start();

? ? ? ? ? ? ? ? ? ? workerStarted = true;

? ? ? ? ? ? ? ? }

? ? ? ? ? ? }

? ? ? ? } finally {

? ? ? ? ? ? // 線程啟動失敗

? ? ? ? ? ? if (! workerStarted)

? ? ? ? ? ? ? ? addWorkerFailed(w);

? ? ? ? }

? ? ? ? return workerStarted;

? ? }

判斷當前線程是否可以添加任務,如果可以則進行下一步,否則return false;

rs >= SHUTDOWN ,表示當前線程處于SHUTDOWN ,STOP、TIDYING、TERMINATED狀態

rs == SHUTDOWN , firstTask != null時不允許添加線程,因為線程處于SHUTDOWN 狀態,不允許添加任務

rs == SHUTDOWN , firstTask == null,但workQueue.isEmpty() == true,不允許添加線程,因為firstTask == null是為了添加一個沒有任務的線程然后再從workQueue中獲取任務的,如果workQueue == null,則說明添加的任務沒有任何意義。

內嵌循環,通過CAS worker + 1

獲取主鎖mailLock,如果線程池處于RUNNING狀態獲取處于SHUTDOWN狀態且 firstTask == null,則將任務添加到workers Queue中,然后釋放主鎖mainLock,然后啟動線程,然后return true,如果中途失敗導致workerStarted= false,則調用addWorkerFailed()方法進行處理。

在這里需要好好理論addWorker中的參數,在execute()方法中,有三處調用了該方法:

第一次:workerCountOf(c) < corePoolSize ==> addWorker(command, true),這個很好理解,當然線程池的線程數量小于 corePoolSize ,則新建線程執行任務即可,在執行過程core == true,內部與corePoolSize比較即可。

第二次:加入阻塞隊列進行Double Check時,else if (workerCountOf(recheck) == 0) ==>addWorker(null, false)。如果線程池中的線程==0,按照道理應該該任務應該新建線程執行任務,但是由于已經該任務已經添加到了阻塞隊列,那么就在線程池中新建一個空線程,然后從阻塞隊列中取線程即可。

第三次:線程池不是RUNNING狀態或者加入阻塞隊列失敗:else if (!addWorker(command, false)),這里core == fase,則意味著是與maximumPoolSize比較。

在新建線程執行任務時,將講Runnable包裝成一個Worker,Woker為ThreadPoolExecutor的內部類

Woker內部類

Woker的源碼如下:

? ? private final class Worker extends AbstractQueuedSynchronizer

? ? ? ? ? ? implements Runnable {

? ? ? ? private static final long serialVersionUID = 6138294804551838833L;

? ? ? ? // task 的thread

? ? ? ? final Thread thread;

? ? ? ? // 運行的任務task

? ? ? ? Runnable firstTask;

? ? ? ? volatile long completedTasks;

? ? ? ? Worker(Runnable firstTask) {

? ? ? ? ? ? //設置AQS的同步狀態private volatile int state,是一個計數器,大于0代表鎖已經被獲取

? ? ? ? ? ? setState(-1);

? ? ? ? ? ? this.firstTask = firstTask;

? ? ? ? ? ? // 利用ThreadFactory和 Worker這個Runnable創建的線程對象

? ? ? ? ? ? this.thread = getThreadFactory().newThread(this);

? ? ? ? }

? ? ? ? // 任務執行

? ? ? ? public void run() {

? ? ? ? ? ? runWorker(this);

? ? ? ? }

? ? }

從Worker的源碼中我們可以看到Woker繼承AQS,實現Runnable接口,所以可以認為Worker既是一個可以執行的任務,也可以達到獲取鎖釋放鎖的效果。這里繼承AQS主要是為了方便線程的中斷處理。這里注意兩個地方:構造函數、run()。構造函數主要是做三件事:1.設置同步狀態state為-1,同步狀態大于0表示就已經獲取了鎖,2.設置將當前任務task設置為firstTask,3.利用Worker本身對象this和ThreadFactory創建線程對象。

當線程thread啟動(調用start()方法)時,其實就是執行Worker的run()方法,內部調用runWorker()。

runWorker

? ? final void runWorker(Worker w) {

? ? ? ? // 當前線程

? ? ? ? Thread wt = Thread.currentThread();

? ? ? ? // 要執行的任務

? ? ? ? Runnable task = w.firstTask;

? ? ? ? w.firstTask = null;

? ? ? ? // 釋放鎖,運行中斷

? ? ? ? w.unlock(); // allow interrupts

? ? ? ? boolean completedAbruptly = true;

? ? ? ? try {

? ? ? ? ? ? while (task != null || (task = getTask()) != null) {

? ? ? ? ? ? ? ? // worker 獲取鎖

? ? ? ? ? ? ? ? w.lock();

? ? ? ? ? ? ? ? // 確保只有當線程是stoping時,才會被設置為中斷,否則清楚中斷標示

? ? ? ? ? ? ? ? // 如果線程池狀態 >= STOP ,且當前線程沒有設置中斷狀態,則wt.interrupt()

? ? ? ? ? ? ? ? // 如果線程池狀態 < STOP,但是線程已經中斷了,再次判斷線程池是否 >= STOP,如果是 wt.interrupt()

? ? ? ? ? ? ? ? if ((runStateAtLeast(ctl.get(), STOP) ||

? ? ? ? ? ? ? ? ? ? ? ? (Thread.interrupted() &&

? ? ? ? ? ? ? ? ? ? ? ? ? ? ? ? runStateAtLeast(ctl.get(), STOP))) &&

? ? ? ? ? ? ? ? ? ? ? ? !wt.isInterrupted())

? ? ? ? ? ? ? ? ? ? wt.interrupt();

? ? ? ? ? ? ? ? try {

? ? ? ? ? ? ? ? ? ? // 自定義方法

? ? ? ? ? ? ? ? ? ? beforeExecute(wt, task);

? ? ? ? ? ? ? ? ? ? Throwable thrown = null;

? ? ? ? ? ? ? ? ? ? try {

? ? ? ? ? ? ? ? ? ? ? ? // 執行任務

? ? ? ? ? ? ? ? ? ? ? ? task.run();

? ? ? ? ? ? ? ? ? ? } catch (RuntimeException x) {

? ? ? ? ? ? ? ? ? ? ? ? thrown = x; throw x;

? ? ? ? ? ? ? ? ? ? } catch (Error x) {

? ? ? ? ? ? ? ? ? ? ? ? thrown = x; throw x;

? ? ? ? ? ? ? ? ? ? } catch (Throwable x) {

? ? ? ? ? ? ? ? ? ? ? ? thrown = x; throw new Error(x);

? ? ? ? ? ? ? ? ? ? } finally {

? ? ? ? ? ? ? ? ? ? ? ? afterExecute(task, thrown);

? ? ? ? ? ? ? ? ? ? }

? ? ? ? ? ? ? ? } finally {

? ? ? ? ? ? ? ? ? ? task = null;

? ? ? ? ? ? ? ? ? ? // 完成任務數 + 1

? ? ? ? ? ? ? ? ? ? w.completedTasks++;

? ? ? ? ? ? ? ? ? ? // 釋放鎖

? ? ? ? ? ? ? ? ? ? w.unlock();

? ? ? ? ? ? ? ? }

? ? ? ? ? ? }

? ? ? ? ? ? completedAbruptly = false;

? ? ? ? } finally {

? ? ? ? ? ? processWorkerExit(w, completedAbruptly);

? ? ? ? }

? ? }

運行流程

根據worker獲取要執行的任務task,然后調用unlock()方法釋放鎖,這里釋放鎖的主要目的在于中斷,因為在new Worker時,設置的state為-1,調用unlock()方法可以將state設置為0,這里主要原因就在于interruptWorkers()方法只有在state >= 0時才會執行;

通過getTask()獲取執行的任務,調用task.run()執行,當然在執行之前會調用worker.lock()上鎖,執行之后調用worker.unlock()放鎖;

在任務執行前后,可以根據業務場景自定義beforeExecute() 和 afterExecute()方法,則兩個方法在ThreadPoolExecutor中是空實現;

如果線程執行完成,則會調用getTask()方法從阻塞隊列中獲取新任務,如果阻塞隊列為空,則根據是否超時來判斷是否需要阻塞;

task == null或者拋出異常(beforeExecute()、task.run()、afterExecute()均有可能)導致worker線程終止,則調用processWorkerExit()方法處理worker退出流程。

getTask()

? ? private Runnable getTask() {

? ? ? ? boolean timedOut = false; // Did the last poll() time out?

? ? ? ? for (;;) {

? ? ? ? ? ? // 線程池狀態

? ? ? ? ? ? int c = ctl.get();

? ? ? ? ? ? int rs = runStateOf(c);

? ? ? ? ? ? // 線程池中狀態 >= STOP 或者 線程池狀態 == SHUTDOWN且阻塞隊列為空,則worker - 1,return null

? ? ? ? ? ? if (rs >= SHUTDOWN && (rs >= STOP || workQueue.isEmpty())) {

? ? ? ? ? ? ? ? decrementWorkerCount();

? ? ? ? ? ? ? ? return null;

? ? ? ? ? ? }

? ? ? ? ? ? int wc = workerCountOf(c);

? ? ? ? ? ? // 判斷是否需要超時控制

? ? ? ? ? ? boolean timed = allowCoreThreadTimeOut || wc > corePoolSize;

? ? ? ? ? ? if ((wc > maximumPoolSize || (timed && timedOut)) && (wc > 1 || workQueue.isEmpty())) {

? ? ? ? ? ? ? ? if (compareAndDecrementWorkerCount(c))

? ? ? ? ? ? ? ? ? ? return null;

? ? ? ? ? ? ? ? continue;

? ? ? ? ? ? }

? ? ? ? ? ? try {

? ? ? ? ? ? ? ? // 從阻塞隊列中獲取task

? ? ? ? ? ? ? ? // 如果需要超時控制,則調用poll(),否則調用take()

? ? ? ? ? ? ? ? Runnable r = timed ?

? ? ? ? ? ? ? ? ? ? ? ? workQueue.poll(keepAliveTime, TimeUnit.NANOSECONDS) :

? ? ? ? ? ? ? ? ? ? ? ? workQueue.take();

? ? ? ? ? ? ? ? if (r != null)

? ? ? ? ? ? ? ? ? ? return r;

? ? ? ? ? ? ? ? timedOut = true;

? ? ? ? ? ? } catch (InterruptedException retry) {

? ? ? ? ? ? ? ? timedOut = false;

? ? ? ? ? ? }

? ? ? ? }

? ? }

timed == true,調用poll()方法,如果在keepAliveTime時間內還沒有獲取task的話,則返回null,繼續循環。timed == false,則調用take()方法,該方法為一個阻塞方法,沒有任務時會一直阻塞掛起,直到有任務加入時對該線程喚醒,返回任務。

在runWorker()方法中,無論最終結果如何,都會執行processWorkerExit()方法對worker進行退出處理。

processWorkerExit()

? ? private void processWorkerExit(Worker w, boolean completedAbruptly) {

? ? ? ? // true:用戶線程運行異常,需要扣減

? ? ? ? // false:getTask方法中扣減線程數量

? ? ? ? if (completedAbruptly)

? ? ? ? ? ? decrementWorkerCount();

? ? ? ? // 獲取主鎖

? ? ? ? final ReentrantLock mainLock = this.mainLock;

? ? ? ? mainLock.lock();

? ? ? ? try {

? ? ? ? ? ? completedTaskCount += w.completedTasks;

? ? ? ? ? ? // 從HashSet中移出worker

? ? ? ? ? ? workers.remove(w);

? ? ? ? } finally {

? ? ? ? ? ? mainLock.unlock();

? ? ? ? }

? ? ? ? // 有worker線程移除,可能是最后一個線程退出需要嘗試終止線程池

? ? ? ? tryTerminate();

? ? ? ? int c = ctl.get();

? ? ? ? // 如果線程為running或shutdown狀態,即tryTerminate()沒有成功終止線程池,則判斷是否有必要一個worker

? ? ? ? if (runStateLessThan(c, STOP)) {

? ? ? ? ? ? // 正常退出,計算min:需要維護的最小線程數量

? ? ? ? ? ? if (!completedAbruptly) {

? ? ? ? ? ? ? ? // allowCoreThreadTimeOut 默認false:是否需要維持核心線程的數量

? ? ? ? ? ? ? ? int min = allowCoreThreadTimeOut ? 0 : corePoolSize;

? ? ? ? ? ? ? ? // 如果min ==0 或者workerQueue為空,min = 1

? ? ? ? ? ? ? ? if (min == 0 && ! workQueue.isEmpty())

? ? ? ? ? ? ? ? ? ? min = 1;

? ? ? ? ? ? ? ? // 如果線程數量大于最少數量min,直接返回,不需要新增線程

? ? ? ? ? ? ? ? if (workerCountOf(c) >= min)

? ? ? ? ? ? ? ? ? ? return; // replacement not needed

? ? ? ? ? ? }

? ? ? ? ? ? // 添加一個沒有firstTask的worker

? ? ? ? ? ? addWorker(null, false);

? ? ? ? }

? ? }

首先completedAbruptly的值來判斷是否需要對線程數-1處理,如果completedAbruptly == true,說明在任務運行過程中出現了異常,那么需要進行減1處理,否則不需要,因為減1處理在getTask()方法中處理了。然后從HashSet中移出該worker,過程需要獲取mainlock。然后調用tryTerminate()方法處理,該方法是對最后一個線程退出做終止線程池動作。如果線程池沒有終止,那么線程池需要保持一定數量的線程,則通過addWorker(null,false)新增一個空的線程。

addWorkerFailed()

在addWorker()方法中,如果線程t==null,或者在add過程出現異常,會導致workerStarted == false,那么在最后會調用addWorkerFailed()方法:

? ? private void addWorkerFailed(Worker w) {

? ? ? ? final ReentrantLock mainLock = this.mainLock;

? ? ? ? mainLock.lock();

? ? ? ? try {

? ? ? ? ? ? // 從HashSet中移除該worker

? ? ? ? ? ? if (w != null)

? ? ? ? ? ? ? ? workers.remove(w);

? ? ? ? ? ? // 線程數 - 1

? ? ? ? ? ? decrementWorkerCount();

? ? ? ? ? ? // 嘗試終止線程

? ? ? ? ? ? tryTerminate();

? ? ? ? } finally {

? ? ? ? ? ? mainLock.unlock();

? ? ? ? }

? ? }

整個邏輯顯得比較簡單。

tryTerminate()

當線程池涉及到要移除worker時候都會調用tryTerminate(),該方法主要用于判斷線程池中的線程是否已經全部移除了,如果是的話則關閉線程池。

? ? final void tryTerminate() {

? ? ? ? for (;;) {

? ? ? ? ? ? int c = ctl.get();

? ? ? ? ? ? // 線程池處于Running狀態

? ? ? ? ? ? // 線程池已經終止了

? ? ? ? ? ? // 線程池處于ShutDown狀態,但是阻塞隊列不為空

? ? ? ? ? ? if (isRunning(c) ||

? ? ? ? ? ? ? ? ? ? runStateAtLeast(c, TIDYING) ||

? ? ? ? ? ? ? ? ? ? (runStateOf(c) == SHUTDOWN && ! workQueue.isEmpty()))

? ? ? ? ? ? ? ? return;

? ? ? ? ? ? // 執行到這里,就意味著線程池要么處于STOP狀態,要么處于SHUTDOWN且阻塞隊列為空

? ? ? ? ? ? // 這時如果線程池中還存在線程,則會嘗試中斷線程

? ? ? ? ? ? if (workerCountOf(c) != 0) {

? ? ? ? ? ? ? ? // /線程池還有線程,但是隊列沒有任務了,需要中斷喚醒等待任務的線程

? ? ? ? ? ? ? ? // (runwoker的時候首先就通過w.unlock設置線程可中斷,getTask最后面的catch處理中斷)

? ? ? ? ? ? ? ? interruptIdleWorkers(ONLY_ONE);

? ? ? ? ? ? ? ? return;

? ? ? ? ? ? }

? ? ? ? ? ? final ReentrantLock mainLock = this.mainLock;

? ? ? ? ? ? mainLock.lock();

? ? ? ? ? ? try {

? ? ? ? ? ? ? ? // 嘗試終止線程池

? ? ? ? ? ? ? ? if (ctl.compareAndSet(c, ctlOf(TIDYING, 0))) {

? ? ? ? ? ? ? ? ? ? try {

? ? ? ? ? ? ? ? ? ? ? ? terminated();

? ? ? ? ? ? ? ? ? ? } finally {

? ? ? ? ? ? ? ? ? ? ? ? // 線程池狀態轉為TERMINATED

? ? ? ? ? ? ? ? ? ? ? ? ctl.set(ctlOf(TERMINATED, 0));

? ? ? ? ? ? ? ? ? ? ? ? termination.signalAll();

? ? ? ? ? ? ? ? ? ? }

? ? ? ? ? ? ? ? ? ? return;

? ? ? ? ? ? ? ? }

? ? ? ? ? ? } finally {

? ? ? ? ? ? ? ? mainLock.unlock();

? ? ? ? ? ? }

? ? ? ? }

? ? }

在關閉線程池的過程中,如果線程池處于STOP狀態或者處于SHUDOWN狀態且阻塞隊列為null,則線程池會調用interruptIdleWorkers()方法中斷所有線程,注意ONLY_ONE== true,表示僅中斷一個線程。

interruptIdleWorkers

? ? private void interruptIdleWorkers(boolean onlyOne) {

? ? ? ? final ReentrantLock mainLock = this.mainLock;

? ? ? ? mainLock.lock();

? ? ? ? try {

? ? ? ? ? ? for (Worker w : workers) {

? ? ? ? ? ? ? ? Thread t = w.thread;

? ? ? ? ? ? ? ? if (!t.isInterrupted() && w.tryLock()) {

? ? ? ? ? ? ? ? ? ? try {

? ? ? ? ? ? ? ? ? ? ? ? t.interrupt();

? ? ? ? ? ? ? ? ? ? } catch (SecurityException ignore) {

? ? ? ? ? ? ? ? ? ? } finally {

? ? ? ? ? ? ? ? ? ? ? ? w.unlock();

? ? ? ? ? ? ? ? ? ? }

? ? ? ? ? ? ? ? }

? ? ? ? ? ? ? ? if (onlyOne)

? ? ? ? ? ? ? ? ? ? break;

? ? ? ? ? ? }

? ? ? ? } finally {

? ? ? ? ? ? mainLock.unlock();

? ? ? ? }

? ? }

onlyOne==true僅終止一個線程,否則終止所有線程。

線程終止

線程池ThreadPoolExecutor提供了shutdown()和shutDownNow()用于關閉線程池。

shutdown():按過去執行已提交任務的順序發起一個有序的關閉,但是不接受新任務。

shutdownNow() :嘗試停止所有的活動執行任務、暫停等待任務的處理,并返回等待執行的任務列表。

shutdown

? ? public void shutdown() {

? ? ? ? final ReentrantLock mainLock = this.mainLock;

? ? ? ? mainLock.lock();

? ? ? ? try {

? ? ? ? ? ? checkShutdownAccess();

? ? ? ? ? ? // 推進線程狀態

? ? ? ? ? ? advanceRunState(SHUTDOWN);

? ? ? ? ? ? // 中斷空閑的線程

? ? ? ? ? ? interruptIdleWorkers();

? ? ? ? ? ? // 交給子類實現

? ? ? ? ? ? onShutdown();

? ? ? ? } finally {

? ? ? ? ? ? mainLock.unlock();

? ? ? ? }

? ? ? ? tryTerminate();

? ? }

shutdownNow

? ? public List<Runnable> shutdownNow() {

? ? ? ? List<Runnable> tasks;

? ? ? ? final ReentrantLock mainLock = this.mainLock;

? ? ? ? mainLock.lock();

? ? ? ? try {

? ? ? ? ? ? checkShutdownAccess();

? ? ? ? ? ? advanceRunState(STOP);

? ? ? ? ? ? // 中斷所有線程

? ? ? ? ? ? interruptWorkers();

? ? ? ? ? ? // 返回等待執行的任務列表

? ? ? ? ? ? tasks = drainQueue();

? ? ? ? } finally {

? ? ? ? ? ? mainLock.unlock();

? ? ? ? }

? ? ? ? tryTerminate();

? ? ? ? return tasks;

? ? }

與shutdown不同,shutdownNow會調用interruptWorkers()方法中斷所有線程。

? ? private void interruptWorkers() {

? ? ? ? final ReentrantLock mainLock = this.mainLock;

? ? ? ? mainLock.lock();

? ? ? ? try {

? ? ? ? ? ? for (Worker w : workers)

? ? ? ? ? ? ? ? w.interruptIfStarted();

? ? ? ? } finally {

? ? ? ? ? ? mainLock.unlock();

? ? ? ? }

? ? }

同時會調用drainQueue()方法返回等待執行到任務列表。

? ? private List<Runnable> drainQueue() {

? ? ? ? BlockingQueue<Runnable> q = workQueue;

? ? ? ? ArrayList<Runnable> taskList = new ArrayList<Runnable>();

? ? ? ? q.drainTo(taskList);

? ? ? ? if (!q.isEmpty()) {

? ? ? ? ? ? for (Runnable r : q.toArray(new Runnable[0])) {

? ? ? ? ? ? ? ? if (q.remove(r))

? ? ? ? ? ? ? ? ? ? taskList.add(r);

? ? ? ? ? ? }

? ? ? ? }

? ? ? ? return taskList;

? ? }

歡迎掃一掃我的公眾號關注 — 及時得到博客訂閱哦!

個人微信公眾號

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,702評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,143評論 3 415
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,553評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,620評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,416評論 6 405
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,940評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,024評論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,170評論 0 287
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,709評論 1 333
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,597評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,784評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,291評論 5 357
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 44,029評論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,407評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,663評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,403評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,746評論 2 370

推薦閱讀更多精彩內容