1.Linux虛擬內(nèi)存管理
當(dāng)程序運(yùn)行起來之后就變成了進(jìn)程,業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)的引用在進(jìn)程的視角里全都都是虛擬內(nèi)存地址,因?yàn)檫M(jìn)程無論是在用戶態(tài)還是在內(nèi)核態(tài)能夠看到的都是虛擬內(nèi)存空間,物理內(nèi)存空間被操作系統(tǒng)所屏蔽進(jìn)程是看不到的。
進(jìn)程通過虛擬內(nèi)存地址訪問這些數(shù)據(jù)結(jié)構(gòu)的時(shí)候,虛擬內(nèi)存地址會(huì)在內(nèi)存管理子系統(tǒng)中被轉(zhuǎn)換成物理內(nèi)存地址,通過物理內(nèi)存地址就可以訪問到真正存儲(chǔ)這些數(shù)據(jù)結(jié)構(gòu)的物理內(nèi)存了。隨后就可以對(duì)這塊物理內(nèi)存進(jìn)行各種業(yè)務(wù)操作,從而完成業(yè)務(wù)邏輯。
在現(xiàn)代操作系統(tǒng)中往往支持多個(gè)進(jìn)程,需要處理多進(jìn)程之間的協(xié)同問題,在多進(jìn)程系統(tǒng)中直接使用物理內(nèi)存地址操作內(nèi)存所帶來的問題(為每個(gè)進(jìn)程究竟要分配多少內(nèi)存??jī)?nèi)存緊張的時(shí)候該怎么辦?如何避免進(jìn)程與進(jìn)程之間的地址沖突?)就變得非常復(fù)雜了。
程序局部性原理表現(xiàn)為:時(shí)間局部性和空間局部性。時(shí)間局部性是指如果程序中的某條指令一旦執(zhí)行,則不久之后該指令可能再次被執(zhí)行;如果某塊數(shù)據(jù)被訪問,則不久之后該數(shù)據(jù)可能再次被訪問。空間局部性是指一旦程序訪問了某個(gè)存儲(chǔ)單元,則不久之后,其附近的存儲(chǔ)單元也將被訪問。
根據(jù)程序局部性原理,無論一個(gè)進(jìn)程實(shí)際可以占用的內(nèi)存資源有多大,根據(jù)程序局部性原理,在某一段時(shí)間內(nèi),進(jìn)程真正需要的物理內(nèi)存其實(shí)是很少的一部分,我們只需要為每個(gè)進(jìn)程分配很少的物理內(nèi)存就可以保證進(jìn)程的正常執(zhí)行運(yùn)轉(zhuǎn)。
而虛擬內(nèi)存的引入正是要解決上述的問題,虛擬內(nèi)存引入之后,進(jìn)程的視角就會(huì)變得非常開闊,每個(gè)進(jìn)程都擁有自己獨(dú)立的虛擬地址空間,進(jìn)程與進(jìn)程之間的虛擬內(nèi)存地址空間是相互隔離,互不干擾的。
進(jìn)程的虛擬內(nèi)存空間所包含的主要區(qū)域:
- 用于存放進(jìn)程程序二進(jìn)制文件中的機(jī)器指令的代碼段
- 用于存放程序二進(jìn)制文件中定義的全局變量和靜態(tài)變量的數(shù)據(jù)段和 BSS 段。
- 用于在程序運(yùn)行過程中動(dòng)態(tài)申請(qǐng)內(nèi)存的堆。
- 用于存放動(dòng)態(tài)鏈接庫以及內(nèi)存映射區(qū)域的文件映射與匿名映射區(qū)。
- 用于存放函數(shù)調(diào)用過程中的局部變量和函數(shù)參數(shù)的棧。
程序并不會(huì)直接通過 CPU 尋址訪問到實(shí)際的物理內(nèi)存,而是通過引入 MMU(Memory Management Unit 內(nèi)存管理單元)與實(shí)際物理地址隔了一層虛擬內(nèi)存的抽象。這樣,程序申請(qǐng)以及訪問的其實(shí)是虛擬內(nèi)存地址,MMU 會(huì)將這個(gè)虛擬內(nèi)存地址映射為實(shí)際的物理內(nèi)存地址。同時(shí),為了減少內(nèi)存碎片,以及增加內(nèi)存分配效率,在 MMU 的基礎(chǔ)上 Linux 抽象了內(nèi)存分頁(Paging)的概念,將虛擬地址按固定大小分割成頁(默認(rèn)是 4K),并在頁被實(shí)際使用寫入數(shù)據(jù)的時(shí)候,映射同樣大小的實(shí)際的物理內(nèi)存(頁幀,Page Frame),或者是在物理內(nèi)存不足的時(shí)候,將某些不常用的頁轉(zhuǎn)移到其他存儲(chǔ)設(shè)備比如磁盤上。
頁表是每個(gè)進(jìn)程獨(dú)立的,操作系統(tǒng)會(huì)在給進(jìn)程映射物理內(nèi)存用來保存用戶數(shù)據(jù)的時(shí)候,將物理內(nèi)存保存到進(jìn)程的頁表里面。然后,進(jìn)程訪問虛擬內(nèi)存空間的時(shí)候,通過頁表找到物理內(nèi)存。一般 CPU 里面都有一個(gè) TLB(Translation Lookaside Buffer,翻譯后備緩沖),TLB 負(fù)責(zé)緩存虛擬內(nèi)存與實(shí)際物理內(nèi)存的映射關(guān)系,一般 TLB 容量很小。每次訪問虛擬內(nèi)存,先查看 TLB 中是否有緩存,如果沒有才會(huì)去頁表查詢。
2.JVM內(nèi)存reserved/committed含義
VM 的每個(gè)子系統(tǒng)(例如 Java 堆,元空間,JIT 代碼緩存,GC 等等等等),如果需要的話,在初始化的時(shí)候首先 Reserve 要分配區(qū)域的最大限制大小的內(nèi)存(這個(gè)最大大小,需要按照頁大小對(duì)齊(即是頁大小的整數(shù)倍)。
這樣做的好處是:
- 隔離每個(gè) JVM 子系統(tǒng)使用的內(nèi)存的虛擬空間,這樣在 JVM 代碼有 bug 的時(shí)候(例如發(fā)生 Segment Fault 異常),通過報(bào)錯(cuò)中的虛擬內(nèi)存地址可以快速定位到是哪個(gè)子系統(tǒng)出了問題。
- 可以很方便的限制這個(gè)區(qū)域使用的最大內(nèi)存大小。
- 便于管理,Reserve 不會(huì)觸發(fā)操作系統(tǒng)分配映射實(shí)際物理內(nèi)存,這個(gè)區(qū)域可以在 Reserve 的區(qū)域內(nèi)按需伸縮。
- 便于一些 JIT 優(yōu)化,例如故意將這個(gè)區(qū)域保留起來但是故意不將這個(gè)區(qū)域的虛擬內(nèi)存映射物理內(nèi)存,訪問這塊內(nèi)存會(huì)造成 Segment Fault 異常。JVM 會(huì)預(yù)設(shè) Segment Fault 異常的處理器,在處理器里面檢查發(fā)生 Segment Fault 異常的內(nèi)存地址屬于哪個(gè)子系統(tǒng)的 Reserve 的區(qū)域,判斷要做什么操作。null 檢查拋出 NullPointerException 異常的優(yōu)化,全局安全點(diǎn),拋出 StackOverflowError 的實(shí)現(xiàn),都和這個(gè)機(jī)制有關(guān)。
JVM 的每個(gè)子系統(tǒng),按照各自的策略,通過 Commit 已經(jīng)Reserve區(qū)域的一部分來申請(qǐng)內(nèi)存(大小也一般頁大小對(duì)齊的),從而向操作系統(tǒng)申請(qǐng)映射物理內(nèi)存,通過 Uncommit 已經(jīng) Commit 的內(nèi)存來釋放物理內(nèi)存給操作系統(tǒng)。Commit 內(nèi)存之后,并不是操作系統(tǒng)會(huì)立刻分配物理內(nèi)存,而是在向 Commit 的內(nèi)存里面寫入數(shù)據(jù)的時(shí)候,操作系統(tǒng)才會(huì)實(shí)際映射內(nèi)存。
總結(jié):
- JVM 中大塊內(nèi)存,基本都是先 reserve 一大塊,之后 commit 其中需要的一小塊,然后開始讀寫處理內(nèi)存,在 Linux 環(huán)境下,底層基于 mmap(2) 實(shí)現(xiàn)。
如果使用的是 SerialGC,ParallelGC 或者 CMS GC,老年代的內(nèi)存在有對(duì)象晉升到老年代之前,可能是不會(huì)映射物理內(nèi)存的,雖然這塊內(nèi)存已經(jīng)被 commit 了。并且年輕代可能也是隨著使用才會(huì)映射物理內(nèi)存。如果你用的是 ZGC,G1GC,或者 ShenandoahGC,那么內(nèi)存用的會(huì)更激進(jìn)些(主要因?yàn)榉謪^(qū)算法劃分導(dǎo)致內(nèi)存被寫入),這是你在換 GC 之后看到物理內(nèi)存內(nèi)存快速上漲的原因之一。