Linux虛擬內(nèi)存管理與JVM內(nèi)存reserved/committed含義

1.Linux虛擬內(nèi)存管理

當(dāng)程序運(yùn)行起來之后就變成了進(jìn)程,業(yè)務(wù)數(shù)據(jù)結(jié)構(gòu)的引用在進(jìn)程的視角里全都都是虛擬內(nèi)存地址,因?yàn)檫M(jìn)程無論是在用戶態(tài)還是在內(nèi)核態(tài)能夠看到的都是虛擬內(nèi)存空間,物理內(nèi)存空間被操作系統(tǒng)所屏蔽進(jìn)程是看不到的。

進(jìn)程通過虛擬內(nèi)存地址訪問這些數(shù)據(jù)結(jié)構(gòu)的時(shí)候,虛擬內(nèi)存地址會(huì)在內(nèi)存管理子系統(tǒng)中被轉(zhuǎn)換成物理內(nèi)存地址,通過物理內(nèi)存地址就可以訪問到真正存儲(chǔ)這些數(shù)據(jù)結(jié)構(gòu)的物理內(nèi)存了。隨后就可以對(duì)這塊物理內(nèi)存進(jìn)行各種業(yè)務(wù)操作,從而完成業(yè)務(wù)邏輯。

在現(xiàn)代操作系統(tǒng)中往往支持多個(gè)進(jìn)程,需要處理多進(jìn)程之間的協(xié)同問題,在多進(jìn)程系統(tǒng)中直接使用物理內(nèi)存地址操作內(nèi)存所帶來的問題(為每個(gè)進(jìn)程究竟要分配多少內(nèi)存??jī)?nèi)存緊張的時(shí)候該怎么辦?如何避免進(jìn)程與進(jìn)程之間的地址沖突?)就變得非常復(fù)雜了。

程序局部性原理表現(xiàn)為:時(shí)間局部性和空間局部性。時(shí)間局部性是指如果程序中的某條指令一旦執(zhí)行,則不久之后該指令可能再次被執(zhí)行;如果某塊數(shù)據(jù)被訪問,則不久之后該數(shù)據(jù)可能再次被訪問。空間局部性是指一旦程序訪問了某個(gè)存儲(chǔ)單元,則不久之后,其附近的存儲(chǔ)單元也將被訪問。

根據(jù)程序局部性原理,無論一個(gè)進(jìn)程實(shí)際可以占用的內(nèi)存資源有多大,根據(jù)程序局部性原理,在某一段時(shí)間內(nèi),進(jìn)程真正需要的物理內(nèi)存其實(shí)是很少的一部分,我們只需要為每個(gè)進(jìn)程分配很少的物理內(nèi)存就可以保證進(jìn)程的正常執(zhí)行運(yùn)轉(zhuǎn)。

而虛擬內(nèi)存的引入正是要解決上述的問題,虛擬內(nèi)存引入之后,進(jìn)程的視角就會(huì)變得非常開闊,每個(gè)進(jìn)程都擁有自己獨(dú)立的虛擬地址空間,進(jìn)程與進(jìn)程之間的虛擬內(nèi)存地址空間是相互隔離,互不干擾的。

進(jìn)程的虛擬內(nèi)存空間所包含的主要區(qū)域:

  • 用于存放進(jìn)程程序二進(jìn)制文件中的機(jī)器指令的代碼段
  • 用于存放程序二進(jìn)制文件中定義的全局變量和靜態(tài)變量的數(shù)據(jù)段和 BSS 段。
  • 用于在程序運(yùn)行過程中動(dòng)態(tài)申請(qǐng)內(nèi)存的堆。
  • 用于存放動(dòng)態(tài)鏈接庫以及內(nèi)存映射區(qū)域的文件映射與匿名映射區(qū)。
  • 用于存放函數(shù)調(diào)用過程中的局部變量和函數(shù)參數(shù)的棧。

程序并不會(huì)直接通過 CPU 尋址訪問到實(shí)際的物理內(nèi)存,而是通過引入 MMU(Memory Management Unit 內(nèi)存管理單元)與實(shí)際物理地址隔了一層虛擬內(nèi)存的抽象。這樣,程序申請(qǐng)以及訪問的其實(shí)是虛擬內(nèi)存地址,MMU 會(huì)將這個(gè)虛擬內(nèi)存地址映射為實(shí)際的物理內(nèi)存地址。同時(shí),為了減少內(nèi)存碎片,以及增加內(nèi)存分配效率,在 MMU 的基礎(chǔ)上 Linux 抽象了內(nèi)存分頁(Paging)的概念,將虛擬地址按固定大小分割成頁(默認(rèn)是 4K),并在頁被實(shí)際使用寫入數(shù)據(jù)的時(shí)候,映射同樣大小的實(shí)際的物理內(nèi)存(頁幀,Page Frame),或者是在物理內(nèi)存不足的時(shí)候,將某些不常用的頁轉(zhuǎn)移到其他存儲(chǔ)設(shè)備比如磁盤上。

頁表是每個(gè)進(jìn)程獨(dú)立的,操作系統(tǒng)會(huì)在給進(jìn)程映射物理內(nèi)存用來保存用戶數(shù)據(jù)的時(shí)候,將物理內(nèi)存保存到進(jìn)程的頁表里面。然后,進(jìn)程訪問虛擬內(nèi)存空間的時(shí)候,通過頁表找到物理內(nèi)存。一般 CPU 里面都有一個(gè) TLB(Translation Lookaside Buffer,翻譯后備緩沖),TLB 負(fù)責(zé)緩存虛擬內(nèi)存與實(shí)際物理內(nèi)存的映射關(guān)系,一般 TLB 容量很小。每次訪問虛擬內(nèi)存,先查看 TLB 中是否有緩存,如果沒有才會(huì)去頁表查詢。

2.JVM內(nèi)存reserved/committed含義

VM 的每個(gè)子系統(tǒng)(例如 Java 堆,元空間,JIT 代碼緩存,GC 等等等等),如果需要的話,在初始化的時(shí)候首先 Reserve 要分配區(qū)域的最大限制大小的內(nèi)存(這個(gè)最大大小,需要按照頁大小對(duì)齊(即是頁大小的整數(shù)倍)。

這樣做的好處是:

  • 隔離每個(gè) JVM 子系統(tǒng)使用的內(nèi)存的虛擬空間,這樣在 JVM 代碼有 bug 的時(shí)候(例如發(fā)生 Segment Fault 異常),通過報(bào)錯(cuò)中的虛擬內(nèi)存地址可以快速定位到是哪個(gè)子系統(tǒng)出了問題。
  • 可以很方便的限制這個(gè)區(qū)域使用的最大內(nèi)存大小。
  • 便于管理,Reserve 不會(huì)觸發(fā)操作系統(tǒng)分配映射實(shí)際物理內(nèi)存,這個(gè)區(qū)域可以在 Reserve 的區(qū)域內(nèi)按需伸縮。
  • 便于一些 JIT 優(yōu)化,例如故意將這個(gè)區(qū)域保留起來但是故意不將這個(gè)區(qū)域的虛擬內(nèi)存映射物理內(nèi)存,訪問這塊內(nèi)存會(huì)造成 Segment Fault 異常。JVM 會(huì)預(yù)設(shè) Segment Fault 異常的處理器,在處理器里面檢查發(fā)生 Segment Fault 異常的內(nèi)存地址屬于哪個(gè)子系統(tǒng)的 Reserve 的區(qū)域,判斷要做什么操作。null 檢查拋出 NullPointerException 異常的優(yōu)化,全局安全點(diǎn),拋出 StackOverflowError 的實(shí)現(xiàn),都和這個(gè)機(jī)制有關(guān)。

JVM 的每個(gè)子系統(tǒng),按照各自的策略,通過 Commit 已經(jīng)Reserve區(qū)域的一部分來申請(qǐng)內(nèi)存(大小也一般頁大小對(duì)齊的),從而向操作系統(tǒng)申請(qǐng)映射物理內(nèi)存,通過 Uncommit 已經(jīng) Commit 的內(nèi)存來釋放物理內(nèi)存給操作系統(tǒng)。Commit 內(nèi)存之后,并不是操作系統(tǒng)會(huì)立刻分配物理內(nèi)存,而是在向 Commit 的內(nèi)存里面寫入數(shù)據(jù)的時(shí)候,操作系統(tǒng)才會(huì)實(shí)際映射內(nèi)存。

總結(jié):

  • JVM 中大塊內(nèi)存,基本都是先 reserve 一大塊,之后 commit 其中需要的一小塊,然后開始讀寫處理內(nèi)存,在 Linux 環(huán)境下,底層基于 mmap(2) 實(shí)現(xiàn)。

如果使用的是 SerialGC,ParallelGC 或者 CMS GC,老年代的內(nèi)存在有對(duì)象晉升到老年代之前,可能是不會(huì)映射物理內(nèi)存的,雖然這塊內(nèi)存已經(jīng)被 commit 了。并且年輕代可能也是隨著使用才會(huì)映射物理內(nèi)存。如果你用的是 ZGC,G1GC,或者 ShenandoahGC,那么內(nèi)存用的會(huì)更激進(jìn)些(主要因?yàn)榉謪^(qū)算法劃分導(dǎo)致內(nèi)存被寫入),這是你在換 GC 之后看到物理內(nèi)存內(nèi)存快速上漲的原因之一。

參考

?著作權(quán)歸作者所有,轉(zhuǎn)載或內(nèi)容合作請(qǐng)聯(lián)系作者
平臺(tái)聲明:文章內(nèi)容(如有圖片或視頻亦包括在內(nèi))由作者上傳并發(fā)布,文章內(nèi)容僅代表作者本人觀點(diǎn),簡(jiǎn)書系信息發(fā)布平臺(tái),僅提供信息存儲(chǔ)服務(wù)。
  • 序言:七十年代末,一起剝皮案震驚了整個(gè)濱河市,隨后出現(xiàn)的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,748評(píng)論 6 531
  • 序言:濱河連續(xù)發(fā)生了三起死亡事件,死亡現(xiàn)場(chǎng)離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機(jī),發(fā)現(xiàn)死者居然都...
    沈念sama閱讀 98,165評(píng)論 3 414
  • 文/潘曉璐 我一進(jìn)店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,595評(píng)論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長(zhǎng)。 經(jīng)常有香客問我,道長(zhǎng),這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,633評(píng)論 1 309
  • 正文 為了忘掉前任,我火速辦了婚禮,結(jié)果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當(dāng)我...
    茶點(diǎn)故事閱讀 71,435評(píng)論 6 405
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發(fā)上,一...
    開封第一講書人閱讀 54,943評(píng)論 1 321
  • 那天,我揣著相機(jī)與錄音,去河邊找鬼。 笑死,一個(gè)胖子當(dāng)著我的面吹牛,可吹牛的內(nèi)容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 43,035評(píng)論 3 440
  • 文/蒼蘭香墨 我猛地睜開眼,長(zhǎng)吁一口氣:“原來是場(chǎng)噩夢(mèng)啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側(cè)響起,我...
    開封第一講書人閱讀 42,175評(píng)論 0 287
  • 序言:老撾萬榮一對(duì)情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個(gè)月后,有當(dāng)?shù)厝嗽跇淞掷锇l(fā)現(xiàn)了一具尸體,經(jīng)...
    沈念sama閱讀 48,713評(píng)論 1 333
  • 正文 獨(dú)居荒郊野嶺守林人離奇死亡,尸身上長(zhǎng)有42處帶血的膿包…… 初始之章·張勛 以下內(nèi)容為張勛視角 年9月15日...
    茶點(diǎn)故事閱讀 40,599評(píng)論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時(shí)候發(fā)現(xiàn)自己被綠了。 大學(xué)時(shí)的朋友給我發(fā)了我未婚夫和他白月光在一起吃飯的照片。...
    茶點(diǎn)故事閱讀 42,788評(píng)論 1 369
  • 序言:一個(gè)原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內(nèi)的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,303評(píng)論 5 358
  • 正文 年R本政府宣布,位于F島的核電站,受9級(jí)特大地震影響,放射性物質(zhì)發(fā)生泄漏。R本人自食惡果不足惜,卻給世界環(huán)境...
    茶點(diǎn)故事閱讀 44,034評(píng)論 3 347
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,412評(píng)論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監(jiān)牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,664評(píng)論 1 280
  • 我被黑心中介騙來泰國(guó)打工, 沒想到剛下飛機(jī)就差點(diǎn)兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個(gè)月前我還...
    沈念sama閱讀 51,408評(píng)論 3 390
  • 正文 我出身青樓,卻偏偏與公主長(zhǎng)得像,于是被迫代替她去往敵國(guó)和親。 傳聞我的和親對(duì)象是個(gè)殘疾皇子,可洞房花燭夜當(dāng)晚...
    茶點(diǎn)故事閱讀 47,747評(píng)論 2 370

推薦閱讀更多精彩內(nèi)容