Dell raid創建

戴爾PowerEdge服務器RAID控制卡的配置

示例演示環境:PowerEdge R620 + H710p Raid控制卡 ?+ 9 x 300G 10k SAS 硬盤

H310、H710、H810的配置方法與H710P大致相同,在此不再累述。

特別說明,本文相關RAID的操作,僅供網友在測試環境里學習和理解戴爾PowerEdge服務器RAID控制卡的功能和使用方法。切勿直接在生產服務器上做相關實驗,這可能有誤操作并造成數據丟失的風險!

一、PERC卡RAID配置信息的初始化:

戴爾PowerEdge服務器RAID控制卡的配置,可以使用戴爾提供的多種工具和界面來進行。其中包括H710p板載的PERC BIOS管理界面,生命周期控制器,系統設置,以及OMSA軟件等。下面針對不同的使用目的,我們選取推薦的配置工具和界面給大家做個演示。

默認情況下,我們可以使用PERC H710p的板載固化配置管理界面進行大多數的功能配置。如果需要重新初始化RAID卡里硬盤的RAID配置信息,我們可以進行下面步驟:

注:下面PERC卡RAID配置信息初始化的演示,我們將清除PERC卡的磁盤陣列信息,但不清除磁盤上實際存放的用戶數據。在后面的實驗里,我們將演示在原有的硬盤上創建同樣的RAID配置,來恢復硬盤上的用戶數據。

1. 服務器開機,系統自檢,加載到PERC卡自檢界面的時候,按進入PERC BIOS管理界面

這里,PERC已經創建好了兩個RAID陣列:RAID1(Disk ID=0,1),RAID10(Disk ID=2,3,4,5)

下面,我們將清除PERC卡陣列信息,為重新初始配置所有的硬盤做準備

2. 高亮選中需要管理的PERC卡,按F2,選擇彈出菜單里的“Clear Config”

3. 在告警提示窗口里選擇“YES”確認

4. PERC卡磁盤陣列信息清除成功,查看磁盤列表,各個磁盤狀態已經變為“Ready”,為后面的配置演示做好了準備

注:我們到這步,只清除了RAID的配置信息,沒有清除硬盤上的用戶數據

二、RAID陣列的創建

以上,我們清除了PERC卡原有的配置信息,硬盤上的用戶數據并沒有被初始化掉。下面,我們就還有機會可以創建回和原來一樣的RAID配置(RAID1+RAID10),并恢復回原有的用戶數據。我們來示范一下(除非故障原因,不建議管理員在生產服務器上做類似的測試)。

1.先檢查確認硬盤都處于“Ready”狀態,高亮選中需要配置的PERC卡,按F2,在彈出菜單里選擇“Create New VD”來創建新陣列(這里稱為VD: Virtual Disk)

2. 我們先創建第一個RAID1陣列:在“RAID Level”里選擇“RAID-1”,然后在它下面的物理磁盤列表里,選擇頭兩個硬盤(Disk ID=0, 1)做RAID1。我們注意到:我們使用的是2個300Gb的硬盤做RAID1,生成的VD Size還是278.87GB,即一塊硬盤左右的空間大小。保留默認的條帶與緩存設置,選擇OK

3. 系統提示,如果是新創建的RAID陣列,建議在創建后做一次陣列的初始化,這樣硬盤上已經存有的用戶數據也將會被干凈地清除。本示例我們只是想恢復原來清除的RAID配置信息,所以選擇OK,接受提示就可以了。如果想做用戶數據的清除,請查看RAID陣列的初始化與管理。

4. 這樣我們就使用和原來一樣的兩個硬盤ID=00,01,創建好了與原先一樣的RAID1陣列。

5. 同樣方法,使用原先一樣的4塊硬盤(Disk ID=2,3,4,5)創建RAID10

6. 這樣,原先清除的兩個磁盤陣列又被創建回來了。

注:清除PERC卡陣列配置信息后,可以使用同樣的磁盤,創建同樣的磁盤陣列。如果沒有做陣列初始化的話,磁盤上的用戶數據還是存在的。本例中,服務器原先安裝好的Windows 2008操作系統還保存在硬盤上,馬上我們就可以服務器重啟,進入操作系統。

三、RAID陣列的初始化與管理

如果我們創建RAID陣列的目的是新部署一臺服務器,我們建議所有新創建的RAID陣列都應該做初始化操作,這樣,硬盤上原有的用戶數據將被清除,以便進行后續的系統,軟件安裝。

1. 我們臨時創建了一個新的RAID1陣列,如圖(Disk Group:1;Virtual Disks ID:2),選中該陣列,按F2,在彈出菜單里選擇Initialization

2. 選擇Start Init將進入陣列初始化,當然,Stop Init可以將初始化過程停止。屏幕右上方可以看到初始化的進度百分比。用戶需要等待初始化進程結束,才可以開始使用該陣列。

3. 我們也可以選擇Fast Init,我們進入的是后臺的陣列初始化過程。這個過程在后臺自動進行,對用戶是透明的,用戶可以重啟服務器,可以馬上開始使用陣列安裝系統及軟件。初始化的進程在服務器開機狀態下,會繼續完成所需的初始化步驟,直至結束。

4. 在陣列初始化結束后,我們還可以對陣列進行檢查,這經常是在出現硬件或磁盤告警的時候,確保RAID的完整。

5. 當然,還有刪除陣列,如圖,就不細說了

四、熱備硬盤的設置

下面的示例如圖,我們已經做好兩個RAID陣列,RAID1 和RAID10。我們希望將空閑硬盤ID=06設置成RAID10陣列專享的熱備硬盤。這樣,在RAID10陣列里出現硬盤故障的時候,該熱備硬盤自動進行數據重建,并加入到RAID10陣列里。而當RAID1陣列出現硬盤故障時,熱備硬盤保持熱備狀態不變,故障硬盤等待管理員手工更換。

1. 高亮選中RAID10組(Spanned Disk Group:0),按F2,在彈出菜單里選擇Mange Ded. HS

2. 選中ID=06的空閑硬盤,選OK.

3. RAID10陣列專享的熱備硬盤設置完成。

五、全局熱備硬盤的設置

下面的示例如圖,我們已經做好兩個RAID陣列,RAID1 和RAID10。ID=06的硬盤已經設成RAID10專享熱備硬盤。我們希望將空閑硬盤ID=07設置成全局熱備硬盤。這樣,在RAID1或者RAID10陣列里出現硬盤故障的時候,該熱備硬盤都將自動進行數據重建,并加入到相應的陣列里。

1. 按CTRL+N切換到PD Mgnt(物理硬盤管理)界面上,我們看到ID=06的專享熱備硬盤狀態已經是Hotspare了

2.高亮選中ID=07的空閑硬盤,按F2,彈出菜單里選擇Make Global HS

3. 設置完成,這里ID=07的硬盤狀態已經變成Hotspare,在PD Mgnt里看不出全局和專享熱備硬盤的區別

4. 按CTRL+P回到VD Mgmt,我們可以看到ID=07的硬盤已經是支持RAID1和RAID10陣列的全局熱備硬盤了。

六、RAID磁盤成員的在線管理和維護

這次示例的情形如圖:我們已經建好了兩RAID陣列RAID1(ID=00,01)和RAID10。其中RAID1陣列的成員ID=01的磁盤出現故障,生產服務器如何在在線的情況下進行硬盤的修復和更換(以Windows 2008 R2為例)。

當然,在PERC BIOS管理界面里,我們只要選擇一個空閑硬盤,按全局熱備硬盤的設置里方法,將其設成熱備硬盤,該硬盤就自動重建了。這種方法需要服務器宕機重啟到PERC BIOS界面里操作,不是我們討論的情形。我們下面演示的是,當生產服務器在運行中,出現硬盤故障,如何在線實現故障硬盤的更換和重建。

注:下面示例,所有操作在服務器保持在線狀態下進行,模擬實際生產服務器運行中出現硬盤故障的情形

1. 首先(這步請在服務器部署的時候就做好),我們需要登錄戴爾技術支持官網下載并安裝支持軟件:戴爾OMSA (OpenManage Server Administrator Managed Node),方法:

登錄:http://www.dell.com/support/drivers/cn/zh/cnlca1輸入服務器型號,得到相關軟件及驅動的列表。

下載地址:OpenManage Server Administrator Managed Node,本鏈接版本適合R620 + Windows 2008 R2

2. 安裝好軟件后,點擊桌面程序圖標或者程序菜單,進入管理OMSA管理登錄頁面

當然,也可以從遠端服務器或管理工作站,通過OMSA遠程管理端口1311進入,如圖(IP為服務器公網地址,1311為管理端口。請確認防火墻打開):

3. 輸入Windows管理員帳號及密碼,點擊提交,登錄管理頁面:

4. 使用左側導航條,進入存儲-> PERC H710p -> 連接器0(RAID) -> 機柜(背板)-> 物理磁盤界面。這里,我們剛剛拔出ID=01的硬盤,模擬一次硬盤故障。可以看到該位子的狀況呈紅色告警,狀態為已刪除:

5. 選擇一個空閑硬盤ID=06,在任務下來菜單里選擇“分配全局熱備份”,然后點擊右邊的“執行”按鈕

6. 查看ID=06硬盤狀態已經自動進入“正在重建”狀態,證明該熱備硬盤設置已經成功并自動重建。該狀態將保持一定時間,直至重建完成

7. 等待重建完成后,我們查看一下硬盤的狀態:我們注意到,ID=01的硬盤已經消失,取而代之的是ID=06的硬盤已經取代它成為RAID1的成員之一

左側導航欄進入虛擬磁盤菜單,查看RAID1信息:

到這步,故障硬盤的重建就已經做好了!

下面我們再來看看一些額外的步驟,我們還能做些什么?

1. 如果我們把上面ID=02的故障硬盤更換掉,找到一個全新的硬盤,插回到ID=02的硬盤背板槽位里,H710p的PERC控制卡將自動開始RAID1陣列成員的更換。這步不是必須,管理員也可以在任務菜單里選擇“取消成員更換”任務來終止該操作

(截屏里多了Start菜單,大家多包涵一下)

2. 成員更換完成后,我們可以看到RAID1成員恢復為ID=00,01,而ID=06的硬盤則恢復為全局熱備狀態

至此,我們完成了生產服務器硬盤故障,如何在服務器在線狀態下完成故障硬盤更換及RAID數據重建的演示。

七、磁盤漫游

磁盤漫游是指在同一控制器的電纜連接或背板插槽間移動物理磁盤。控制器將自動識別重新定位的物理磁盤,并從邏輯上將其置于屬于磁盤組的一部分的虛擬磁盤中。

注:僅當系統關閉時才能執行磁盤漫游。請勿在 RAID 級別遷移 (RLM) 或聯機容量擴展 (OCE) 過程中嘗試磁盤漫游。這將導致虛擬磁盤丟失。

下面我們來做一次磁盤漫游的演示:

1. 實驗環境:這是一臺PowerEdge R620服務器,運行Windows 2008 R2企業版服務器。服務器上有兩個磁盤陣列(Drive C:是RAID1,Drive D:是RAID 5),兩個陣列上都存有文件。

我們注意到,RAID1成員為ID=00, 01,RAID5成員為ID=02,03,04

2.關閉系統、物理磁盤、機柜和系統組件的電源。從系統上斷開電源線的連接,然后拔出ID=00~04的所有硬盤,打亂次序后,隨機插回背板槽位。開機進入PERC BIOS管理界面:

這里,我們注意到,RAID1的成員已經變成ID=02,04。這是因為原來RAID1的兩個成員硬盤被插到了服務器背板上02,04的槽位去了。同樣可以看到RAID5的硬盤插入到了00,01,03的槽位上去了

3. 執行安全檢查。確保正確插入物理磁盤。然后退出管理界面,重啟服務器,進入Windows操作系統:

服務器正常進入Windows 2008 R2系統,所以驅動器上的文件未受影響。

八、RAID陣列的遷移

PERC H710、H710P 和 H810 插卡支持在不同控制器間遷移虛擬磁盤,而無需使目標控制器脫機。控制器可以導入處于最佳、降級或部分降級狀態的 RAID 虛擬磁盤。但不能導入處于脫機狀態的虛擬磁盤。

磁盤遷移提示:

支持從 PERC H700 和 H800 至 PERC H710P 和 H810 的虛擬磁盤遷移

支持在 H710、 H710P、或 H810 中創建的卷的遷移

支持將在 H310 上創建的卷遷移至 H710、 H710P、或 H810

不支持從 H700 或 H800 至 H310 的遷移

不支持從 H710、 H710P、或 H810 至 H310 的遷移

注:在執行磁盤遷移前,源控制器必須處于脫機狀態。

注:磁盤不可遷移至舊版或換代前的 PERC 卡。

注:非 RAID 磁盤僅在 PERC H310 控制器上受支持。不支持遷移至任何其他PERC 產品。

注:在提供或配置相應的密鑰 (LKM) 情況下,支持導入受安全保護的虛擬磁盤。

如果控制器檢測到物理磁盤包含現有配置,則將該物理磁盤標記為 foreign(外部),并生成檢測到外部磁盤的警報提示。

小心:請勿在 RLM 或聯機容量擴展 (OCE) 過程中嘗試磁盤漫游。這將導致虛擬磁盤丟失。

下面我們來做這樣的一個實驗:

1. 我們先看一下服務器(R620+H710p)的RAID配置:3個硬盤組成的一個RAID5,分配了100GB的虛擬磁盤空間

2. 關閉服務器,將上述硬盤從背板槽位取出,然后插入到另一臺同型號服務器上,開機

服務器自檢提示:PERC卡發現外來配置(Foreign Configration)。這里我們如果按“F”鍵,PERC將自動從硬盤導入相關的RAID配置信息。為了看得明白點,我們選擇按“C”進入管理界面進行配置。

3. 在管理界面里,我們現在還看不到RAID的信息。高亮選中PERC卡,按F2,在菜單里選擇“Foreign Config” --》Import 進行RAID配置信息的導入。

4. 告警提示,選YES

5. 這樣,硬盤上存放的RAID配置信息就遷移到新的PERC卡上了。我們的磁盤遷移完成

九、RAID磁盤陣列擴容

這里我們討論服務器硬盤空間不足時,我們有什么方法可以擴充原有虛擬磁盤的空間,而無需刪除上面的數據。

簡介

我們可通過擴充容量和 / 或改變 RAID 級別的方式來重新配置聯機虛擬磁盤。

注:跨接式虛擬磁盤(如 RAID 10、 50 和 60)無法重新配置。

注:重新配置虛擬磁盤時一般會對磁盤性能有所影響,直到重新配置完成后為止。

聯機容量擴充 (OCE) 可通過兩種方法實現。

如果磁盤組中只有一個虛擬磁盤,而且還有可用空間可供使用,則可在可用空間的范圍內擴充虛擬磁盤的容量。

如果已創建虛擬磁盤,但虛擬磁盤使用的空間未達到該磁盤組大小的上限,則剩有可用空間

通過 Replace Member (更換成員)功能使用較大的磁盤更換磁盤組的物理磁盤時也可以獲得可用空間。虛擬磁盤的容量也可以通過執行 OCE 操作來增加物理磁盤的數量進行擴充。

RAID 級別遷移 (RLM) 是指更改虛擬磁盤的 RAID 級別。 RLM 和 OCE 可同時實現,這樣虛擬磁盤可同時更改 RAID 級別并增加容量。完成RLM/OCE 操作后,不需要重新引導。要查看 RLM/OCE 操作可行性列表,請參閱下表。源 RAID 級別列表示執行 RLM/OCE 操作之前的虛擬磁盤RAID 級別,目標 RAID 級別列表示操作完成后的 RAID 級別。

注:如果控制器包含的虛擬磁盤數目已達最大值,則不能再對任何虛擬磁盤進行 RAID 級別遷移或容量擴充。

注:控制器將所有正在進行 RLM/OCE 操作的虛擬磁盤的寫入高速緩存策略更改為直寫式,直到 RLM/OCE 完成。

RAID級別遷移:

下面,我們來演示一下兩種情形下磁盤的擴容:

聯機容量擴充 (OCE)

實驗的情景是:有一臺R620服務器,兩個硬盤驅動器。Drive C:是RAID1的陣列,安裝操作系統;Drive D:是10GB的RAID1陣列,裝有數據文件。如圖:

我們重啟服務器,按CTRL-R進入PERC BIOS 管理界面查看一下RAID的配置:

其中10GB的虛擬磁盤建立在一個總容量278GB的RAID1陣列上,該陣列還留有268GB的剩余空間。我們準備使用這些剩余空間,將10GB的虛擬磁盤擴充到50GB以上。

注:我們下面的演示,在PERC BIOS管理界面里進行。但是實際的操作,在OMSA GUI管理界面里也可以完成。后一個RLM的演示,我們將在OMSA管理界面里進行:

1. 高亮選中需要擴容的虛擬磁盤 VD1,按F2,在彈出菜單里選Expand VD size

2. 輸入需要擴容的空間百分比15%,下面會顯示擴容后的估計虛擬磁盤大小。然后選擇Resize按鈕

3. 管理界面回到主頁面,選中VD1,可以看到空間已經變成50GB,且右側顯示后臺初始化在進行中。這里的初始化是對新加入的空白區的初始化,并不會刪除原有數據。

4. 初始化結束后,服務器重啟回到操作系統。我們在服務器管理器的磁盤管理器里可以看到,原來的磁盤1 已經增加了40.33GB的空余空間。

5. 下面做Drive D:的空間擴展。鼠標右擊Drive D:在彈出菜單里選擇擴展卷

6. 進入擴展卷向導,點擊“下一步”

7. 選擇需要擴展的卷,已經希望擴展的大小。我們使用默認值,即全部空余空間,下一步

8.確認執行的操作,下一步

9. 任務完成,Drive D:已經成功擴容到50GB

10. 再次確認文件系統的新空間50GB,以及原有的數據文件都得到保存

RAID 級別遷移 (RLM)

下面我們來看看RLM,這種擴容方法可以通過改變RAID陣列的級別,或者往陣列里添加新的硬盤成員,來實現容量的擴展。我們來做一個演示,如何將RAID1擴展成由4個硬盤組成的RAID5,從而實現容量的擴展:

1. 登錄OMSA控制臺,查看一下陣列的配置信息:這里有兩個RAID1陣列,VD0在第一個RAID1上,安裝有操作系統,我們不做操作。VD1使用了另一個RAID1的200GB空間,該RAID1還余有78GB空余空間。

看看資源管理器,VD1對應的Drive D:存有用戶數據:

2. 在VD1的可用任務里選擇“重新配置”,點擊執行

3. 順帶提一下,因為VD1所在的RAID1還有78GB剩余空間,如果想在OMSA管理界面里做OCE也是可以的,可以在這里的界面里點擊“擴展容量”

然后就可以看到和上面OCE章節里相似的配置界面做OCE擴展,這里就不演示了。

4. 原來的RAID1由ID=02,03的硬盤組成,我們追加ID=04,05的空閑硬盤,點擊“繼續”

5. 選擇新的RAID級別為RAID-5,注意提示:新的容量將變為600GB,點擊“繼續”

6. 確認配置信息,點擊“完成”

7. VD1進入RLM擴展狀態,我們可以在OMSA管理器里看到百分比進度,直至完成

8. 檢查確認VD1擴展進程結束,級別已經顯示為RAID5,成員變為ID=02~-05硬盤

9. 退出OMSA,我們注意到,在windows磁盤管理器及資源管理器里,擴展的新空間還未生效,還是200GB

10. 重啟服務器,進入PERC BIOS里查看,服務器經重啟后,新的空間生效了

11.服務器重啟,重新進入操作系統,這次在磁盤管理器里,我們就可以看到多出來的未分配空間了。

12. 請按照OCE介紹里,卷擴展的步驟擴展Drive D:,至此演示完成

十、物理磁盤的電源管理

PERC H310、 H710、 H710P、和 H810 卡具備的節電功能。此功能根據磁盤配置和 I/O 活動可允許磁盤停轉。在所有旋轉式SAS 和 SATA 磁盤上均支持此功能(包括未配置、已配置和熱備用磁盤)。

物理磁盤電源管理功能默認為禁用。可在 Dell Open Manage 存儲管理應用程序中使用統一可擴展固件接口(UEFI) RAID 配置公用程序來啟用此功能。

共有四種可用的節電模式:

No Power Savings (非節電模式)(默認模式)—所有節電功能均已禁用。

Balanced Power Savings (負載平衡節電模式)—僅對未配置的和熱備用磁盤啟用停轉。

Maximum Power Savings (最大程度節電模式)—對已配置、未配置和熱備用磁盤均啟用停轉。

Customized Power Savings (自定義節電模式)—所有節電功能均可自定義。您可以指定一個“優質服務”時間窗口,在該窗口期間排除停轉已配置磁盤。

下面我們就來做一次物理磁盤電源管理的演示,幫助大家理解戴爾PowerEdge服務器PERC是如何實現物理磁盤的電源管理,以實現節能功能。

1. 我們先來看看演示設備的配置:我們有9塊物理磁盤,ID=0,1組成VD0(RAID1),ID=2~5組成VD1(RAID5),ID=6是RAID5的專享熱備硬盤,ID=7是全局熱備硬盤,ID=8是閑置硬盤。我們看到其中ID=6~8的硬盤上其實是沒有數據IO的,但它們卻和其他硬盤一樣處于運行狀態中,消耗電源。我們下面將通過設置“負載平衡節電模式”來控制空閑硬盤的運轉。

2. 我們先開機進入操作系統,運行OMSA,進入管理界面,在左側導航欄里點擊進入物理磁盤列表。我們注意到,ID=6~8的硬盤電源狀態顯示“高速旋轉”,和其他聯機硬盤是一樣的,并不節能。

這個是完整視圖:

3.點擊左欄里的存儲菜單,選擇右邊對應的PERC控制卡,在“可用任務”里選擇“管理物理磁盤電源”,然后點擊執行

4. 在物理磁盤電源管理設置里,選擇“均衡節能模式”,然后點擊“應用更改”

5.設置結束,回到物理磁盤列表,我們看到現在電源狀況還沒改變,暫時還是“高速旋轉”

6.諾干時間后(約30分鐘),刷新物理磁盤列表,我們看到,ID=6~8的3個空閑的硬盤,無論是熱備還是完全閑置狀態,電源狀況都進入了“停轉”狀態,實現了服務器節能的目的






ht ?2017 sanyuanyanjin

?著作權歸作者所有,轉載或內容合作請聯系作者
  • 序言:七十年代末,一起剝皮案震驚了整個濱河市,隨后出現的幾起案子,更是在濱河造成了極大的恐慌,老刑警劉巖,帶你破解...
    沈念sama閱讀 227,401評論 6 531
  • 序言:濱河連續發生了三起死亡事件,死亡現場離奇詭異,居然都是意外死亡,警方通過查閱死者的電腦和手機,發現死者居然都...
    沈念sama閱讀 98,011評論 3 413
  • 文/潘曉璐 我一進店門,熙熙樓的掌柜王于貴愁眉苦臉地迎上來,“玉大人,你說我怎么就攤上這事。” “怎么了?”我有些...
    開封第一講書人閱讀 175,263評論 0 373
  • 文/不壞的土叔 我叫張陵,是天一觀的道長。 經常有香客問我,道長,這世上最難降的妖魔是什么? 我笑而不...
    開封第一講書人閱讀 62,543評論 1 307
  • 正文 為了忘掉前任,我火速辦了婚禮,結果婚禮上,老公的妹妹穿的比我還像新娘。我一直安慰自己,他們只是感情好,可當我...
    茶點故事閱讀 71,323評論 6 404
  • 文/花漫 我一把揭開白布。 她就那樣靜靜地躺著,像睡著了一般。 火紅的嫁衣襯著肌膚如雪。 梳的紋絲不亂的頭發上,一...
    開封第一講書人閱讀 54,874評論 1 321
  • 那天,我揣著相機與錄音,去河邊找鬼。 笑死,一個胖子當著我的面吹牛,可吹牛的內容都是我干的。 我是一名探鬼主播,決...
    沈念sama閱讀 42,968評論 3 439
  • 文/蒼蘭香墨 我猛地睜開眼,長吁一口氣:“原來是場噩夢啊……” “哼!你這毒婦竟也來了?” 一聲冷哼從身側響起,我...
    開封第一講書人閱讀 42,095評論 0 286
  • 序言:老撾萬榮一對情侶失蹤,失蹤者是張志新(化名)和其女友劉穎,沒想到半個月后,有當地人在樹林里發現了一具尸體,經...
    沈念sama閱讀 48,605評論 1 331
  • 正文 獨居荒郊野嶺守林人離奇死亡,尸身上長有42處帶血的膿包…… 初始之章·張勛 以下內容為張勛視角 年9月15日...
    茶點故事閱讀 40,551評論 3 354
  • 正文 我和宋清朗相戀三年,在試婚紗的時候發現自己被綠了。 大學時的朋友給我發了我未婚夫和他白月光在一起吃飯的照片。...
    茶點故事閱讀 42,720評論 1 369
  • 序言:一個原本活蹦亂跳的男人離奇死亡,死狀恐怖,靈堂內的尸體忽然破棺而出,到底是詐尸還是另有隱情,我是刑警寧澤,帶...
    沈念sama閱讀 38,242評論 5 355
  • 正文 年R本政府宣布,位于F島的核電站,受9級特大地震影響,放射性物質發生泄漏。R本人自食惡果不足惜,卻給世界環境...
    茶點故事閱讀 43,961評論 3 345
  • 文/蒙蒙 一、第九天 我趴在偏房一處隱蔽的房頂上張望。 院中可真熱鬧,春花似錦、人聲如沸。這莊子的主人今日做“春日...
    開封第一講書人閱讀 34,358評論 0 25
  • 文/蒼蘭香墨 我抬頭看了看天上的太陽。三九已至,卻和暖如春,著一層夾襖步出監牢的瞬間,已是汗流浹背。 一陣腳步聲響...
    開封第一講書人閱讀 35,612評論 1 280
  • 我被黑心中介騙來泰國打工, 沒想到剛下飛機就差點兒被人妖公主榨干…… 1. 我叫王不留,地道東北人。 一個月前我還...
    沈念sama閱讀 51,330評論 3 390
  • 正文 我出身青樓,卻偏偏與公主長得像,于是被迫代替她去往敵國和親。 傳聞我的和親對象是個殘疾皇子,可洞房花燭夜當晚...
    茶點故事閱讀 47,690評論 2 370

推薦閱讀更多精彩內容

  • 獨立磁盤冗余數組(RAID, Redundant Array of Independent Disks)簡稱硬盤陣...
    yekai閱讀 4,909評論 0 14
  • 時光的紙箋 刻下了秋的滄桑 葉的悲涼 有人在路口守望 忘記了追風 忘記了流浪 忘記了時間里最生動的初望 他問:有誰...
    情話小王子閱讀 210評論 0 0
  • 公募基金或券商作為管理人,銀行作為托管人,向特定人群募集紫金,給設定質押或抵押的擔保措施,通過委貸給企業發放貸款
    010ed0d5a362閱讀 215評論 0 0
  • 原來仙境非夢幻,隨風遺落在人間。 心馳川滇瀘沽湖,夢歸摩梭女兒園。 ...
    小冷小姐閱讀 620評論 2 2
  • 年初買回家一盆四季海棠, 因疏忽照顧,日漸消縮萎枯,本以為它不復再生了,今早想將其從盆內移除,卻發現它的根部又萌出...
    時光醉了閱讀 502評論 1 4