Linux的I/O優(yōu)化知識(shí)

?

一、IO 系統(tǒng)的分層

二、IO 模型

2.2 在等待數(shù)據(jù)階段，IO分為阻塞IO和非阻塞IO。

2.3 在使用資源階段，IO分為同步IO和異步IO。

• 阻塞IO

• 非阻塞IO

• IO復(fù)用

• 信號(hào)驅(qū)動(dòng)的IO

• 異步IO

三、最重要的三個(gè)指標(biāo)

四、文件系統(tǒng)的結(jié)構(gòu)

• 直接索引：直接指向?qū)嶋H內(nèi)容信息，公有12個(gè)。因此如果，一個(gè)文件系統(tǒng)block size為1k，那么直接索引到的內(nèi)容最大為12k
• 間接索引
• 兩級(jí)間接索引
• 三級(jí)間接索引

• 塊設(shè)備就是以塊（比如磁盤扇區(qū)）為單位收發(fā)數(shù)據(jù)的設(shè)備，它們支持緩沖和隨機(jī)訪問(wèn)（不必順序讀取塊，而是可以在任何時(shí)候訪問(wèn)任何塊）等特性。塊設(shè)備包括硬盤、CD-ROM 和 RAM 盤。
• 字符設(shè)備則沒(méi)有可以進(jìn)行物理尋址的媒體。字符設(shè)備包括串行端口和磁帶設(shè)備，只能逐字符地讀取這些設(shè)備中的數(shù)據(jù)。

• ?
• ?
• ?

• 塊設(shè)備能支持緩沖和隨機(jī)讀寫。即讀取和寫入時(shí)，可以是任意長(zhǎng)度的數(shù)據(jù)。最小為1byte。對(duì)塊設(shè)備，你可以成功執(zhí)行下列命令：dd if=/dev/zero of=/dev/vg01/lv bs=1 count=1。即：在設(shè)備中寫入一個(gè)字節(jié)。硬件設(shè)備是不支持這樣的操作的（最小是512），這個(gè)時(shí)候，操作系統(tǒng)首先完成一個(gè)讀?。ㄈ?K，操作系統(tǒng)最小的讀寫單位，為硬件設(shè)備支持的數(shù)據(jù)塊的整數(shù)倍），再更改這1k上的數(shù)據(jù)，然后寫入設(shè)備。

• 字符設(shè)備只能支持固定長(zhǎng)度數(shù)據(jù)的讀取和寫入，這里的長(zhǎng)度就是操作系統(tǒng)能支持的最小讀寫單位，如1K，所以塊設(shè)備的緩沖功能，這里就沒(méi)有了，需要使用者自己來(lái)完成。由于讀寫時(shí)不經(jīng)過(guò)任何緩沖區(qū)，此時(shí)執(zhí)行dd if=/dev/zero of=/dev/vg01/lv bs=1 count=1，這個(gè)命令將會(huì)出錯(cuò)，因?yàn)檫@里的bs（block size）太小，系統(tǒng)無(wú)法支持。如果執(zhí)行dd if=/dev/zero of=/dev/vg01/lv bs=1024 count=1，則可以成功。這里的block size有OS內(nèi)核參數(shù)決定。

• 統(tǒng)一進(jìn)行磁盤管理。按需分配空間，提供動(dòng)態(tài)擴(kuò)展。
• 條帶化（Striped）
• 鏡像（mirrored）
• 快照（snapshot）

• PV（physical volume）：物理卷。在LVM中，一個(gè)PV對(duì)應(yīng)就是操作系統(tǒng)能看見(jiàn)的一塊物理磁盤，或者由存儲(chǔ)設(shè)備分配操作系統(tǒng)的lun。一塊磁盤唯一對(duì)應(yīng)一個(gè)PV，PV創(chuàng)建以后，說(shuō)明這塊空間可以納入到LVM的管理。創(chuàng)建PV時(shí)，可以指定PV大小，即可以把整個(gè)磁盤的部分納入PV，而不是全部磁盤。這點(diǎn)在表面上看沒(méi)有什么意義，但是如果主機(jī)后面接的是存儲(chǔ)設(shè)備的話就很有意義了，因?yàn)榇鎯?chǔ)設(shè)備分配的lun是可以動(dòng)態(tài)擴(kuò)展的，只有當(dāng)PV可以動(dòng)態(tài)擴(kuò)展，這種擴(kuò)展性才能向上延伸。
• VG（volume group）：卷組。一個(gè)VG是多個(gè)PV的集合，簡(jiǎn)單說(shuō)就是一個(gè)VG就是一個(gè)磁盤資源池。VG對(duì)上屏蔽了多個(gè)物理磁盤，上層是使用時(shí)只需考慮空間大小的問(wèn)題，而VG解決的空間的如何在多個(gè)PV上連續(xù)的問(wèn)題。
• LV（logical volume）：邏輯卷。LV是最終可供使用卷，LV在VG中創(chuàng)建，有了VG，LV創(chuàng)建是只需考慮空間大小等問(wèn)題，對(duì)LV而言，他看到的是一直聯(lián)系的地址空間，不用考慮多塊硬盤的問(wèn)題。

• PE（physical extend）: 物理擴(kuò)展塊。LVM在創(chuàng)建PV，不會(huì)按字節(jié)方式去進(jìn)行空間管理。而是按PE為單位。PE為空間管理的最小單位。即：如果一個(gè)1024M的物理盤，LVM的PE為4M，那么LVM管理空間時(shí)，會(huì)按照256個(gè)PE去管理。分配時(shí)，也是按照分配了多少PE、剩余多少PE考慮。
• LE（logical extend）：邏輯擴(kuò)展塊。類似PV，LE是創(chuàng)建LV考慮，當(dāng)LV需要?jiǎng)討B(tài)擴(kuò)展時(shí)，每次最小的擴(kuò)展單位。

• 數(shù)據(jù)完整性的風(fēng)險(xiǎn)。Striping導(dǎo)致一份完整的數(shù)據(jù)被分布到多個(gè)磁盤上，任何一個(gè)磁盤上的數(shù)據(jù)都是不完整，也無(wú)法進(jìn)行還原。一個(gè)條帶的損壞會(huì)導(dǎo)致所有數(shù)據(jù)的失效。因此這個(gè)問(wèn)題只能通過(guò)存儲(chǔ)設(shè)備來(lái)彌補(bǔ)。
• 條帶大小的設(shè)定很大程度決定了Striping帶來(lái)的好處。如果條帶設(shè)置過(guò)大，一個(gè)IO操作最終還是發(fā)生在一個(gè)磁盤上，無(wú)法帶來(lái)并行的好處；當(dāng)條帶設(shè)置國(guó)小，本來(lái)一次并行IO可以完成的事情會(huì)最終導(dǎo)致了多次并行IO。

• 讀取操作可以從兩個(gè)磁盤上獲取，因此讀效率會(huì)更好些。
• 數(shù)據(jù)完整復(fù)雜了一份，安全性更高。

• 所有的寫操作都會(huì)同時(shí)發(fā)送在兩個(gè)磁盤上，因此實(shí)際發(fā)送的IO是請(qǐng)求IO的2倍
• 由于寫操作在兩個(gè)磁盤上發(fā)生，因此一些完整的寫操作需要兩邊都完成了才算完成，帶來(lái)了額外負(fù)擔(dān)。
• 在處理串行IO時(shí)，有些IO走一個(gè)磁盤，另外一些IO走另外的磁盤，一個(gè)完整的IO請(qǐng)求會(huì)被打亂，LVM需要進(jìn)行IO數(shù)據(jù)的合并，才能提供給上層。像一些如預(yù)讀的功能，由于有了多個(gè)數(shù)據(jù)獲取同道，也會(huì)存在額外的負(fù)擔(dān)。

• 把多個(gè)映射到同一塊空間的路徑合并為一個(gè)提供給主機(jī)
• 提供fail over的支持。當(dāng)一條通路出現(xiàn)問(wèn)題時(shí)，及時(shí)切換到其他通路
• 提供load balance的支持。即同時(shí)使用多條路徑進(jìn)行數(shù)據(jù)傳送，發(fā)揮多路徑的資源優(yōu)勢(shì)，提高系統(tǒng)整體帶寬。

?

RAID 6與RAID 5類似。但是提供了兩塊校驗(yàn)盤（下圖右下角為p和q的）。安全性更高，寫性能更差了。RAID 0最少需要4塊盤。

• RAID 0+1 任何一塊盤損壞，將失去冗余。如圖4塊盤中，右側(cè)一組損壞一塊盤，左側(cè)一組損壞一塊盤，整個(gè)盤陣將無(wú)法使用。而RAID 10左右各損壞一塊盤，盤陣仍然可以工作。
• RAID 0+1 損壞后的恢復(fù)過(guò)程會(huì)更慢。因?yàn)橄冉?jīng)過(guò)的mirror，所以左右兩組中保存的都是完整的數(shù)據(jù)，數(shù)據(jù)恢復(fù)時(shí)，需要完整恢復(fù)所以數(shù)據(jù)。而RAID 10因?yàn)橄葪l帶化，因此損壞數(shù)據(jù)以后，恢復(fù)的只是本條帶的數(shù)據(jù)。如圖4塊盤，數(shù)據(jù)少了一半。

• RAID與LVM中的條帶化原理上類似，只是實(shí)現(xiàn)層面不同。在存儲(chǔ)上實(shí)現(xiàn)的RAID一般有專門的芯片來(lái)完成，因此速度上遠(yuǎn)比LVM塊。也稱硬RAID。

• 如上介紹，RAID的使用是有風(fēng)險(xiǎn)的，如RAID 0，一塊盤損壞會(huì)導(dǎo)致所有數(shù)據(jù)丟失。因此，在實(shí)際使用中，高性能環(huán)境會(huì)使用RAID 10，兼顧性能和安全；一般情況下使用RAID 5（RAID 50），兼顧空間利用率和性能；

• 單臺(tái)主機(jī)。在這種情況下，存儲(chǔ)作為主機(jī)的一個(gè)或多個(gè)磁盤存在，這樣局限性也是很明顯的。由于受限于主機(jī)空間，一個(gè)主機(jī)只能裝一塊到幾塊硬盤，而硬盤空間時(shí)受限的，當(dāng)磁盤滿了以后，你不得不為主機(jī)更換更大空間的硬盤。

• 獨(dú)立存儲(chǔ)空間。為了解決空間的問(wèn)題，于是考慮把磁盤獨(dú)立出來(lái)，于是有了DAS（Direct Attached Storage），即：直連存儲(chǔ)。DAS就是一組磁盤的集合體，數(shù)據(jù)讀取和寫入等也都是由主機(jī)來(lái)控制。但是，隨之而來(lái)，DAS又面臨了一個(gè)他無(wú)法解決的問(wèn)題——存儲(chǔ)空間的共享。接某個(gè)主機(jī)的JBOD（Just a Bunch Of Disks，磁盤組），只能這個(gè)主機(jī)使用，其他主機(jī)無(wú)法用。因此，如果DAS解決空間了，那么他無(wú)法解決的就是如果讓空間能夠在多個(gè)機(jī)器共享。因?yàn)镈AS可以理解為與磁盤交互，DAS處理問(wèn)題的層面相對(duì)更低。使用協(xié)議都是跟磁盤交互的協(xié)議

• 獨(dú)立的存儲(chǔ)網(wǎng)絡(luò)。為了解決共享的問(wèn)題，借鑒以太網(wǎng)的思想，于是有了SAN（Storage Area Network），即：存儲(chǔ)網(wǎng)絡(luò)。對(duì)于SAN網(wǎng)絡(luò)，你能看到兩個(gè)非常特點(diǎn)，一個(gè)就是光纖網(wǎng)絡(luò)，另一個(gè)是光纖交換機(jī)。SAN網(wǎng)絡(luò)由于不會(huì)之間跟磁盤交互，他考慮的更多是數(shù)據(jù)存取的問(wèn)題，因此使用的協(xié)議相對(duì)DAS層面更高一些。光纖網(wǎng)絡(luò)：對(duì)于存儲(chǔ)來(lái)說(shuō)，與以太網(wǎng)很大的一個(gè)不同就是他對(duì)帶寬的要求非常高，因此SAN網(wǎng)絡(luò)下，光纖成為了其連接的基礎(chǔ)。而其上的光纖協(xié)議相比以太網(wǎng)協(xié)議而言，也被設(shè)計(jì)的更為簡(jiǎn)潔，性能也更高。光纖交換機(jī)：這個(gè)類似以太網(wǎng)，如果想要做到真正的“網(wǎng)絡(luò)”，交換機(jī)是基礎(chǔ)。

• 網(wǎng)絡(luò)文件系統(tǒng)。存儲(chǔ)空間可以共享，那文件也是可以共享的。NAS（Network attached storage）相對(duì)上面兩個(gè)，看待問(wèn)題的層面更高，NAS是在文件系統(tǒng)級(jí)別看待問(wèn)題。因此他面的不再是存儲(chǔ)空間，而是單個(gè)的文件。因此，當(dāng)NAS和SAN、DAS放在一起時(shí)，很容易引起混淆。NAS從文件的層面考慮共享，因此NAS相關(guān)協(xié)議都是文件控制協(xié)議。NAS解決的是文件共享的問(wèn)題；SAN（DAS）解決的是存儲(chǔ)空間的問(wèn)題。NAS要處理的對(duì)象是文件；SAN（DAS）要處理的是磁盤。為NAS服務(wù)的主機(jī)必須是一個(gè)完整的主機(jī)（有OS、有文件系統(tǒng)，而存儲(chǔ)則不一定有，因?yàn)榭梢运竺嬗纸恿艘粋€(gè)SAN網(wǎng)絡(luò)），他考慮的是如何在各個(gè)主機(jī)直接高效的共享文件；為SAN提供服務(wù)的是存儲(chǔ)設(shè)備（可以是個(gè)完整的主機(jī)，也可以是部分），它考慮的是數(shù)據(jù)怎么分布到不同磁盤。NAS使用的協(xié)議是控制文件的（即：對(duì)文件的讀寫等）；SAN使用的協(xié)議是控制存儲(chǔ)空間的（即：把多長(zhǎng)的一串二進(jìn)制寫到某個(gè)地址）

?

　　審核編輯：湯梓紅