你知道在Linux中內(nèi)存buffer和cache的區(qū)別？

細(xì)心的朋友會(huì)注意到,當(dāng)你在linux下頻繁存取文件后,物理內(nèi)存會(huì)很快被用光,當(dāng)程序結(jié)束后,內(nèi)存不會(huì)被正常釋放,而是一直作為caching.這個(gè)問題,貌似有不少人在問,不過都沒有看到有什么很好解決的辦法.那么我來談?wù)勥@個(gè)問題.
先來說說free命令

[root@server ~]# free -m
? ? ? ? ? ? ? ? ? ? total???????used???????free?????shared????buffers?????cached
Mem:???????????249????????163?????????86??????????0?????????10 ? ? ? ? ? ? 94
-/+ buffers/cache:?????????58????????191
Swap:??????????511??????????0 ? ? ? ? ?511
其中:
total 內(nèi)存總數(shù)
used 已經(jīng)使用的內(nèi)存數(shù)
free 空閑的內(nèi)存數(shù)
shared 多個(gè)進(jìn)程共享的內(nèi)存總額
buffers Buffer Cache和cached Page Cache 磁盤緩存的大小
-buffers/cache 的內(nèi)存數(shù):used - buffers - cached
+buffers/cache 的內(nèi)存數(shù):free + buffers + cached
可用的memory=free memory+buffers+cached
有了這個(gè)基礎(chǔ)后,可以得知,我現(xiàn)在used為163MB,free為86,buffer和cached分別為10,94
那么我們來看看,如果我執(zhí)行復(fù)制文件,內(nèi)存會(huì)發(fā)生什么變化.
[root@server ~]# cp -r /etc ~/test/
[root@server ~]# free -m
? ? ? ? ? ? ? ? ? ? total???????used???????free?????shared????buffers?????cached
Mem:???????????249????????244??????????4??????????0??????????8 ? ? ? ? ? ? 174
-/+ buffers/cache:?????????62????????187
Swap:??????????511??????????0 ? ? ? ? ?511
在我命令執(zhí)行結(jié)束后,used為244MB,free為4MB,buffers為8MB,cached為174MB,天吶都被cached吃掉了.別緊張,這是為了提高文件讀取效率的做法.
為了提高磁盤存取效率, Linux做了一些精心的設(shè)計(jì), 除了對(duì)dentry進(jìn)行緩存(用于VFS,加速文件路徑名到inode的轉(zhuǎn)換), 還采取了兩種主要Cache方式：Buffer Cache和Page Cache。前者針對(duì)磁盤塊的讀寫，后者針對(duì)文件inode的讀寫。這些Cache有效縮短了 I/O系統(tǒng)調(diào)用(比如read,write,getdents)的時(shí)間。"
那么有人說過段時(shí)間,linux會(huì)自動(dòng)釋放掉所用的內(nèi)存,我們使用free再來試試,看看是否有釋放>?
[root@server test]# free -m
? ? ? ? ? ? ? ? ? ? total???????used???????free?????shared????buffers?????cached
Mem:???????????249????????244??????????5??????????0??????????8 ? ? ? ? ? ?174
-/+ buffers/cache:?????????61????????188
Swap:??????????511??????????0 ? ? ? ? ?511
MS沒有任何變化,那么我能否手動(dòng)釋放掉這些內(nèi)存呢???回答是可以的!
/proc是一個(gè)虛擬文件系統(tǒng),我們可以通過對(duì)它的讀寫操作做為與kernel實(shí)體間進(jìn)行通信的一種手段.也就是說可以通過修改/proc中的文件,來對(duì)當(dāng)前kernel的行為做出調(diào)整.那么我們可以通過調(diào)整/proc/sys/vm/drop_caches來釋放內(nèi)存.操作如下:
[root@server test]# cat /proc/sys/vm/drop_caches
0
首先,/proc/sys/vm/drop_caches的值,默認(rèn)為0
[root@server test]# sync
手動(dòng)執(zhí)行sync命令(描述:sync?命令運(yùn)行?sync?子例程。如果必須停止系統(tǒng)，則運(yùn)行?sync?命令以確保文件系統(tǒng)的完整性。sync?命令將所有未寫的系統(tǒng)緩沖區(qū)寫到磁盤中，包含已修改的 i-node、已延遲的塊 I/O 和讀寫映射文件)
[root@server test]# echo 3 > /proc/sys/vm/drop_caches
[root@server test]# cat /proc/sys/vm/drop_caches
3
將/proc/sys/vm/drop_caches值設(shè)為3
[root@server test]# free -m
? ? ? ? ? ? ? ? ? ?total???????used???????free?????shared????buffers?????cached
Mem:???????????249?????????66????????182??????????0??????????0 ? ? ? ? ? 11
-/+ buffers/cache:?????????55????????194
Swap:??????????511??????????0 ? ? ? ? ?511
再來運(yùn)行free命令,發(fā)現(xiàn)現(xiàn)在的used為66MB,free為182MB,buffers為0MB,cached為11MB.那么有效的釋放了buffer和cache.
有關(guān)/proc/sys/vm/drop_caches的用法在下面進(jìn)行了說明
/proc/sys/vm/drop_caches (since Linux 2.6.16)
??????????????Writing??to??this??file??causes the kernel to drop clean caches,
??????????????dentries and inodes from memory, causing that memory??to??become
??????????????free.
??????????????To??free??pagecache,??use??echo 1 > /proc/sys/vm/drop_caches; to
??????????????free dentries and inodes, use echo 2 > /proc/sys/vm/drop_caches;
??????????????to???free???pagecache,???dentries??and??inodes,??use??echo??3??>
??????????????/proc/sys/vm/drop_caches.
??????????????Because this is a non-destructive operation??and??dirty??objects
??????????????are not freeable, the user should run sync(8) first.
=========================================================================

?
buffer?與cache?的區(qū)別
A buffer is something that has yet to be "written" to disk. A cache is something that has been "read" from the disk and stored for later use.
?
更詳細(xì)的解釋參考：Difference Between Buffer and Cache
對(duì)于共享內(nèi)存（Shared memory），主要用于在UNIX?環(huán)境下不同進(jìn)程之間共享數(shù)據(jù)，是進(jìn)程間通信的一種方法，一般的應(yīng)用程序不會(huì)申請(qǐng)使用共享內(nèi)存，筆者也沒有去驗(yàn)證共享內(nèi)存對(duì)上面等式的影響。如果你有興趣，請(qǐng)參考：What is Shared Memory?
?
cache?和?buffer的區(qū)別：
Cache：高速緩存，是位于CPU與主內(nèi)存間的一種容量較小但速度很高的存儲(chǔ)器。由于CPU的速度遠(yuǎn)高于主內(nèi)存，CPU直接從內(nèi)存中存取數(shù)據(jù)要等待一定時(shí)間周期，Cache中保存著CPU剛用過或循環(huán)使用的一部分?jǐn)?shù)據(jù)，當(dāng)CPU再次使用該部分?jǐn)?shù)據(jù)時(shí)可從Cache中直接調(diào)用,這樣就減少了CPU的等待時(shí)間,提高了系統(tǒng)的效率。Cache又分為一級(jí)Cache(L1 Cache)和二級(jí)Cache(L2 Cache)，L1 Cache集成在CPU內(nèi)部，L2 Cache早期一般是焊在主板上,現(xiàn)在也都集成在CPU內(nèi)部，常見的容量有256KB或512KB L2 Cache。
Buffer：緩沖區(qū)，一個(gè)用于存儲(chǔ)速度不同步的設(shè)備或優(yōu)先級(jí)不同的設(shè)備之間傳輸數(shù)據(jù)的區(qū)域。通過緩沖區(qū)，可以使進(jìn)程之間的相互等待變少，從而使從速度慢的設(shè)備讀入數(shù)據(jù)時(shí)，速度快的設(shè)備的操作進(jìn)程不發(fā)生間斷。
?
Free中的buffer和cache：（它們都是占用內(nèi)存）：
buffer :?作為buffer cache的內(nèi)存，是塊設(shè)備的讀寫緩沖區(qū)
cache:?作為page cache的內(nèi)存,?文件系統(tǒng)的cache
如果?cache?的值很大，說明cache住的文件數(shù)很多。如果頻繁訪問到的文件都能被cache住，那么磁盤的讀IO bi會(huì)非常小。

==============================================================================================

cache是高速緩存，用于CPU和內(nèi)存之間的緩沖；
buffer是I/O緩存，用于內(nèi)存和硬盤的緩沖

cache最初用于cpu cache, 主要原因是cpu 與memory, 由于cpu快,memory跟不上,且有些值使用次數(shù)多,所以放入
cache中，主要目的是，重復(fù)使用, 并且一級(jí)二級(jí)物理cache速度快，
buffer　主要用于disk　與 memory，　主要是保護(hù)硬盤或減少網(wǎng)絡(luò)傳輸?shù)拇螖?shù)（內(nèi)存數(shù)據(jù)表現(xiàn)dataSet）．當(dāng)然也可以提高速度（不會(huì)立即寫入硬盤或直接從硬盤中讀出的數(shù)據(jù)馬上顯示），重復(fù)使用，最初最主要的目的是保護(hù)disk,
asp.net的cache有outputcahe與數(shù)據(jù)cache, 主要目的是　重復(fù)使用，提高速度，outputcache主要存儲(chǔ)Reader后的頁(yè)，一般是多次使用同一個(gè)HTML，建議不要varybyparam，不要存多version,
數(shù)據(jù)cache,如dataSet, dataTable, 等
@page buffer="true", 使用buffer，讓buffer滿后再顯示讀出或?qū)懭耄?c中文件輸出也是如此,主要目的是保護(hù)硬盤), 也可以提高下次的訪問速度.? ?在client browse端表現(xiàn)是: true是一次性顯示,要么不顯示, 中間等, false是一次顯示一些,?
這在網(wǎng)絡(luò)輸出也是如此表現(xiàn).
對(duì)于文件訪問c中默認(rèn)采用的是buffer = true, 這與asp.net一樣,?
相當(dāng)于Response.write();中當(dāng)buffer滿后輸出,以減少網(wǎng)絡(luò)的傳輸次數(shù)
<%@ OutputCache Duration="60" VaryByParam="none"%>, 是將asp.net生成的HTML緩存起來，在指定的時(shí)間內(nèi)不需要重新生成html， control.ascx.也有組件緩存(htmlCach)。 dataSet也是如此。DataCache,
cache和buffer都是緩沖區(qū)， 在翻譯上，cache翻譯成高速緩沖區(qū)要好一點(diǎn)(因?yàn)橹饕菫橄麓卧L問加速)， buffer翻譯成緩沖區(qū)好點(diǎn)。都是緩沖的作用，可目的有點(diǎn)不同，主要是理解，不需要太咬文嚼字.

cache 和 buffer的區(qū)別
1, Buffer是緩沖區(qū)
2, Cache 是高速緩存，分library cache; data dictionary cache; database buffer?cache
Buffer cache 緩沖區(qū)高速緩存，用于緩存從硬盤上讀取的數(shù)據(jù)，減少磁盤I/O.
3, buffer有共享SQL區(qū)和PL/SQL區(qū) , 數(shù)據(jù)庫(kù)緩沖區(qū)高速緩存有獨(dú)立的subcache
4, pool? ?是共享池 用于存儲(chǔ)最近執(zhí)行的語句等
5, cache:
A cache is a smaller, higher-speed component that is used to speed up the
access to commonly used data stored in a lower-speed, higher-capacity
component.? ?? ?? ?? ??
database buffer cache:
The database buffer cache is the portion of the SGA that holds copies of data
blocks
read from data files. All user processes concurrently (同時(shí)地,兼任地)connected
to the instance share access to the database buffer cache.
buffer cache就是以block為單位讀入寫出的。

緩存（cache）是把讀取過的數(shù)據(jù)保存起來，重新讀取時(shí)若命中（找到需要的數(shù)據(jù)）就不要去讀硬盤了，若沒有命中就讀硬盤。其中的數(shù)據(jù)會(huì)根據(jù)讀取頻率進(jìn)行組織，把最頻繁讀取的內(nèi)容放在最容易找到的位置，把不再讀的內(nèi)容不斷往后排，直至從中刪除。
緩沖（buffers）是根據(jù)磁盤的讀寫設(shè)計(jì)的，把分散的寫操作集中進(jìn)行，減少磁盤碎片和硬盤的反復(fù)尋道，從而提高系統(tǒng)性能。linux有一個(gè)守護(hù)進(jìn)程定期清空緩沖內(nèi)容（即寫如磁盤），也可以通過sync命令手動(dòng)清空緩沖。舉個(gè)例子吧：

我這里有一個(gè)ext2的U盤，我往里面cp一個(gè)3M的MP3，但U盤的燈沒有跳動(dòng)，過了一會(huì)兒（或者手動(dòng)輸入sync）U盤的燈
就跳動(dòng)起來了。卸載設(shè)備時(shí)會(huì)清空緩沖，所以有些時(shí)候卸載一個(gè)設(shè)備時(shí)要等上幾秒鐘。
修改/etc/sysctl.conf中的vm.swappiness右邊的數(shù)字可以在下次開機(jī)時(shí)調(diào)節(jié)swap使用策
略。該數(shù)字范圍是0～100，數(shù)字越大越傾向于使用swap。默認(rèn)為60，可以改一下試試。
-----------------------------------------
兩者都是RAM中的數(shù)據(jù)。簡(jiǎn)單來說，buffer是即將要被寫入磁盤的，而cache是被從磁盤中
讀出來的。
buffer是由各種進(jìn)程分配的，被用在如輸入隊(duì)列等方面，一個(gè)簡(jiǎn)單的例子如某個(gè)進(jìn)程要求
有多個(gè)字段讀入，在所有字段被讀入完整之前，進(jìn)程把先前讀入的字段放在buffer中保存
。
cache經(jīng)常被用在磁盤的I/O請(qǐng)求上，如果有多個(gè)進(jìn)程都要訪問某個(gè)文件，于是該文件便被
做成cache以方便下次被訪問，這樣可提供系統(tǒng)性能。
A buffer is something that has yet to be "written" to disk. A cache is
something that has been "read" from the disk and stored for later use.

更詳細(xì)的解釋參考：Difference Between Buffer and Cache

對(duì)于共享內(nèi)存（Shared memory），主要用于在UNIX 環(huán)境下不同進(jìn)程之間共享數(shù)據(jù)，
是進(jìn)程間通信的一種方法，一般的應(yīng)用程序不會(huì)申請(qǐng)使用共享內(nèi)存，筆者也沒有去驗(yàn)證共
享內(nèi)存對(duì)上面等式的影響。如果你有興趣，請(qǐng)參考：What is Shared Memory?
cache 和 buffer的區(qū)別：
Cache：高速緩存，是位于CPU與主內(nèi)存間的一種容量較小但速度很高的存儲(chǔ)器。由于
CPU的速度遠(yuǎn)高于主內(nèi)存，CPU直接從內(nèi)存中存取數(shù)據(jù)要等待一定時(shí)間周期， Cache中保存
著CPU剛用過或循環(huán)使用的一部分?jǐn)?shù)據(jù)，當(dāng)CPU再次使用該部分?jǐn)?shù)據(jù)時(shí)可從Cache中直接調(diào)
用,這樣就減少了CPU的等待時(shí)間,提高了系統(tǒng)的效率。Cache又分為一級(jí)Cache(L1 Cache)
和二級(jí)Cache(L2 Cache)，L1 Cache集成在CPU內(nèi)部，L2 Cache早期一般是焊在主板上,現(xiàn)
在也都集成在CPU內(nèi)部，常見的容量有256KB或512KB L2 Cache。
Buffer：緩沖區(qū)，一個(gè)用于存儲(chǔ)速度不同步的設(shè)備或優(yōu)先級(jí)不同的設(shè)備之間傳輸數(shù)據(jù)
的區(qū)域。通過緩沖區(qū)，可以使進(jìn)程之間的相互等待變少，從而使從速度慢的設(shè)備讀入數(shù)據(jù)
時(shí)，速度快的設(shè)備的操作進(jìn)程不發(fā)生間斷。
Free中的buffer和cache：（它們都是占用內(nèi)存）：
buffer : 作為buffer cache的內(nèi)存，是塊設(shè)備的讀寫緩沖區(qū)
cache: 作為page cache的內(nèi)存, 文件系統(tǒng)的cache
如果 cache 的值很大，說明cache住的文件數(shù)很多。如果頻繁訪問到的文件都能被
cache住，那么磁盤的讀IO bi會(huì)非常小。

===========================================

# sync
# echo 1 > /proc/sys/vm/drop_caches
???echo 2 > /proc/sys/vm/drop_caches
???echo 3 > /proc/sys/vm/drop_caches
cache釋放：
To free pagecache:
echo 1 > /proc/sys/vm/drop_caches
To free dentries and inodes:
echo 2 > /proc/sys/vm/drop_caches
To free pagecache, dentries and inodes:
echo 3 > /proc/sys/vm/drop_caches
說明，釋放前最好sync一下，防止丟數(shù)據(jù)。
因?yàn)長(zhǎng)INUX的內(nèi)核機(jī)制，一般情況下不需要特意去釋放已經(jīng)使用的cache。這些cache起來的內(nèi)容可以增加文件以及的讀寫速度。

?