1. 內(nèi)存溢出
內(nèi)存溢出 OOM (out of memory),是指程序在申請(qǐng)內(nèi)存時(shí),沒有足夠的內(nèi)存空間供其使用,出現(xiàn)out of memory;比如申請(qǐng)了一個(gè)int,但給它存了long才能存下的數(shù),那就是內(nèi)存溢出。
2. 內(nèi)存泄漏
內(nèi)存泄露 memory leak,是指程序在申請(qǐng)內(nèi)存后,無法釋放已申請(qǐng)的內(nèi)存空間,一次內(nèi)存泄露危害可以忽略,但內(nèi)存泄露堆積后果很嚴(yán)重,無論多少內(nèi)存,遲早會(huì)被占光。最終的結(jié)果就是導(dǎo)致OOM。
內(nèi)存泄漏是指你向系統(tǒng)申請(qǐng)分配內(nèi)存進(jìn)行使用(new),可是使用完了以后卻不歸還(delete),結(jié)果你申請(qǐng)到的那塊內(nèi)存你自己也不能再訪問(也許你把它的地址給弄丟了),而系統(tǒng)也不能再次將它分配給需要的程序。
3. 造成內(nèi)存泄露常見的三種情況
1,指針重新賦值
2,錯(cuò)誤的內(nèi)存釋放
3,返回值的不正確處理
3.1 指針重新賦值
如下代碼:
char * np = (char *)malloc(10);
其中,指針變量 p 和 np 分別被分配了 10 個(gè)字節(jié)的內(nèi)存。
如果程序需要執(zhí)行如下賦值語句:
這時(shí)候,指針變量 p 被 np 指針重新賦值,其結(jié)果是 p 以前所指向的內(nèi)存位置變成了孤立的內(nèi)存。它無法釋放,因?yàn)闆]有指向該位置的引用,從而導(dǎo)致 10 字節(jié)的內(nèi)存泄漏。
因此,在對(duì)指針賦值前,一定確保內(nèi)存位置不會(huì)變?yōu)楣铝⒌摹?/p>
類似的情況,連續(xù)重復(fù)new的情況也是類似:
p = new int...;//錯(cuò)誤
3.2 錯(cuò)誤的內(nèi)存釋放
假設(shè)有一個(gè)指針變量 p,它指向一個(gè) 10 字節(jié)的內(nèi)存位置。該內(nèi)存位置的第三個(gè)字節(jié)又指向某個(gè)動(dòng)態(tài)分配的 10 字節(jié)的內(nèi)存位置。
如果程序需要執(zhí)行如下賦值語句時(shí):
很顯然,如果通過調(diào)用 free 來釋放指針 p,則 np 指針也會(huì)因此而變得無效。np 以前所指向的內(nèi)存位置也無法釋放,因?yàn)橐呀?jīng)沒有指向該位置的指針。換句話說,np 所指向的內(nèi)存位置變?yōu)楣铝⒌?,從而?dǎo)致內(nèi)存泄漏。
因此,每當(dāng)釋放結(jié)構(gòu)化的元素,而該元素又包含指向動(dòng)態(tài)分配的內(nèi)存位置的指針時(shí),應(yīng)首先遍歷子內(nèi)存位置(如本示例中的 np),并從那里開始釋放,然后再遍歷回父節(jié)點(diǎn),如下面的代碼所示:
free(p);
3.3 返回值的不正確處理
有時(shí)候,某些函數(shù)會(huì)返回對(duì)動(dòng)態(tài)分配的內(nèi)存的引用,如下面的示例代碼所示:
return (char *)malloc(10);
}
void f1(){
f();
}
函數(shù) f1 中對(duì) f 函數(shù)的調(diào)用并未處理該內(nèi)存位置的返回地址,其結(jié)果將導(dǎo)致 f 函數(shù)所分配的 10 個(gè)字節(jié)的塊丟失,并導(dǎo)致內(nèi)存泄漏。
4 在內(nèi)存分配后忘記使用 free 進(jìn)行釋放
4. 如何避免內(nèi)存泄露?
- 確保沒有在訪問空指針。
- 每個(gè)內(nèi)存分配函數(shù)都應(yīng)該有一個(gè) free 函數(shù)與之對(duì)應(yīng),alloca 函數(shù)除外。
- 每次分配內(nèi)存之后都應(yīng)該及時(shí)進(jìn)行初始化,可以結(jié)合 memset 函數(shù)進(jìn)行初始化,calloc 函數(shù)除外。
- 每當(dāng)向指針寫入值時(shí),都要確保對(duì)可用字節(jié)數(shù)和所寫入的字節(jié)數(shù)進(jìn)行交叉核對(duì)。
- 在對(duì)指針賦值前,一定要確保沒有內(nèi)存位置會(huì)變?yōu)楣铝⒌摹?/li>
- 每當(dāng)釋放結(jié)構(gòu)化的元素(而該元素又包含指向動(dòng)態(tài)分配的內(nèi)存位置的指針)時(shí),都應(yīng)先遍歷子內(nèi)存位置并從那里開始釋放,然后再遍歷回父節(jié)點(diǎn)。
- 始終正確處理返回動(dòng)態(tài)分配的內(nèi)存引用的函數(shù)返回值。
5.定位內(nèi)存泄漏(valgrind)(重點(diǎn))
5.1、基本概念
Valgrind是一個(gè)GPL的軟件,用于Linux(For x86, amd64 and ppc32)程序的內(nèi)存調(diào)試和代碼剖析。你可以在它的環(huán)境中運(yùn)行你的程序來監(jiān)視內(nèi)存的使用情況,比如C 語言中的malloc和free或者 C++中的new和 delete。使用Valgrind的工具包,你可以自動(dòng)的檢測(cè)許多內(nèi)存管理和線程的bug,避免花費(fèi)太多的時(shí)間在bug尋找上,使得你的程序更加穩(wěn)固。
安裝Valgrind
http://valgrind.org/downloads/valgrind-3.12.0.tar.bz2
valgrind安裝:
1. tar -jxvf valgrind-3.12.0.tar.bz2
2. cd valgrind-3.12.0
3. ./configure
4. make
5. sudo make install
應(yīng)用環(huán)境:Linux
編程語言:C/C++
使用方法:編譯時(shí)加上-g選項(xiàng),如 gcc -g filename.c -o filename,使用如下命令檢測(cè)內(nèi)存使用情況:
valgrind --tool=memcheck --leak-check=full ./test
valgrind --tool=memcheck --leak-check=full --show-reachable=yes --trace-children=yes ./filename
其中--leak-check=full指的是完全檢查內(nèi)存泄漏,--show-reachable=yes是顯示內(nèi)存泄漏的地點(diǎn),--trace-children=yes是跟入子進(jìn)程。
如果您的程序是會(huì)正常退出的程序,那么當(dāng)程序退出的時(shí)候valgrind自然會(huì)輸出內(nèi)存泄漏的信息。如果您的程序是個(gè)守護(hù)進(jìn)程,那么也不要緊,我們 只要在別的終端下殺死m(xù)emcheck進(jìn)程(因?yàn)関algrind默認(rèn)使用memcheck工具,就是默認(rèn)參數(shù)--tools=memcheck)
參數(shù)選擇
memcheck ------> 這是valgrind應(yīng)用最廣泛的工具,一個(gè)重量級(jí)的內(nèi)存檢查器,能夠發(fā)現(xiàn)開發(fā)中絕大多數(shù)內(nèi)存錯(cuò)誤使用情況,比如:使用未初始化的內(nèi)存,使用已經(jīng)釋放了的內(nèi)存,內(nèi)存訪問越界等。
callgrind ------> 它主要用來檢查程序中函數(shù)調(diào)用過程中出現(xiàn)的問題。
cachegrind ------> 它主要用來檢查程序中緩存使用出現(xiàn)的問題。
helgrind ------> 它主要用來檢查多線程程序中出現(xiàn)的競爭問題。
massif ------> 它主要用來檢查程序中堆棧使用中出現(xiàn)的問題。
extension ------> 可以利用core提供的功能,自己編寫特定的內(nèi)存調(diào)試工具
-h –help 顯示幫助信息。
-version 顯示valgrind內(nèi)核的版本,每個(gè)工具都有各自的版本。
-q –quiet 安靜地運(yùn)行,只打印錯(cuò)誤信息。
-v –verbose 更詳細(xì)的信息, 增加錯(cuò)誤數(shù)統(tǒng)計(jì)。
-trace-children=no|yes 跟蹤子線程? [default: no]
-track-fds=no|yes 跟蹤打開的文件描述?[default: no]
-time-stamp=no|yes 增加時(shí)間戳到LOG信息? [default: no]
-log-fd= 輸出LOG到描述符文件 [2=stderr]
-log-file= 將輸出的信息寫入到filename.PID的文件里,PID是運(yùn)行程序的進(jìn)行ID
-log-file-exactly= 輸出LOG信息到 file
-log-file-qualifier= 取得環(huán)境變量的值來做為輸出信息的文件名。[none]
-log-socket=ipaddr:port 輸出LOG到socket ,ipaddr:port
LOG信息輸出
-xml=yes 將信息以xml格式輸出,只有memcheck可用
-num-callers= show callers in stack traces [12]
-error-limit=no|yes 如果太多錯(cuò)誤,則停止顯示新錯(cuò)誤? [yes]
-error-exitcode= 如果發(fā)現(xiàn)錯(cuò)誤則返回錯(cuò)誤代碼 [0=disable]
-db-attach=no|yes 當(dāng)出現(xiàn)錯(cuò)誤,valgrind會(huì)自動(dòng)啟動(dòng)調(diào)試器gdb。[no]
-db-command= 啟動(dòng)調(diào)試器的命令行選項(xiàng)[gdb -nw %f %p]
設(shè)計(jì)思路:根據(jù)軟件的內(nèi)存操作維護(hù)一個(gè)有效地址空間表和無效地址空間表(進(jìn)程的地址空間)
5.2、多個(gè)工具
1、Memcheck
最常用的工具,用來檢測(cè)程序中出現(xiàn)的內(nèi)存問題,所有對(duì)內(nèi)存的讀寫都會(huì)被檢測(cè)到,一切對(duì)malloc()/free()/new/delete的調(diào)用都會(huì)被捕獲。所以,Memcheck 工具主要檢查下面的程序錯(cuò)誤
能夠檢測(cè):
- 使用未初始化的內(nèi)存 (Use of uninitialised memory)
- 使用已經(jīng)釋放了的內(nèi)存 (Reading/writing memory after it has been free’d)
- 使用超過 malloc分配的內(nèi)存空間(Reading/writing off the end of malloc’d blocks)
- 對(duì)堆棧的非法訪問 (Reading/writing inappropriate areas on the stack)
- 申請(qǐng)的空間是否有釋放 (Memory leaks – where pointers to malloc’d blocks are lost forever)
- malloc/free/new/delete申請(qǐng)和釋放內(nèi)存的匹配(Mismatched use of malloc/new/new [] vs free/delete/delete [])
- src和dst的重疊(Overlapping src and dst pointers in memcpy() and related functions)
- 重復(fù)free
Callgrind
和gprof類似的分析工具,但它對(duì)程序的運(yùn)行觀察更是入微,能給我們提供更多的信息。和gprof不同,它不需要在編譯源代碼時(shí)附加特殊選項(xiàng),但加上調(diào)試選項(xiàng)是推薦的。Callgrind收集程序運(yùn)行時(shí)的一些數(shù)據(jù),建立函數(shù)調(diào)用關(guān)系圖,還可以有選擇地進(jìn)行cache模擬。在運(yùn)行結(jié)束時(shí),它會(huì)把分析數(shù)據(jù)寫入一個(gè)文件。callgrind_annotate可以把這個(gè)文件的內(nèi)容轉(zhuǎn)化成可讀的形式。
Cachegrind
Cache分析器,它模擬CPU中的一級(jí)緩存I1,Dl和二級(jí)緩存,能夠精確地指出程序中cache的丟失和命中。如果需要,它還能夠?yàn)槲覀兲峁ヽache丟失次數(shù),內(nèi)存引用次數(shù),以及每行代碼,每個(gè)函數(shù),每個(gè)模塊,整個(gè)程序產(chǎn)生的指令數(shù)。這對(duì)優(yōu)化程序有很大的幫助。
Helgrind
它主要用來檢查多線程程序中出現(xiàn)的競爭問題。Helgrind尋找內(nèi)存中被多個(gè)線程訪問,而又沒有一貫加鎖的區(qū)域,這些區(qū)域往往是線程之間失去同步的地方,而且會(huì)導(dǎo)致難以發(fā)掘的錯(cuò)誤。Helgrind實(shí)現(xiàn)了名為“Eraser”的競爭檢測(cè)算法,并做了進(jìn)一步改進(jìn),減少了報(bào)告錯(cuò)誤的次數(shù)。不過,Helgrind仍然處于實(shí)驗(yàn)階段。
Massif
堆棧分析器,它能測(cè)量程序在堆棧中使用了多少內(nèi)存,告訴我們堆塊,堆管理塊和棧的大小。Massif能幫助我們減少內(nèi)存的使用,在帶有虛擬內(nèi)存的現(xiàn)代系統(tǒng)中,它還能夠加速我們程序的運(yùn)行,減少程序停留在交換區(qū)中的幾率。
5.3、使用原理
Memcheck 能夠檢測(cè)出內(nèi)存問題,關(guān)鍵在于其建立了兩個(gè)全局表。
1、Valid-Value 表:
對(duì)于進(jìn)程的整個(gè)地址空間中的每一個(gè)字節(jié)(byte),都有與之對(duì)應(yīng)的 8 個(gè) bits;對(duì)于 CPU 的每個(gè)寄存器,也有一個(gè)與之對(duì)應(yīng)的 bit 向量。這些 bits 負(fù)責(zé)記錄該字節(jié)或者寄存器值是否具有有效的、已初始化的值。
2、Valid-Address 表
對(duì)于進(jìn)程整個(gè)地址空間中的每一個(gè)字節(jié)(byte),還有與之對(duì)應(yīng)的 1 個(gè) bit,負(fù)責(zé)記錄該地址是否能夠被讀寫。
檢測(cè)原理:
- 當(dāng)要讀寫內(nèi)存中某個(gè)字節(jié)時(shí),首先檢查這個(gè)字節(jié)對(duì)應(yīng)的 A bit。如果該A bit顯示該位置是無效位置,memcheck 則報(bào)告讀寫錯(cuò)誤。
- 內(nèi)核(core)類似于一個(gè)虛擬的 CPU 環(huán)境,這樣當(dāng)內(nèi)存中的某個(gè)字節(jié)被加載到真實(shí)的 CPU 中時(shí),該字節(jié)對(duì)應(yīng)的 V bit也被加載到虛擬的 CPU 環(huán)境中。一旦寄存器中的值,被用來產(chǎn)生內(nèi)存地址,或者該值能夠影響程序輸出,則 memcheck 會(huì)檢查對(duì)應(yīng)的V bits,如果該值尚未初始化,則會(huì)報(bào)告使用未初始化內(nèi)存錯(cuò)誤。
5.4、具體使用
- 使用未初始化的內(nèi)存(使用野指針)
這里我們定義了一個(gè)指針p,但并未給他開辟空間,即他是一個(gè)野指針,但我們卻使用它了
Valgrind檢測(cè)出我們程序使用了未初始化的變量,但并未檢測(cè)出內(nèi)存泄漏。
2.在內(nèi)存被釋放后進(jìn)行讀/寫(使用野指針)
p所指向的內(nèi)存被釋放了,p變成了野指針,但是我們卻繼續(xù)使用這片內(nèi)存。
Valgrind檢測(cè)出我們使用了已經(jīng)free掉的內(nèi)存,并給出這片內(nèi)存是哪里分配哪里釋放的。
3.從已分配內(nèi)存塊的尾部進(jìn)行讀/寫(動(dòng)態(tài)內(nèi)存越界)
我們動(dòng)態(tài)地分配了一段數(shù)組,但我們?cè)谠L問個(gè)數(shù)組時(shí)發(fā)生了越界讀寫,程序crash掉。
Valgrind檢測(cè)出越界的位置。
注意:Valgrind不檢查靜態(tài)分配數(shù)組的使用情況!所以對(duì)靜態(tài)分配的數(shù)組,Valgrind表示無能為力!比如下面的例子,程序crash掉,我們卻不知道為什么。
4.內(nèi)存泄漏
內(nèi)存泄漏的原因在于沒有成對(duì)地使用malloc/free和new/delete,比如下面的例子。
Valgrind會(huì)給出程序中malloc和free的出現(xiàn)次數(shù)以判斷是否發(fā)生內(nèi)存泄漏,比如對(duì)上面的程序運(yùn)行memcheck,Valgrind的記錄顯示上面的程序用了1次malloc,卻調(diào)用了0次free,明顯發(fā)生了內(nèi)存泄漏!
上面提示了我們可以使用–leak-check=full進(jìn)一步獲取內(nèi)存泄漏的信息,比如malloc和free的具體行號(hào)。
- 不匹配地使用malloc/new/new[] 和 free/delete/delete[]
正常使用new/delete和malloc/free是這樣子的:
而不匹配地使用malloc/new/new[] 和 free/delete/delete[]則會(huì)被提示mismacth:
6.兩次釋放內(nèi)存
double free的情況同樣是根據(jù)malloc/free的匹配對(duì)數(shù)來體現(xiàn)的,比如free多了一次,Valgrind也會(huì)提示。
-
內(nèi)存
+關(guān)注
關(guān)注
8文章
2942瀏覽量
73728 -
程序
+關(guān)注
關(guān)注
115文章
3743瀏覽量
80661 -
函數(shù)
+關(guān)注
關(guān)注
3文章
4256瀏覽量
62223 -
C 語言
+關(guān)注
關(guān)注
0文章
18瀏覽量
14215
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論