嵌入式軟件找bug的常見方法

轉自?| 嵌入式ARM?

在嵌入式軟件開發(fā)過程中，一般來說，花在測試比花在編碼的時間要多很多，通常為3:1（甚至更多）。這個比例隨著你的編程和測試水平的提高而不斷下降，但不論怎樣，軟件測試對一般人來講很重要。

很多年前，一位開發(fā)人員為了在對嵌入式有更深層次的理解，詢問了這樣的一個問題：我怎么才能知道并懂得我的系統(tǒng)到底在干些什么呢？

面對這個問題有些吃驚，因為在當時沒有人這么問過，而同時代的嵌入式開發(fā)人員問的最多的大都圍繞“我怎么才能使程序跑得更快”、“什么編譯器最好”等問題。

面對這個不同尋常卻異乎成熟的問題，可能很多人都不知道怎么辦，下面就來講講軟件測試找bug常見方法和秘訣。

1、懂得使用工具

通常嵌入式系統(tǒng)對可靠性的要求比較高。嵌入式系統(tǒng)安全性的失效可能會導致災難性的后果，即使是非安全性系統(tǒng)，由于大批量生產(chǎn)也會導致嚴重的經(jīng)濟損失。這就要求對嵌入式系統(tǒng)，包括嵌入式軟件進行嚴格的測試、確認和驗證。隨著越來越多的領域使用軟件和微處理器控制各種嵌入式設備，對日益復雜的嵌入式軟件進行快速有效的測試愈加顯得重要。

就像修車需要工具一樣，好的程序員應該能夠熟練運用各種軟件工具。不同的工具，有不同的使用范圍，有不同的功能。使用這些工具，你可以看到你的系統(tǒng)在干些什么，它又占用什么資源，它到底和哪些外界的東西打交道。讓你郁悶好幾天的問題可能通過某個工具就能輕松搞定，可惜你就是不知道。

那么為什么那么多的人總是在折騰個半死之后才想到要用測試工具呢？原因很多，主要有兩個：

一個是害怕；

另一個是惰性；

害怕是因為加入測試工具或測試模塊到代碼需要技巧同時有可能引入新的錯誤，所以他們總喜歡寄希望于通過不斷地修改重編譯代碼來消除bug，結果卻無濟于事。

懶惰是因為他們習慣了使用printf之類的簡單測試手段。

下面來介紹一些嵌入式常用的測試工具

(1)、源碼級調(diào)試器[Source-levelDebugger]

這種調(diào)試器一般提供單步或多步調(diào)試、斷點設置、內(nèi)存檢測、變量查看等功能，是嵌入式調(diào)試最根本有效的調(diào)試方法。比如VxWorksTornadoII提供的gdb就屬于這一種。

(2)、簡單實用的打印顯示工具?[printf]

printf或其它類似的打印顯示工具估計是最靈活最簡單的調(diào)試工具。打印代碼執(zhí)行過程中的各種變量可以讓你知道代碼執(zhí)行的情況。但是，printf對正常的代碼執(zhí)行干擾比較大（一般printf占用CPU比較長的時間），需要慎重使用，最好設置打印開關來控制打印。

(3)、ICE或JTAG調(diào)試器[In- circuitEmulator]

ICE是用來仿真CPU核心的設備，它可以在不干擾運算器的正常運行情況下，實時的檢測CPU的內(nèi)部工作情況。像桌面調(diào)試軟件所提供的：復雜的條件斷點、先進的實時跟蹤、性能分析和端口分析這些功能，它也都能提供。ICE一般都有一個比較特殊的CPU，稱為外合（bond-out）CPU.這是一種被打開了封裝的CPU，并且通過特殊的連接，可以訪問到CPU的內(nèi)部信號，而這些信號，在CPU被封裝時，是沒法 “看到”的。當和工作站上強大的調(diào)試軟件聯(lián)合使用時，ICE就能提供你所能找到的最全面的調(diào)試功能。但ICE同樣有一些缺點：昂貴；不能全速工作；同樣，并不是所有的CPU都可以作為外合CPU的，從另一個角度說，這些外合CPU也不大可能及時的被新出的CPU所更換。JTAG（JointTestActionGroup）雖然它最初開發(fā)出來是為了監(jiān)測IC和電路連接，但是這種串行接口擴展了用途，包括對調(diào)試的支持。

(4)、ROM監(jiān)視器?[ROMMonitor]

ROM監(jiān)控器是一小程序，駐留在嵌入系統(tǒng)ROM中，通過串行的或網(wǎng)絡的連接和運行在工作站上的調(diào)試軟件通信。這是一種便宜的方式，當然也是最低端的技術。它除了要求一個通信端口和少量的內(nèi)存空間外，不需要其它任何專門的硬件。

提供了如下功能：下載代碼、運行控制、斷點、單步步進、以及觀察、修改寄存器和內(nèi)存。因為ROM監(jiān)控器是操作軟件的一部分，只有當你的應用程序運行時，它才會工作。如果你想檢查CPU和應用程序的狀態(tài)，你就必須停下應用程序，再次進入ROM監(jiān)控器。

(5)、Data監(jiān)視器?[DataMonitor]

這種監(jiān)視器在不停止CPU運行的情況下不僅可以顯示指定變量內(nèi)容，還可以收集并以圖形形式顯示各個變量的變化過程。

(6)、OS監(jiān)視器?[OperatingSystemMonitor]

操作系統(tǒng)監(jiān)視器可以顯示諸如任務切換、信號量收發(fā)、中斷等事件。一方面，這些監(jiān)視器能夠為你呈現(xiàn)事件之間的關系和時間聯(lián)系；另一方面，還可以提供對信號量優(yōu)先級反轉、死鎖和中斷延時等問題的診斷。

(7)、性能分析工具?[Profiler]

可以用來測試CPU到底耗在哪里。profiler工具可以讓你知道系統(tǒng)的瓶頸在哪里、CPU的使用率以及需要優(yōu)化的地方。

(8)、內(nèi)存測試工具?[MemoryTeseter]

可以找到內(nèi)存使用的問題所在，比如內(nèi)存泄露、內(nèi)存碎片、內(nèi)存崩潰等問題。如果發(fā)現(xiàn)系統(tǒng)出現(xiàn)一些不可預知的或間歇性的問題，就應該使用內(nèi)存測試工具測測看。

(8)、運行跟蹤器?[ExecutionTracer]

可以顯示CPU執(zhí)行了哪些函數(shù)、誰在調(diào)用、參數(shù)是什么、何時調(diào)用等情況。這種工具主要用于測試代碼邏輯，可以在大量的事件中發(fā)現(xiàn)異常。

(9)、覆蓋工具[CoverageTester]

主要顯示CPU具體執(zhí)行了哪些代碼，并讓你知道那些代碼分支沒有被執(zhí)行到哪里。這樣有助于提高代碼質(zhì)量并消除無用代碼。

(10)、GUI測試工具?[GUITester]

很多嵌入式應用帶有某種形式的圖形用戶界面進行交互，有些系統(tǒng)性能測試是根據(jù)用戶輸入響應時間進行的。GUI測試工具可以作為腳本工具有開發(fā)環(huán)境中運行測試用例，其功能包括對操作的記錄和回放、抓取屏幕顯示供以后分析和比較、設置和管理測試過程（Rational 公司的robot和Mercury的Loadrunner工具是杰出的代表）。

很多嵌入式設備沒有GUI，但常?？梢詫η度胧皆O備進行插裝來運行GUI測試腳本，雖然這種方式可能要求對被測代碼進行更改，但是節(jié)省了功能測試和回歸測試的時間。

(11)、自制工具?[Home-madetester]

在嵌入式應用中，有時候為了特定的目的，需要自行編寫一些工具來達到某種測試目的。本人曾經(jīng)編寫的視頻流錄顯工具在測試視頻會議數(shù)據(jù)流向和變化上幫了大忙，幫公司找到了幾個隱藏很深的bug。

2、盡早發(fā)現(xiàn)內(nèi)存問題

內(nèi)存問題危害很大，不容易排查，主要有三種類型：內(nèi)存泄露、內(nèi)存碎片和內(nèi)存崩潰。對于內(nèi)存問題態(tài)度必須要明確，那就是早發(fā)現(xiàn)早“治療”。在軟件設計中，內(nèi)存泄露的“名氣”最大，主要由于不斷分配的內(nèi)存無法及時地被釋放，久而久之，系統(tǒng)的內(nèi)存耗盡。

即使細心的編程老手有時后也會遭遇內(nèi)存泄露問題。有測試過內(nèi)存泄露的朋友估計都有深刻地體驗，那就是內(nèi)存泄露問題一般隱藏很深，很難通過代碼閱讀來發(fā)現(xiàn)。有些內(nèi)存泄露甚至可能出現(xiàn)在庫當中。有可能這本身是庫中的bug，也有可能是因為程序員沒有正確理解它們的接口說明文檔造成錯用。

在很多時候，大多數(shù)的內(nèi)存泄露問題無法探測，但可能表現(xiàn)為隨機的故障。程序員們往往會把這種現(xiàn)象怪罪于硬件問題。如果用戶對系統(tǒng)穩(wěn)定性不是很高，那么重啟系統(tǒng)問題也不大；但，如果用戶對系統(tǒng)穩(wěn)定很高，那么這種故障就有可能使用戶對產(chǎn)品失去信心，同時也意味著你的項目是個失敗的項目。

由于內(nèi)存泄露危害巨大，現(xiàn)在已經(jīng)有許多工具來解決這個問題。這些工具通過查找沒有引用或重復使用的代碼塊、垃圾內(nèi)存收集、庫跟蹤等技術來發(fā)現(xiàn)內(nèi)存泄露的問題。每個工具都有利有弊，不過總的來說，用要比不用好?？傊撠煹拈_發(fā)人員應該去測試內(nèi)存泄露的問題，做到防患于未然。

內(nèi)存碎片比內(nèi)存泄露隱藏還要深。隨著內(nèi)存的不斷分配并釋放，大塊內(nèi)存不斷分解為小塊內(nèi)存，從而形成碎片，久而久之，當需要申請大塊內(nèi)存是，有可能就會失敗。如果系統(tǒng)內(nèi)存夠大，那么堅持的時間會長一些，但最終還是逃不出分配失敗的厄運。在使用動態(tài)分配的系統(tǒng)中，內(nèi)存碎片經(jīng)常發(fā)生。

目前，解決這個問題最效的方法就是使用工具通過顯示系統(tǒng)中內(nèi)存的使用情況來發(fā)現(xiàn)誰是導致內(nèi)存碎片的罪魁禍首，然后改進相應的部分。由于動態(tài)內(nèi)存管理的種種問題，在嵌入式應用中，很多公司干脆就禁用malloc/free的以絕后患。

內(nèi)存崩潰是內(nèi)存使用最嚴重的結果，主要原因有數(shù)組訪問越界、寫已經(jīng)釋放的內(nèi)存、指針計算錯誤、訪問堆棧地址越界等等。這種內(nèi)存崩潰造成系統(tǒng)故障是隨機的，而且很難查找，目前提供用于排查的工具也很少。

總之，如果要使用內(nèi)存管理單元的話，必須要小心，并嚴格遵守它們的使用規(guī)則，比如誰分配誰釋放。

3、深入理解代碼優(yōu)化

講到系統(tǒng)穩(wěn)定性，人們更多地會想到實時性和速度，因為代碼效率對嵌入式系統(tǒng)來說太重要了。知道怎么優(yōu)化代碼是每個嵌入式軟件開發(fā)人員必須具備的技能。就像女孩子減肥一樣，起碼知道她哪個地方最需要減，才能去購買減肥藥或器材來減掉它。

可見，代碼優(yōu)化的前提是找到真正需要優(yōu)化的地方，然后對癥下藥，優(yōu)化相應部分的代碼。前面提到的profile（性能分析工具，一些功能齊全IDE都提供這種內(nèi)置的工具）能夠記錄各種情況比如各個任務的CPU占用率、各個任務的優(yōu)先級是否分配妥當、某個數(shù)據(jù)被拷貝了多少次、訪問磁盤多少次、是否調(diào)用了網(wǎng)絡收發(fā)的程序、測試代碼是否已經(jīng)關閉等等。

但是，profile工具在分析實時系統(tǒng)性能方面還是有不夠的地方。一方面，人們使用profile工具往往是在系統(tǒng)出現(xiàn)問題即CPU耗盡之后，而 profile工具本身對CPU占用較大，所以profile對這種情況很可能不起作用。根據(jù)Heisenberg效應，任何測試手段或多或少都會改變系統(tǒng)運行，這個對profiler同樣適用！

總之，提高運行效率的前提是你必須要知道CPU到底干了些什么干的怎么樣。

4、不要讓自己大海撈針

大海撈針只是對調(diào)試的一種生動比喻。經(jīng)常聽到組里有人對自己正在調(diào)試的代碼說shit！可以理解，因為代碼不是他寫的，他有足夠的理由去 shitbug百出的代碼，只要他自己不要寫出這種代碼，否則有一天同組的其它人可能同樣會shit他寫的代碼。為何會有大海撈針呢？肯定是有人把針掉到海里咯；那針為何會掉在海里呢？肯定是有人不小心或草率唄。

所以當你在抱怨針那么難找的時候，你是否想過是你自己草率地丟掉的。同樣，當你調(diào)試個半死的時候，你是否想過你要好好反省一下當初為了尋求捷徑可能沒有嚴格地遵守好的編碼設計規(guī)范、沒有檢測一些假設條件或算法的正確性、沒有將一些可能存在問題的代碼打上記號呢？

關于如何寫高質(zhì)量請參考林銳的《高質(zhì)量c++/c編程指南》或《關于C的0x8本“經(jīng)書》。

如果你確實已經(jīng)把針掉在海里是，為了防止在找到之前刺到自己，你必須要做一些防范工作，比如戴上安全手套。同樣，為了盡能地暴露和捕捉問題根源，我們可以設計比較全面的錯誤跟蹤代碼。

怎么來做呢？

盡可能對每個函數(shù)調(diào)用失敗作出處理，盡可能檢測每個參數(shù)輸入輸出的有效性，包括指針以及檢測是否過多或過少地調(diào)用某個過程。錯誤跟蹤能夠讓你知道你大概把針掉在哪個位置。

5、重現(xiàn)并隔離問題

如果你不是把針掉在大海了，而是掉在草堆里，那要好辦些。因為至少我們可以把草堆分成很多塊，一塊一塊的找。對于模塊獨立的大型項目，使用隔離方法往往是對付那些隱藏極深bug的最后方法。

如果問題的出現(xiàn)是間歇性的，我們有必要設法去重現(xiàn)它并記錄使其重現(xiàn)的整個過程以備在下一次可以利用這些條件去重現(xiàn)問題。如果你確信可以使用記錄的那些條件去重現(xiàn)問題，那么我們就可以著手去隔離問題。

怎么隔離呢？

我們可以用#ifdef把一些可能和問題無關的代碼關閉，把系統(tǒng)最小化到仍能夠重現(xiàn)問題的地步。如果還是無法定位問題所在，那么有必要打開“工具箱”了。可以試著用ICE或數(shù)據(jù)監(jiān)視器去查看某個可疑變量的變化；可以使用跟蹤工具獲得函數(shù)調(diào)用的情況包括參數(shù)的傳遞；檢查內(nèi)存是否崩潰以及堆棧溢出的問題。

6、以退為進

獵人為了不使自己在森林里迷路，他常常會在樹木上流下一些標記，以備自己將來有一天迷路時可以根據(jù)這些標記找到出路。對過去代碼的修改進行跟蹤記錄對將來出現(xiàn)問題之后的調(diào)試很有幫助。

假如有一天，你最近一次修改的程序跑了很久之后忽然死掉了，那么你這時的第一反映就是我到底改動了些什么呢，因為上次修改之前是好的。那么如何檢測這次相對于上次的修改呢？沒錯，代碼控制系統(tǒng)SCS或稱版本控制系統(tǒng) VCS可以很好地解決這個問題。

將上個版本checkin下來后和當前測試版本比較。比較的工 具可以是SCS/VCS/CVS自帶的diff工具或其它功能更強的比較工具，比如BeyondCompare和 ExamDiff。通過比較，記錄所有改動的代碼，分析所有可能導致問題的可疑代碼。

7、確定測試的完整性

你怎么知道你的測試有多全面呢？覆蓋測試（coveragetesting）可以回答這個問題。覆蓋測試工具可以告訴你CPU到底執(zhí)行了哪些代碼。好的覆蓋工具通常可以告訴你大概20%到40% 代碼沒有問題，而其余的可能存在bug.覆蓋工具有不同的測試級別，用戶可以根據(jù)自己的需要選擇某個級別。

即使你很確信你的單元測試已經(jīng)很全面并且沒有 deadcode，覆蓋工具還是可以為你指出一些潛在的問題。

看下面的代碼：

if(i>=0&& (almostAlwaysZero==0||(last=i)))

如果almostAlwaysZero為非０，那么last=i賦值語句就被跳過，這可能不是你所期望的。

這種問題通過覆蓋工具的條件測試功能可以輕松得被發(fā)現(xiàn)?？傊采w測試對于提高代碼質(zhì)量很有幫助。

8、提高代碼質(zhì)量意味著節(jié)省時間

有研究表明軟件開發(fā)的時間超過80%被用在下面幾個方面：調(diào)試自己的代碼（單元測試）。調(diào)試自己和其他相關的代碼（模塊間測試）。調(diào)試整個系統(tǒng)（系統(tǒng)測試），更糟糕的是你可能需要花費10-200倍的時間來找一個 bug，而這個bug在開始的時候可能很容易就能找到。

一個小bug可能讓你付出巨大的代價，即使這個bug對整個系統(tǒng)的性能沒有太大的影響，但很可能會影響讓那些你可以看得到的部分。所以我們必須要養(yǎng)成良好的編碼和測試手段以求更高的代碼質(zhì)量，以便縮短調(diào)試的代碼。

9、發(fā)現(xiàn)它，分析它，解決它

這世界沒有萬能的膏藥。profile再強大也有力不從心的時候；內(nèi)存監(jiān)視器再好，也有無法發(fā)現(xiàn)的時候；覆蓋工具再好用，也有不能覆蓋的地方。

一些隱藏很深的問題即使用盡所有工具也有可能無法查到其根源，這時我們能做的就是通過這些問題所表現(xiàn)出來的外在現(xiàn)象或一些數(shù)據(jù)輸出來發(fā)現(xiàn)其中的規(guī)律或異常。一旦發(fā)現(xiàn)任何異常，一定要深入地理解并回溯其根源，直到解決為止。

10、請利用初學者思維

有人這樣說過：“有些事情在初學者的腦子里可能有各種各樣的情況，可在專家的頭腦里可能就很單一”。有時候，有些簡單的問題會被想得很復雜，有些簡單的系統(tǒng)被設計得很復雜，就是由于你的“專家思維”。當你被問題難住時，關掉電腦，出去走走，把你的問題和你的朋友甚至你的小狗說說，或許他們可以給你意想不到的啟發(fā)。

總結

嵌入式調(diào)試也是一門藝術。就想其它的藝術一樣，如果你想取得成功，你必須具備智慧、經(jīng)驗并懂得使用工具。只要我們能夠很好地領悟Oracle這十條秘訣，我相信我們在嵌入式測試方面就能夠取得成功。

　　審核編輯：湯梓紅