VectorCAST/QA如何在LiteOS-A內(nèi)核上實(shí)現(xiàn)系統(tǒng)白盒測(cè)試

本文將通過演示實(shí)例介紹VectorCAST/QA如何在LiteOS-A內(nèi)核上實(shí)現(xiàn)系統(tǒng)白盒測(cè)試，獲取被測(cè)程序的代碼覆蓋信息。具體實(shí)現(xiàn)在支持sudo超級(jí)用戶模式的Ubuntu 18.04（或以上）版本中，調(diào)試目標(biāo)板是i.MX6ULL開發(fā)板（鴻蒙OS官方認(rèn)可適配）。

VectorCAST/QA介紹

1.1

VectorCAST/QA功能與優(yōu)勢(shì)

VectorCAST工具集包含兩款測(cè)試工具：針對(duì)單元集成測(cè)試的VectorCAST/C++，和實(shí)現(xiàn)系統(tǒng)白盒測(cè)試的VectorCAST/QA。區(qū)別于單元測(cè)試的測(cè)試對(duì)象是函數(shù)組件，系統(tǒng)白盒測(cè)試的對(duì)象則是系統(tǒng)整體編譯后的程序。VectorCAST/QA通過集成被測(cè)項(xiàng)目程序的編譯/構(gòu)建環(huán)境和已有的測(cè)試基礎(chǔ)架構(gòu)，獲取系統(tǒng)測(cè)試所需的關(guān)鍵指標(biāo)。

VectorCAST/QA具有以下功能和優(yōu)勢(shì)：

自動(dòng)對(duì)項(xiàng)目源代碼添加代碼覆蓋率接口；

沿用項(xiàng)目已有的系統(tǒng)測(cè)試框架和測(cè)試用例；

獲取在系統(tǒng)測(cè)試階段的代碼覆蓋率信息；

測(cè)試用例和代碼覆蓋率信息逐一對(duì)應(yīng)。

1.2

VectorCAST/QA工作流

VectorCAST/QA會(huì)自動(dòng)對(duì)被測(cè)源文件插裝（區(qū)別于單元集成測(cè)試的Stub插樁，對(duì)程序的插樁Instrumentation可以理解為插覆蓋率函數(shù)接口）添加覆蓋率測(cè)試接口，同時(shí)工具會(huì)在目標(biāo)板的RAM 內(nèi)存中分配出一段內(nèi)存空間，用以存放一個(gè)固定名字的char類型全局?jǐn)?shù)組，該數(shù)組實(shí)時(shí)保存覆蓋率信息，用戶可以通過讀取該數(shù)組獲取覆蓋率結(jié)果，數(shù)組大小可通過工具配置選項(xiàng)進(jìn)行設(shè)置。

VectorCAST/QA測(cè)試配置步驟

2.1

創(chuàng)建VCAST工程

在構(gòu)建VectorCAST/QA系統(tǒng)測(cè)試環(huán)境之前，需要首先創(chuàng)建VCAST工程；

1.

通過包含全局變量定義等的腳本文件VCAST_LAUNCH.sh啟動(dòng)VCAST

sudo bash 。/VCAST_LAUNCH.sh 或者 source VCAST_LAUNCH.sh；

2.

在VCSAT打開后，如果需要打開已有測(cè)試項(xiàng)目

File-》Open 選擇*vcm文件；

3.

如若需要?jiǎng)?chuàng)建新項(xiàng)目

若是第一次創(chuàng)建項(xiàng)目，切記需首先創(chuàng)建項(xiàng)目保存路徑，F(xiàn)ile-》Set Working Directory 選擇測(cè)試項(xiàng)目保存的路徑；

可選擇創(chuàng)建空項(xiàng)目New-》VectorCAST Project-》Empty Project，同時(shí)根據(jù)項(xiàng)目需求設(shè)定項(xiàng)目名稱和選擇交叉編譯工具鏈；

亦或通過實(shí)際的項(xiàng)目選擇配置包中自帶的模板CFG，New-》VectorCAST Project-》From Configuration File。

2.2

配置QA測(cè)試環(huán)境

創(chuàng)建完VCAST工程，再創(chuàng)建QA測(cè)試環(huán)境從而完成環(huán)境的配置，右鍵Group-》Create System Test Environment-》Interactive。

配置QA測(cè)試環(huán)境共包含五個(gè)步驟，具體配置步驟如下：

1.

選擇編譯器

配置QA 環(huán)境的第一步需要結(jié)合具體項(xiàng)目配置選擇編譯器，本文項(xiàng)目選擇Clang編譯器，Preprocessor command 需要和目標(biāo)板適配；

2.

環(huán)境命名

在配置環(huán)境的第二步驟中，自定義環(huán)境名稱，例如本項(xiàng)目中環(huán)境命名為123；

3.

加載源文件

配置的第三步加載被測(cè)源文件，其中Base Directory指向源碼最上層的父目錄，然后選擇目錄文件中要添加到測(cè)試環(huán)境中的源文件，本文項(xiàng)目中只包含hello.c源文件；

4.

覆蓋率類型

配置的第四步根據(jù)項(xiàng)目測(cè)試需求設(shè)置覆蓋率測(cè)試類型，本項(xiàng)目選擇Statement+Branch即語句分支覆蓋。覆蓋率類型選擇的配置亦可在環(huán)境創(chuàng)建后針對(duì)具體被測(cè)文件的需求進(jìn)行設(shè)置，可參見本文2.3章節(jié)，其他配置選項(xiàng)可選擇默認(rèn)；

5.

編譯

當(dāng)前述配置步驟執(zhí)行完畢后，即可點(diǎn)擊配置界面右下角的Build進(jìn)行環(huán)境編譯。

2.3

代碼覆蓋率插裝

當(dāng)環(huán)境編譯成功后，通過雙擊工程視圖中的環(huán)境名稱進(jìn)入到環(huán)境視圖，勾選Tools-》Options-》Coverage-》Save data in ASCII format in memory，從而將覆蓋率信息實(shí)時(shí)保存在RAM中，可通過串口等工具實(shí)時(shí)獲取覆蓋率信息，存儲(chǔ)覆蓋率信息的數(shù)組的大小可通過Maximum size for ASCII buffer調(diào)控，不勾選則為工具默認(rèn)值，配置完成后點(diǎn)擊Apply；

進(jìn)入環(huán)境視圖后可看見被添加的所有測(cè)試源文件，通過右鍵示例的hello.c-》Set Coverage Type可以配置要測(cè)試的覆蓋率類型；

覆蓋率類型設(shè)置完成后，再次選擇被測(cè)文件hello.c右鍵-》Instrument 實(shí)現(xiàn)插裝；如果出現(xiàn)某些頭文件找不到的錯(cuò)誤，可以在Tools-》options-》C/C++-》Preprocessor/Compiler-》Include Directories通過+號(hào)來添加搜索路徑。（++ 代表遞歸的添加路徑中的子路徑）

執(zhí)行完上述步驟后，點(diǎn)擊File-》Close Environment關(guān)閉QA環(huán)境。在工程視圖中右鍵環(huán)境，選擇System Testing-》Apply Coverage to Source Tree-》Always，該配置選項(xiàng)將會(huì)使得覆蓋接口代碼直接插樁到被測(cè)源文件中，同時(shí)工具會(huì)對(duì)被測(cè)前的源文件進(jìn)行備份，我們將在第3章節(jié)的測(cè)試實(shí)例中進(jìn)行比對(duì)，至此完成QA 測(cè)試的所有配置步驟。

VectorCAST/QA測(cè)試實(shí)例

經(jīng)過第2章節(jié)的配置，可以獲得經(jīng)過插裝且?guī)в懈采w率接口的hello.c文件，通過交叉編譯工具鏈進(jìn)行編譯即可將程序燒錄到目標(biāo)板中進(jìn)行系統(tǒng)測(cè)試。

3.1

插樁前后源代碼對(duì)比

如2.3章節(jié)所述，hello.c源文件被插樁前將會(huì)被VectorCAST工具自動(dòng)備份為hello.c.vcast.bak，文件將會(huì)保存在被測(cè)源文件路徑下參見圖9，圖10和11進(jìn)行QA覆蓋率接口插樁前后的源文件對(duì)比。

下圖為插樁后代碼，當(dāng)前打開的即是插裝后的hello.c文件，vcast_ascii_coverage_data_pool便是QA工具自動(dòng)創(chuàng)建的用以存儲(chǔ)代碼覆蓋率信息的數(shù)組，其中printf（“%s”，vcast_ascii_coverage_data_pool）及后面的文件存儲(chǔ)代碼為手動(dòng)添加，目的是支持本次項(xiàng)目調(diào)試過程中可以通過串口實(shí)時(shí)查看目標(biāo)板打印的覆蓋率信息，同時(shí)覆蓋率結(jié)果文件存儲(chǔ)在目標(biāo)板中亦可通過其他調(diào)試方法發(fā)送給上位機(jī)，用戶可以依據(jù)目標(biāo)板的配置選擇不同的獲取覆蓋率信息的方式。

插樁后代碼

3.2

編譯可執(zhí)行文件

1.

通過交叉編譯工具鏈對(duì)插樁后的hello.c文件進(jìn)行交叉編譯，獲得可執(zhí)行文件hello；

clang -target arm-liteos --sysroot=/home/vector123/book/openharmony/prebuilts/lite/sysroot/ -o hello hello.c;

2.

將hello存入到根目錄rootfs；

cp hello /home/vector123/book/openharmony/kernel/liteos_a/out/imx6ull/rootfs/bin

3.

重新制作rootfs.jffs2，并將rootfs.jffs2燒錄到目標(biāo)板。

mkfs.jffs2 -s 0x10000 -e 0x10000 -d rootfs -o rootfs.jffs2

3.3

獲取覆蓋率結(jié)果

燒錄完rootfs.jffs2文件后，上位機(jī)通過MobaXterm工具進(jìn)行在線調(diào)試。

輸入。/bin/hello命令運(yùn)行hello程序，如圖所示，獲得hello.c源代碼中的打印語句以及覆蓋率結(jié)果信息，同時(shí)覆蓋率結(jié)果存儲(chǔ)在目標(biāo)板系統(tǒng)中，存儲(chǔ)地址取決于插樁時(shí)設(shè)定的文件存儲(chǔ)路徑，結(jié)果存儲(chǔ)在根目錄下的QA01.DAT文件中，如圖所示；

打印語句與覆蓋率結(jié)果

覆蓋率存儲(chǔ)文件

3.4

生成覆蓋率報(bào)告

通過將生成的覆蓋率結(jié)果文件QA01.DAT加載至VectorCAST工具進(jìn)行解析，即可獲得覆蓋度報(bào)告，具體步驟如下：

1.

右鍵Environment-》Add Test Results 選擇路徑下的結(jié)果文件，選擇QA01.DAT；

2.

添加完成后即可在左側(cè)的環(huán)境視圖中觀察到覆蓋率結(jié)果文件QA01.DAT，勾選該文件即可生成覆蓋率報(bào)告，當(dāng)有多組不同的覆蓋率測(cè)試時(shí)，可以導(dǎo)入多個(gè)不同的測(cè)試結(jié)果文件，以實(shí)現(xiàn)測(cè)試和代碼覆蓋率的逐一對(duì)應(yīng)；

3.

通過Environment-》view-》Aggregate Coverage Report即可獲取到覆蓋率報(bào)告，報(bào)告顯示百分百覆蓋。

編輯：jq