如何把Tengine Python API移植到Tengine Lite上

大佬說選擇移植Tengine Python API這個(gè)任務(wù)，一方面是因?yàn)樗白鲞^涉及Python和C++/C交互的開源項(xiàng)目工作，如 MXNet 中DLPack的Python API和他自己的開源項(xiàng)目 MobulaOP，這些工作讓他踩了不少的坑；另一方面是因?yàn)樗J(rèn)為，了解一個(gè)框架需要先把例子跑起來, 就像學(xué)習(xí)一門新的編程語言要先跑通它的Hello World程序。通過這次任務(wù)，可以了解基于Tengine Lite的圖像分類實(shí)現(xiàn)，對TengineLite有一個(gè)初始的、直觀的感受。

以下為大佬第一人稱自述/~

初探源碼

這個(gè)任務(wù)的工作可以用一句話來概括: 在Tengine跑起Python例子, 再在Tengine Lite跑起同樣的例子。

第一步需要找到Tengine Python API的例子。但Tengine沒有的Python例子, 也沒有Python API的文檔。想從單元測試入手，但也沒有Python API的單元測試，難怪移植Python API的任務(wù)難度比移植C++ API的任務(wù)難度高。還有什么方法可以了解Python API的用法呢? 閱讀源碼。Tengine的Python API放在pytengine文件夾, 里面有八個(gè)模塊，分別是：base、context、device、 graph、libinfo、node、tengine和tensor，可以重點(diǎn)關(guān)注base, graph和tensor。

從base.py源碼中可以看出Tengine使用ctypes的形式進(jìn)行Python和C++/C的交互，把動態(tài)鏈接庫libtengine.so讀取后保存到變量/_LIB中，通過/_LIB.可以調(diào)用Tengine的C API. graph.py實(shí)現(xiàn)計(jì)算圖部分的API，tensor.py實(shí)現(xiàn)了作為輸入和輸出的張量API。

編譯和導(dǎo)入模塊

找到Python API代碼的位置后，編譯Tengine，并嘗試在Python中導(dǎo)入tengine模塊。從libinfo.py中可以了解到，Tengine Python API會在Python API目錄和環(huán)境變量LD/_LIBRARY/_PATH所指向的目錄中，查找動態(tài)鏈接庫libtengine.so.這時(shí)遇到了第一個(gè)Bug，我用的操作系統(tǒng)沒有定義LD/_LIBRARY/_PATH這個(gè)環(huán)境變量，而API里直接用下標(biāo)訪問的形式取這個(gè)環(huán)境變量的值，出現(xiàn)了KeyError的錯(cuò)誤。改成os.environ.get('LD/_LIBRARY/_PATH', '')即可。設(shè)置好動態(tài)鏈接庫的路徑后，可以成功導(dǎo)入pytengine模塊了。

編寫Python分類示例

Tengine提供C++/C的分類示例代碼，在examples目錄下，可以作為編寫Python例子時(shí)的參考。其中，classification.cpp用了Tengine的C++ API，比C API多了Net類的封裝，Net類封裝了對于計(jì)算圖Graph的操作。而classification/_old/_api.cpp用的是Tengine的C API. 由于Tengine Python API調(diào)用的是Tengine C API，因此可以拿classification/_old/_api.cpp作為參考。Tengine Python API封裝得很簡潔，很容易能找到每個(gè)Python函數(shù)調(diào)用的C函數(shù)。C++分類示例代碼和Python API的代碼互相對照，就可以寫出Python分類示例的代碼。寫完后就可以嘗試運(yùn)行了。

運(yùn)行Python分類示例

運(yùn)行Python分類示例并不順利，一開始就在構(gòu)建計(jì)算圖上出錯(cuò)了。定位到Python API的源碼后, 發(fā)現(xiàn)是在以下兩行出錯(cuò)。

# pytengine/tengine/graph.py:L24-L25 
params = [ c_str(item) for item in kwarg] 
self.graph = _LIB.create_graph(ctypes.c_void_p(context), c_str(model), *params)

create/_graph有三個(gè)參數(shù): 第一個(gè)參數(shù)context是模型執(zhí)行的上下文，第二個(gè)參數(shù)是模型的格式，第三個(gè)參數(shù)是模型的文件名。這兩行代碼看起來沒什么毛病，和C++例子里的調(diào)用方式是一模一樣的。但出錯(cuò)的原因就在給變量params賦值的這一行，里面的item是一個(gè)臨時(shí)變量，當(dāng)這條語句結(jié)束時(shí)，item離開了作用域就被釋放了。而c/_str(item)是指向原來item的位置，變成了一個(gè)野指針。為了解決這個(gè)問題，可以把該行改為params = [ c/_str(kwarg[i]) for i in range(len(kwarg)) ]，此時(shí)c/_str(kwarg[i])指向的是變量kwargs中存儲的值，變量kwargs在調(diào)用函數(shù)create/_graph時(shí)仍在作用域內(nèi)。

另外遇到的一個(gè)復(fù)雜的問題和Tensor類有關(guān)， pytengine的Tensor類還不完善，無法取出Tensor里的數(shù)據(jù).。對照C語言寫的例子修改Tensor的buf函數(shù)，得到數(shù)據(jù)內(nèi)存地址，占用的內(nèi)存大小，類型，尺寸后，轉(zhuǎn)換為NumPy數(shù)組。 需要注意一下Tengine Lite前端的執(zhí)行步驟:

# 建立計(jì)算圖并讀取模型文件
tm_file graph = tg.Graph(None, 'tengine', tm_file) 
# 取出輸入
Tensor input_tensor = graph.getInputTensor(0, 0) 
# 設(shè)置輸入Tensor的尺寸 
dims = [1, 3, img_h, img_w] 
input_tensor.shape = dims
# 預(yù)先運(yùn)行以分配資源, 必須加上 
graph.preRun() 
# 設(shè)置輸入數(shù)據(jù)的內(nèi)存地址, 這里的data是尺寸為(3, img_h, img_w)的NumPy數(shù)組. 注意: 這里不會檢查shape 
input_tensor.buf = data
# 以同步方式讓網(wǎng)絡(luò)進(jìn)行推斷(前向傳播), 其中1表示使用同步的方式 
graph.run(1) # 1 is blocking 
# 取出輸出的Tensor 
output_tensor = graph.getOutputTensor(0, 0) 
# 將Tensor轉(zhuǎn)為NumPy數(shù)組 
output = np.array(output_tensor.buf)

把這些問題解決后，就能在Tengine上運(yùn)行Python示例了。

需要注意的是，Tengine Lite和Tengine在做推斷前，都需要調(diào)用preRun()函數(shù)對資源進(jìn)行分配，這是必須要調(diào)用的。 雖然現(xiàn)在的Python API用起來有點(diǎn)復(fù)雜，但相信之后會封裝得更好的。

從Tengine到Tengine Lite

在Tengine上成功運(yùn)行Python示例后，移植就變得方便了。直接把pytengine文件夾下的所有代碼， 以及Python分類示例復(fù)制粘貼到Tengine Lite中，將動態(tài)庫名稱從libtengine.so改為libtengine-lite.so， 然后運(yùn)行Python分類示例。不出意料，出錯(cuò)了。 原因是Tengine Lite在設(shè)置輸入Tensor的數(shù)據(jù)內(nèi)存地址時(shí)，也會檢查數(shù)據(jù)的大小，而之前的Python API的數(shù)據(jù)大小的計(jì)算是錯(cuò)誤的。 修復(fù)Bug后， 成功在Tengine Lite上運(yùn)行圖像分類示例。移植完成。不得不夸一下Tengine Lite的C API兼容性做得真好!

在EAIDK-310上運(yùn)行Tengine Lite的Python圖像分類示例

之前參加OPEN AI LAB的活動，得到了一塊EAIDK-310開發(fā)板, 剛好可以在上面進(jìn)行測試。
這里使用可愛的虎貓(Tiger Cat)作為測試圖片，模型采用MobileNet。 圖片和模型都可以在Tengine項(xiàng)目的頁面中找到鏈接 (Tengine快速上手指南)。

下載代碼

[openailab@localhost proj]$ git clone https://github.com/OAID/Tengine 
# 進(jìn)入Tengine的目錄 
cd Tengine 
[openailab@localhost Tengine]$ git branch 
* tengine-lite

當(dāng)前Tengine的默認(rèn)分支是Tengine Lite。

2. 編譯Tengine Lite

mkdir build 
cd build 
cmake .. 
make -j2

注意不要把編譯線程數(shù)設(shè)太大，因?yàn)樵谧詈缶幾gMobileNet SSD例子時(shí)消耗顯存比較多。六分鐘多可以編譯完。

3. 配置Tengine Lite的Python API編輯/home/openailab/.bashrc，再最后一行后面加入:

export TENGINE_LITE_PATH=/home/openailab/proj/Tengine 
export PYTHONPATH=$PYTHONPATH:$TENGINE_LITE_PATH/pytengine 
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$TENGINE_LITE_PATH/build/src/

環(huán)境變量TENGINE_LITE_PATH設(shè)置為Tengine Lite的根目錄路徑， 設(shè)置好后重新打開終端。 打開Python, 能成功導(dǎo)入tengine。

[openailab@localhost examples]$ python 
Python 3.6.5 (default, Mar 29 2018, 17:45:40) 
[GCC 8.0.1 20180317 (Red Hat 8.0.1-0.19)] on linux 
Type "help", "copyright", "credits" or "license" for more information. 
>>> import tengine

4. 將三個(gè)文件cat.jpg/, mobilenet.tmfile/, synset/_words.txt放在examples的目錄下， 文件結(jié)構(gòu)如下所示:

[openailab@localhost examples]$ pwd 
/home/openailab/proj/Tengine/examples

[openailab@localhost examples]$ tree 
. 
├── cat.jpg 
├── classification.py 
├── mobilenet.tmfile 
├── synset_words.txt

5. 運(yùn)行examples文件夾下的圖像分類示例classification.py

[openailab@localhost examples]$ python classification.py 
n02123159 tiger cat 8.5975923538208 
n02119022 red fox, Vulpes vulpes 7.954988956451416 
n02119789 kit fox, Vulpes macrotis 7.867891311645508 
n02113023 Pembroke, Pembroke Welsh corgi 7.427407264709473 
n02123045 tabby, tabby cat 6.364651679992676

由此，就能夠在Tengine Lite上正確預(yù)測出虎貓啦 : )

下一步工作

對于Tengine Lite Python API，我覺得在API設(shè)計(jì)方面可以進(jìn)一步改進(jìn)。比如把數(shù)據(jù)預(yù)處理， 計(jì)算圖構(gòu)建等操作隱藏起來，比如:

image = cv2.imread('./cat.jpg') 
model = tg.Model(tm_file) 
pred = model(image)

這樣可以減少出錯(cuò)概率， 一些錯(cuò)誤比如忘記對數(shù)據(jù)做預(yù)處理，使用的數(shù)據(jù)內(nèi)存分布(NCHW還是NHWC)不正確，忘記調(diào)用prerun。

本次Tengine Python API移植任務(wù),大佬做的工作是編寫一個(gè)Python的圖像分類示例，在Tengine上跑通代碼，再將pytengine移植(復(fù)制)到Tengine Lite上， 再在Tengine Lite上跑通代碼，其中還修復(fù)了pytengine中的一些bug。

更多Tengine相關(guān)內(nèi)容請關(guān)注Tengine-邊緣AI推理框架專欄。

審核編輯 黃昊宇