應(yīng)用TFLm引擎進(jìn)行模型文件導(dǎo)入

書接上文(點(diǎn)此查看前文)，我們橫向比較了在應(yīng)用TFLm引擎進(jìn)行模型文件導(dǎo)入時候，所使用的三種常用方式：

SD卡存儲結(jié)合文件系統(tǒng)，

xxd小工具進(jìn)行文件的十六進(jìn)制轉(zhuǎn)換

以及使用匯編指令.incbin直接進(jìn)行模型導(dǎo)入。

可以說各有所長，但是，當(dāng)我們需要頻繁地進(jìn)行模型的替換、更新時，麻煩就出現(xiàn)了。xxd和.incbin的形式都需要重新編譯目標(biāo)工程，并下載到板子中。 當(dāng)我們的程序體量較大時，即便不需要對全部工程進(jìn)行編譯（做到改啥編啥），但是，下載這一步，是無論如何不能跳過的，隨著最終鏡像大小的不同，所消耗的時間也會不同。而使用文件系統(tǒng)的方式，無形中增加了移植文件系統(tǒng)的工作量。

設(shè)計(jì)思路

為了克服這一問題，小編在上一篇的結(jié)尾提出了一個新的方案，直接把flash看作一大塊空白存儲區(qū)，并開辟一個固定區(qū)域存放模型文件。這樣一來，我們只需要在程序中將模型的讀取位置固定，無論模型是否更新，都能夠讀取最新的模型數(shù)據(jù)，進(jìn)行后續(xù)處理。 而且小編也特意強(qiáng)調(diào)建議大家直接使用Nor Flash來實(shí)現(xiàn)這一操作。 以i.MX RT系列MCU為例說明這樣做的優(yōu)勢。i.MX RT系列由于沒有片上Flash芯片，都通過外擴(kuò)Flash芯片存儲代碼。當(dāng)我們將啟動方式調(diào)整為XIP，即從flash啟動時，芯片內(nèi)部的BootROM會幫我們配置初始化好這個片上的Flash芯片，而由于Nor Flash的特性，支持隨機(jī)的內(nèi)存訪問，也就是說，我們在程序內(nèi)部，可以直接通過指針的形式進(jìn)行訪問，甚至可以直接調(diào)用memcpy函數(shù)進(jìn)行數(shù)據(jù)的拷貝。 比起集成文件系統(tǒng)的方式，可以說方便至極。不過，也不是說Nand Flash就不適合，只是處理起來會稍稍麻煩一點(diǎn)，由于不支持隨機(jī)的讀操作，就要先拷貝到RAM區(qū)域再進(jìn)行操作。

設(shè)計(jì)實(shí)現(xiàn)

言歸正傳，為了方便進(jìn)行數(shù)據(jù)的管理，我們需要設(shè)計(jì)一套簡單的管理邏輯，說的專業(yè)一點(diǎn)就是為我們的數(shù)據(jù)添加一個幀頭，當(dāng)然，既然大道至簡，數(shù)據(jù)打包格式大致就是如下格式（可能有些簡陋啊，大家見諒）：

當(dāng)然為了能夠在程序中使用，我們再定義一個對應(yīng)的C語言形式來表達(dá)，這里要用到C語言中0長度數(shù)組的概念：

struct {
uint32_t n, w, h , c;
uint8_t data[0];
}

這樣一來，我們就具象化了我們所設(shè)計(jì)的那個簡單的數(shù)據(jù)打包協(xié)議。

下一步是如何將數(shù)據(jù)打包成我們要的樣子，這里要借助于Python來編寫一個簡單的腳本處理，并假設(shè)最終會生成一個二進(jìn)制文件，假設(shè)輸入一個多維數(shù)組results，首先構(gòu)建其幀頭，默認(rèn)維度不足4的數(shù)據(jù)，用1補(bǔ)齊，保證最終的幀頭包含4個維度信息：

def save_to_bin(bin_name, results):
    shape = list(results[0].shape)
    element_size = [1] * (3 - len(shape)) + shape
    element_len = len(results)
    # shape is [N, H, W, C]
    bin_values = np.asarray([element_len] + element_size, dtype=np.uint32).tobytes()
    bin_values += results.tobytes()
    with open(bin_name, "wb") as f:
        f.write(bin_values)
        f.close()

聊到這兒，可能有同學(xué)會問了，針對于tflite模型，我們往往只需要知道其首地址就好了，TFLm會處理那些長度信息，我還有必要構(gòu)造幀頭嗎？這下給小編問的有點(diǎn)啞口無言。馬上著手設(shè)計(jì)了第二種數(shù)據(jù)結(jié)構(gòu)：

是的，針對于模型數(shù)據(jù)這一特殊的存在，可以設(shè)計(jì)出更加精簡的表達(dá)格式，而且，我們知道tflite模型本身實(shí)際上已經(jīng)是二進(jìn)制文件的形式了，也就是說，可以直接拿過來使用，無需再做任何操作，直接燒寫到固定地址即可。

那我們上面所設(shè)計(jì)的數(shù)據(jù)結(jié)構(gòu)就毫無用武之地了嗎？當(dāng)然不是！小編做這些當(dāng)然都是有理由的啊。

大家想一想，運(yùn)行神經(jīng)網(wǎng)絡(luò)模型的時候，光有模型就可以了嗎？當(dāng)然不，我們還缺少輸入??！如果你是攝像頭輸入，請?zhí)^這節(jié)。而如果是離線測試呢？需要大量加載靜態(tài)圖到內(nèi)存中，是不是和之前我們的分析就類似了。

每次更換測試數(shù)據(jù)，依舊需要重新下載鏈接，那么按照本文提供的方案，也為數(shù)據(jù)設(shè)置一塊固定的區(qū)域，然后借助于上述save_to_bin代碼，將數(shù)據(jù)打包成固定格式，是不是就可以在程序中利用那個結(jié)構(gòu)體訪問了呢？沒錯！小編早就設(shè)計(jì)好了。