ML-EXray：云到邊緣部署驗證框架

嵌入式AI和ML在邊緣的部署不斷增加，無疑引入了從云到邊緣的新性能變化。盡管邊緣設(shè)備上的AI執(zhí)行性能突然發(fā)生了負面變化，但采用TinyML是一種前進的方式。

該過程中的主要挑戰(zhàn)是識別邊緣部署期間的潛在問題，以及 ML 推理執(zhí)行中的可見性較低。為了解決這個問題，斯坦福大學(xué)的一組研究人員提出了一個端到端框架，該框架提供了對層級ML執(zhí)行的可見性，并分析了云到邊緣的部署問題。

ML-EXray 是一種云到邊緣部署驗證框架，旨在通過記錄中間輸出來掃描邊緣 ML 應(yīng)用程序中的模型執(zhí)行，并使用參考管道提供相同數(shù)據(jù)的重放。此外，它還比較性能差異和每層輸出差異，使用戶能夠自定義函數(shù)來驗證模型行為。

ML-EXray的結(jié)果表明，該框架能夠識別預(yù)處理錯誤，量化問題，次優(yōu)內(nèi)核等問題。ML-EXray 只需不到 15 行代碼，即可檢查邊緣部署管道，并將模型性能校正多達 30%。此外，該框架還指導(dǎo)操作員將內(nèi)核執(zhí)行延遲優(yōu)化兩個數(shù)量級。

調(diào)試框架系統(tǒng)由三部分組成：

跨平臺 API，用于邊緣和云端 ML 推理的檢測和日志記錄

用于數(shù)據(jù)回放和建立基線的參考管道

用于檢測問題并分析根本原因的部署驗證框架

對于自定義日志和用戶定義的驗證，ML-EXray 提供了一個用于編寫自定義斷言函數(shù)的接口。通用部署驗證流程圖易于理解，因為 ML-EXray 從檢測的應(yīng)用程序和引用管道中獲取日志。數(shù)據(jù)集用于在應(yīng)用框架之前訓(xùn)練應(yīng)用程序。

將框架應(yīng)用于兩個管道后，將執(zhí)行精度匹配，這將檢查準確性下降并仔細檢查層級詳細信息以找到差異。檢測完成后，將注冊斷言函數(shù)以進行根本原因分析。

研究人員發(fā)布的評估表顯示了該過程中涉及的任務(wù)，模型和斷言。該框架適用于各種任務(wù)，以識別多個維度的部署問題，包括輸入處理、量化和系統(tǒng)性能。此外，預(yù)處理調(diào)試目標的代碼行實現(xiàn)為四個 LoC（代碼行），而沒有 ML-EXray 的代碼行為 25 行。在結(jié)束關(guān)于新方法和優(yōu)化調(diào)試框架的討論之前，讓我們回顧一下研究的命題。

總結(jié)一下通過 ML-EXray 引入邊緣 AI 部署在識別故障和處理錯誤方面的創(chuàng)新：

一套檢測 API 和 Python 庫，可查看任務(wù)關(guān)鍵型應(yīng)用程序邊緣設(shè)備上的層級詳細信息。

端到端邊緣部署驗證框架，為用戶提供了一個界面，用于設(shè)計用于驗證和檢查的自定義函數(shù)。

ML-EXray 旨在檢測工業(yè)設(shè)置中導(dǎo)致 ML 執(zhí)行性能下降的各種部署問題。

審核編輯：郭婷