基于英特爾開發(fā)套件的實時AI圖像處理技術(shù)的茶葉病害監(jiān)測物聯(lián)網(wǎng)系統(tǒng) | 開發(fā)者實戰(zhàn)

01

項目背景

隨著茶葉產(chǎn)業(yè)的快速發(fā)展，茶葉的品質(zhì)和安全性日益受到人們的關(guān)注。茶葉植株在生長過程中容易受到各種病蟲害的侵害，這不僅會影響茶葉的產(chǎn)量，還會嚴(yán)重影響茶葉的品質(zhì)。傳統(tǒng)的茶葉病蟲害診斷主要依賴于農(nóng)民的經(jīng)驗判斷，這種方法不僅效率低，而且準(zhǔn)確性差。隨著人工智能和圖像識別技術(shù)的迅速發(fā)展，開發(fā)一種快速、準(zhǔn)確的茶葉病蟲害診斷方法成為了當(dāng)務(wù)之急。

02

項目解決的主要問題

本項目開發(fā)了一種基于英特爾開發(fā)套件 - AIxBoard的計算機視覺和深度學(xué)習(xí)技術(shù)的茶葉病蟲害監(jiān)測物聯(lián)網(wǎng)系統(tǒng)。系統(tǒng)預(yù)裝了英特爾OpenVINO工具套件，通過連接攝像頭實時捕捉茶葉葉片的圖像，并利用預(yù)先訓(xùn)練好的深度學(xué)習(xí)模型對圖像進(jìn)行分析，實現(xiàn)對茶葉病蟲害的自動識別和分類。

系統(tǒng)還包括一個前端展示界面，能夠?qū)崟r顯示視頻流、預(yù)測結(jié)果和相關(guān)參數(shù)，為用戶提供直觀的操作和監(jiān)測體驗。本系統(tǒng)可以作為邊緣計算引擎，為病蟲害監(jiān)測提供強大支持。通過這個系統(tǒng)，不僅可以提高茶葉病蟲害診斷的效率和準(zhǔn)確性，還能為茶葉種植者提供科學(xué)的決策依據(jù)，從而提高茶葉的產(chǎn)量和品質(zhì)，促進(jìn)茶葉產(chǎn)業(yè)的可持續(xù)發(fā)展。本項目開源代碼庫：

Htreys/Tea_AIoT-System (github.com)

03

功能描述

1. 算法描述

本項目采用基于深度學(xué)習(xí)的卷積神經(jīng)網(wǎng)絡(luò)（CNN）模型進(jìn)行茶葉病蟲害的識別和分類。首先，通過攝像頭實時捕捉茶葉葉片的圖像，并將圖像進(jìn)行預(yù)處理，包括縮放、裁剪和歸一化等操作，以滿足模型輸入的要求。接著，將預(yù)處理后的圖像輸入到預(yù)先訓(xùn)練好的CNN模型中，模型通過多層卷積、池化和全連接層對圖像特征進(jìn)行提取和學(xué)習(xí)，最后通過Softmax層輸出每個類別的概率分布，從而實現(xiàn)對茶葉病蟲害的自動識別和分類。為了提高模型的識別準(zhǔn)確性，我在訓(xùn)練階段采用了大量標(biāo)注好的茶葉病蟲害圖像數(shù)據(jù)進(jìn)行監(jiān)督學(xué)習(xí)，并通過數(shù)據(jù)增強、模型正則化等技術(shù)防止過擬合，確保模型具有良好的泛化能力。

數(shù)據(jù)集：

https://data.mendeley.com/datasets/j32xdt2ff5/2

2. 工程展示頁面功能描述

工程展示界面是一個基于Vue.js框架開發(fā)的前端應(yīng)用，主要包括以下功能：

1

實時視頻流展示：

界面中嵌入了一個視頻播放器，能夠?qū)崟r顯示從攝像頭捕捉到的茶葉葉片圖像，為用戶提供直觀的監(jiān)測體驗。

2

預(yù)測結(jié)果展示：

在視頻流的下方，展示了深度學(xué)習(xí)模型對當(dāng)前幀圖像的預(yù)測結(jié)果，包括病蟲害的類別和相應(yīng)的置信度，幫助用戶快速了解茶葉的健康狀況。

3

參數(shù)展示：

在界面的右側(cè)，展示了一些相關(guān)的參數(shù)和設(shè)置選項，如攝像頭的分辨率、幀率等，用戶可以根據(jù)需要進(jìn)行調(diào)整。

4

歷史記錄：

界面還提供了一個歷史記錄功能，用戶可以查看過去一段時間內(nèi)的監(jiān)測結(jié)果和相關(guān)參數(shù)，方便進(jìn)行數(shù)據(jù)分析和回溯。

5

報警與通知：

當(dāng)系統(tǒng)檢測到嚴(yán)重的病蟲害時，會通過界面彈窗或發(fā)送郵件等方式及時通知用戶，幫助用戶采取相應(yīng)的防治措施。通過這個展示界面，用戶可以實時監(jiān)控茶葉的健康狀況，快速識別和處理病蟲害問題，提高茶葉的產(chǎn)量和品質(zhì)。

3. OpenVINO開發(fā)工具功能描述

在本項目中，英特爾的OpenVINO工具套件提供了顯著的賦能和助力，極大地增強了項目的性能和效率。以下是OpenVINO在項目中的關(guān)鍵貢獻(xiàn)：

1

優(yōu)化的深度學(xué)習(xí)模型性能：

OpenVINO工具套件專為加速深度學(xué)習(xí)推理而設(shè)計，使得在英特爾開發(fā)套件AIxBoard上運行的深度學(xué)習(xí)模型得到了顯著的性能提升。這意味著更快的圖像處理和病蟲害識別速度，對于本項目實現(xiàn)實時監(jiān)測來說至關(guān)重要。

2

模型優(yōu)化和轉(zhuǎn)換：

本項目利用了OpenVINO提供了強大的模型優(yōu)化工具，把訓(xùn)練好的深度學(xué)習(xí)模型轉(zhuǎn)換為優(yōu)化的格式，以適應(yīng)邊緣計算的需求。實現(xiàn)了減少模型的大小，同時保持高精度，從而使模型更適合在資源受限的環(huán)境中運行，也提高了效率。

3

提高資源利用率：

OpenVINO通過優(yōu)化計算任務(wù)的分配，充分利用AIxBoard的處理能力，提高了整體的資源利用率。這包括對CPU和GPU的高效使用，確保了系統(tǒng)的高性能運行。

4

實時數(shù)據(jù)處理和分析：

利用OpenVINO的高效推理能力，項目能夠?qū)崿F(xiàn)對捕獲的茶葉圖像的實時處理和分析，及時檢測并報告病蟲害情況。

5

提升系統(tǒng)的可靠性和穩(wěn)定性：

OpenVINO的高效和優(yōu)化的運算不僅提高了性能，也增強了系統(tǒng)的可靠性和穩(wěn)定性，這對于長時間運行的監(jiān)測系統(tǒng)來說至關(guān)重要。

04

開發(fā)選型

本系統(tǒng)采用了英特爾開發(fā)者套件 - AIxBoard愛克斯板，搭載11代英特爾賽揚處理器N5105 2.0-2.9GHz (Jasper Lake)其芯片組帶了一顆GPU（iGPU），借助OpenVINO工具，能實現(xiàn)CPU+iGPU異構(gòu)計算推理，為高效識別茶葉病害提供了有力的硬件保障。

系統(tǒng)支持：Ubuntu20.04 LTS

05

英特爾開發(fā)套件

AIxBoard對本項目的支持

1

高效的處理能力：

AIxBoard搭載的高性能處理器為本項目采用的深度學(xué)習(xí)模型的實時運算提供了強大的計算支持。這確保了圖像處理和病蟲害識別的高效率和準(zhǔn)確性。

2

穩(wěn)定的長期運行:

AIxBoard的低功耗設(shè)計使得系統(tǒng)能夠在田間環(huán)境中長時間穩(wěn)定運行，提高了監(jiān)測的連續(xù)性和可靠性。

3

靈活的網(wǎng)絡(luò)連接：

AIxBoard提供的多種網(wǎng)絡(luò)連接選項，包括Wi-Fi和藍(lán)牙，為數(shù)據(jù)的遠(yuǎn)程傳輸和實時監(jiān)控提供了便利。

4

易于集成和擴展：

AIxBoard的設(shè)計易于與其他傳感器和設(shè)備集成，為項目的未來擴展提供了可能性。

5

支持先進(jìn)的AI功能：

AIxBoard支持的AI和機器學(xué)習(xí)功能為項目的核心部分——智能病蟲害識別提供了技術(shù)保障。

06

技術(shù)細(xì)節(jié)

1. 技術(shù)棧描述：

1

深度學(xué)習(xí)框架: TensorFlow和Keras

用于構(gòu)建和訓(xùn)練深度學(xué)習(xí)模型，進(jìn)行茶葉病蟲害的分類識別。

2

編程語言: Python

用于編寫深度學(xué)習(xí)模型、數(shù)據(jù)預(yù)處理、模型訓(xùn)練和結(jié)果預(yù)測的腳本。

3

前端框架: Vue.js

用于構(gòu)建用戶界面，展示實時監(jiān)測的視頻流和模型的預(yù)測結(jié)果。

4

后端框架: Flask

用于搭建服務(wù)端，處理前端發(fā)送的來的視頻數(shù)據(jù)幀，并調(diào)用深度學(xué)習(xí)模型進(jìn)行預(yù)測，并將結(jié)果返回給前端。

5

數(shù)據(jù)庫: SQLite（或其他輕量級數(shù)據(jù)庫）

用于存儲歷史監(jiān)測數(shù)據(jù)，為用戶提供數(shù)據(jù)分析的基礎(chǔ)。

6

消息傳遞協(xié)議: MQTT

用于實現(xiàn)設(shè)備間的通信，將監(jiān)測數(shù)據(jù)發(fā)送到服務(wù)器，也可用于實現(xiàn)報警機制。

2. 技術(shù)設(shè)計

1

深度學(xué)習(xí)模型設(shè)計：

使用卷積神經(jīng)網(wǎng)絡(luò)（CNN）進(jìn)行圖像分類。

采用數(shù)據(jù)增強技術(shù)來增加訓(xùn)練數(shù)據(jù)的多樣性，提高模型的泛化能力。

使用遷移學(xué)習(xí)，基于預(yù)訓(xùn)練的大型網(wǎng)絡(luò)（如ResNet或VGG）進(jìn)行微調(diào)，提高訓(xùn)練效率和模型性能。

英特爾提供的開發(fā)板性能，可以加速深度學(xué)習(xí)模型的處理速度，提高系統(tǒng)的響應(yīng)效率。

2

數(shù)據(jù)預(yù)處理：

對采集到的茶葉圖像進(jìn)行裁剪、縮放和歸一化等預(yù)處理操作，使其符合模型輸入的要求。

3

實時檢測與預(yù)測：

利用攝像頭實時捕捉茶葉圖像，并將圖像發(fā)送到服務(wù)器。

服務(wù)器接收圖像數(shù)據(jù)，調(diào)用深度學(xué)習(xí)模型進(jìn)行預(yù)測，并將結(jié)果返回給前端展示。

4

前端展示：

使用Vue.js構(gòu)建單頁面應(yīng)用（SPA），實時展示視頻流和預(yù)測結(jié)果。

提供用戶友好的界面，展示實時監(jiān)測的視頻流、模型的預(yù)測結(jié)果以及相關(guān)參數(shù)設(shè)置。

5

后端服務(wù)：

使用Flask搭建后端服務(wù)器，處理前端的請求，調(diào)用深度學(xué)習(xí)模型進(jìn)行預(yù)測，并管理數(shù)據(jù)庫。

提供RESTful API，供前端調(diào)用。

6

數(shù)據(jù)庫設(shè)計：

存儲歷史監(jiān)測數(shù)據(jù)，包括圖像、預(yù)測結(jié)果和時間戳等信息。

提供數(shù)據(jù)查詢接口，供用戶進(jìn)行數(shù)據(jù)分析。

7

通信與報警：

使用MQTT協(xié)議實現(xiàn)設(shè)備間的通信。

當(dāng)檢測到嚴(yán)重的病蟲害時，通過MQTT協(xié)議發(fā)送報警消息，及時通知用戶。通過這套技術(shù)棧和技術(shù)設(shè)計，項目實現(xiàn)了茶葉病蟲害的實時監(jiān)測和分類識別，提供了直觀的前端展示界面，并具備數(shù)據(jù)存儲和分析的能力，為用戶提供了一個全面、高效、易用的病蟲害監(jiān)測解決方案。

3. 項目架構(gòu)圖

07

創(chuàng)新點

1

模型通用性：

本項目開發(fā)的深度學(xué)習(xí)模型不僅僅局限于茶葉病蟲害的識別，其強大的特征提取能力使其具有較高的通用性。通過重新訓(xùn)練或微調(diào)，該模型可以輕松適應(yīng)其他植物、果實的病蟲害識別，甚至可以用于判斷果實的成熟度，拓寬了模型的應(yīng)用范圍。

2

實時監(jiān)測與快速響應(yīng)：

借助于攝像頭和深度學(xué)習(xí)模型的結(jié)合，本項目實現(xiàn)了對茶葉病蟲害的實時監(jiān)測，并能在檢測到病蟲害時立即進(jìn)行分類和通知，大大減少了人工檢測的時間和精力，提高了病蟲害處理的效率。

3

易于推廣的解決方案：

本項目提供了一個完整的病蟲害監(jiān)測解決方案，包括數(shù)據(jù)采集、模型訓(xùn)練和結(jié)果展示等環(huán)節(jié)。這套方案可以作為一個模板，根據(jù)不同植物和應(yīng)用場景的需要進(jìn)行定制和優(yōu)化，快速推廣到其他領(lǐng)域。

4

前端可視化展示：

通過構(gòu)建前端可視化界面，用戶可以直觀地看到實時監(jiān)測的視頻流、模型的預(yù)測結(jié)果以及相關(guān)參數(shù)設(shè)置，提升了用戶體驗，同時也使得系統(tǒng)的操作更加直觀和便捷。

5

數(shù)據(jù)的積累與分析：

系統(tǒng)不僅僅提供實時監(jiān)測的功能，還能夠記錄歷史數(shù)據(jù)，為用戶提供數(shù)據(jù)分析的基礎(chǔ)。通過對歷史數(shù)據(jù)的分析，用戶可以更好地了解病蟲害的發(fā)生規(guī)律，為制定科學(xué)的防治措施提供依據(jù)。

6

靈活的報警機制：

系統(tǒng)提供了靈活的報警機制，當(dāng)檢測到嚴(yán)重的病蟲害時，系統(tǒng)可以通過多種方式及時通知用戶，幫助用戶迅速采取措施，減少病蟲害帶來的損失。通過這些創(chuàng)新點，本項目不僅提高了病蟲害監(jiān)測的效率和準(zhǔn)確性，還具有良好的推廣前景和應(yīng)用價值，有望在智慧農(nóng)業(yè)、園藝等領(lǐng)域發(fā)揮重要作用。

08

效果展示及描述

展示頁面效果圖：

1

實時視頻流展示區(qū)域：

視頻播放器的位置顯著，用戶能夠輕松查看實時圖像。

視頻可以提供非常直觀的用戶體驗。

2

預(yù)測結(jié)果區(qū)域：

“bird eye spot”旁邊的百分比數(shù)值（78.766%）清晰展示了模型對于當(dāng)前圖像的預(yù)測結(jié)果和置信度，對于用戶了解茶葉病害情況很有幫助。

3

參數(shù)展示區(qū)域：

提供了調(diào)整攝像頭設(shè)置的滑塊（如分辨率和幀率），這讓用戶可以根據(jù)需要調(diào)整，非常貼心。

顯示計時器，可能是表示從監(jiān)測開始到當(dāng)前的時間，這樣的實時數(shù)據(jù)對于監(jiān)控來說非常有用。

4

病害識別指標(biāo)條：

以條形圖的形式展示各種病害的發(fā)生次數(shù)，用戶可以一目了然地看出哪種病害的發(fā)生的可能性最高，并及時做出決策來杜絕病害。

5

整體風(fēng)格和布局：

界面風(fēng)格統(tǒng)一，藍(lán)黑色基調(diào)符合工業(yè)和技術(shù)應(yīng)用的通常設(shè)計。

布局合理，各功能區(qū)的分布均衡，遵循了“F”形閱讀規(guī)律。

6

界面風(fēng)格：

確保了界面的響應(yīng)性，以便在不同尺寸的屏幕和設(shè)備上都有良好的顯示效果。

考慮用戶操作的流程，確保從用戶角度出發(fā)，簡化操作步驟，提升用戶體驗。

作者：浙江大學(xué) 劉兆隆

文章指導(dǎo)：羅雯，李翊瑋

審核編輯：劉清