0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復
登錄后你可以
  • 下載海量資料
  • 學習在線課程
  • 觀看技術視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認識你,還能領取20積分哦,立即完善>

3天內不再提示

基于機器學習的水體化學需氧量高光譜反演模型對比研究

萊森光學 ? 來源:萊森光學 ? 作者:萊森光學 ? 2023-03-23 09:58 ? 次閱讀

引言

化學需氧量(COD)是以化學方法測量水樣中需要被氧化的還原性物質的量。水樣在一定條件下的COD以氧化1升水樣中還原性物質縮小化的氧化劑的量為指標,折算成每升水樣全部被氧化后,需要的氧的毫克數(shù),以mg·L-1來表示。COD測試可以很容易地量化水中有機物的含量。COD最常見的應用是量化地表水(如湖泊和河流)或廢水中可氧化污染物的量,在水質監(jiān)測中起到了巨大的作用。傳統(tǒng)的有重鉻酸鹽滴定法和分光光度法等方法,電化學方法和流動注射分析法用于COD檢測,但這些檢測方法都存在檢測周期較長?消耗試劑等缺點,對水體的批量檢測也難以實現(xiàn)。

而利用高光譜技術和機器學習手段對水質參數(shù)進行反演近期已成為國內外熱點研究問題。高光譜技術能夠獲得物體連續(xù)的光譜信息,近年來逐步應用于水農產品檢測?生植被和水資源調控等領域。在水質參數(shù)高光譜反演建模中,國內外學者采取機器學習方法對不同水質參數(shù)進行建模,如總氮?總磷?水質濁度?一般懸浮物?化學需氧量等,并取得了一定成果。

實驗部分

2.1 預處理

高光譜數(shù)據(jù)通常包含由相機或儀器產生的隨機噪聲和光譜變化。光譜預處理可以減少或消除數(shù)據(jù)中與自身性質無關的信息,降低模型的復雜性,提高數(shù)據(jù)和模型的可解釋性(魯棒性和準確性)。光譜數(shù)據(jù)的預處理在進行多變量分析之前是必不可少的。SG平滑能夠使光譜曲線平滑,MSC方法能夠消除基線漂移和平移現(xiàn)象。采用SG平滑?MSC以及SG平滑結合MSC光譜預處理手段對原始光譜進行預處理并進行比較。

2.2 特征波段提取

高光譜波段由大量的波段組成,有些波段的相關性較高而且存在冗余以及噪聲等。對特征波段的提取在一定程度上可以規(guī)避這兩種情況。

2.3 反演模型

選取線性回歸?隨機森林?AdaBoost?XGBoost四種機器學習建模方法。線性回歸是一種確定兩個或多個變量間相互依賴定量關系的機器學習方法;隨機森林算法是決策樹的集成,通過平均決策樹可以大大降低過擬合的風險,是比單一決策樹性能更優(yōu)的模型;Adaboost是將弱學習器結合創(chuàng)造一個強學習器的機器學習方法;XGBoost是一種改進的梯度提升迭代決策樹(GBDT)算法。

2.4 模型評估

采取RMSE,R2和RPD三個指標對反演模型進行對比和評價。

poYBAGQbsk-AVbcYAAAYqOGNwY4539.png

pYYBAGQbslCADJpQAAEiJNOykM4286.png

結果與討論

3.1 原始光譜及數(shù)值統(tǒng)計分析

圖1為樣本水體的原始光譜曲線,水體在550~600nm的反射率較高,在700~750nm的反射率較低。從圖中可以看出每個水體樣本曲線的變化趨勢類似,沒有呈現(xiàn)較大的差異,而且難以直接通過光譜曲線對其COD含量進行判斷。水體樣本的COD值統(tǒng)計結果如表1所示。

poYBAGQbslCAFGPfAAMTZxrnSnY079.png

圖1 水體樣本原始光譜反射率曲線

表1 COD含量描述統(tǒng)計分析

poYBAGQbslGAVcV6AABLGBFGjAQ784.png

圖 2 土壤樣本去包絡的反射率

3.2 光譜預處理結果

使用三種光譜預處理方法對原始光譜進行預處理,預處理后的光譜分布如圖3(a,b,c)所示。經過光譜預處理后,高光譜的數(shù)據(jù)質量得到了一定改善,但還是無法直觀的從光譜曲線上判斷水體的COD含量,因此還需要通過機器學習方法對其建模進行分析。

pYYBAGQbslKAJHyYAAISudVvB8k574.png

圖3 水體樣本預處理后的光譜分布

3.3 反演模型

對原始光譜數(shù)據(jù)和三種不同的預處理方法分別使用四種機器學習模型建模。模型的反演精度與建模的訓練時間如表2—表5所示。由表2—表5中數(shù)據(jù)可以看到,XGBoost在原始光譜以及三種經過預處理數(shù)據(jù)上的建模精度均優(yōu)于其他模型,且訓練時間小于隨機森林模型以及Adaboost模型。線性回歸所建的反演模型表現(xiàn)較差,說明COD與光譜數(shù)據(jù)并沒有直接的線性關系。在所有的模型中,通過XGBooost對經過SG平滑和MSC處理的數(shù)據(jù)所建的反演模型精度最高,其中R2為0.92,RMSE為7.1mg·L-1,RPD為3.4。通過不同預處理方式所得的XGBoost反演模型散點圖如圖4(a—d)所示。

poYBAGQbslOAP6rqAAIjgyjr5Jg098.png

poYBAGQbslOAMuvyAALUrSWmnzM928.png

圖4 不同預處理方法下XGBoost反演模型COD預測值與實測值關系散點圖

結論

在實際生產過程中可根據(jù)實際需求,綜合考慮模型精度?模型訓練時間等因素進行模型的選擇。研究結果表明,基于機器學習的高光譜COD反演模型精度可以達到較高水平,為機器學習在高光譜水質監(jiān)測領域的應用提供了參考。此外,機器學習模型可解釋性需要進一步研究。

歡迎關注公眾號:萊森光學,了解更多光譜知識。

萊森光學(深圳)有限公司是一家提供光機電一體化集成解決方案的高科技公司,我們專注于光譜傳感和光電應用系統(tǒng)的研發(fā)、生產和銷售。

審核編輯黃宇

聲明:本文內容及配圖由入駐作者撰寫或者入駐合作網站授權轉載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網立場。文章及其配圖僅供工程師學習之用,如有內容侵權或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 機器學習
    +關注

    關注

    66

    文章

    8325

    瀏覽量

    132215
  • 高光譜
    +關注

    關注

    0

    文章

    323

    瀏覽量

    9883
收藏 人收藏

    評論

    相關推薦

    光學知識水體COD光譜特性分析

    有機污染物是引起水體污染的主要原因,對水質、水中生物及生態(tài)平衡影響極為嚴重。由于有機污染物種類復雜,在水質評價中多采用綜合性指標來表征有機污染的程度。化學需氧量(COD)便是評價水體
    的頭像 發(fā)表于 04-12 10:40 ?1318次閱讀
    光學知識<b class='flag-5'>水體</b>COD<b class='flag-5'>光譜</b>特性分析

    水體參數(shù)光譜反演模型對比研究

    引言 經濟的發(fā)展提升了人們的生活水平,但有時會對環(huán)境造成嚴重而不可逆的影響,其中水污染尤其嚴重。對水體而言,最嚴重的問題就是氮磷的超標導致水體富營養(yǎng)化,導致水中營養(yǎng)元素過剩,引起水質惡化。因此
    的頭像 發(fā)表于 04-17 16:47 ?1176次閱讀
    <b class='flag-5'>水體</b>參數(shù)<b class='flag-5'>高</b><b class='flag-5'>光譜</b><b class='flag-5'>反演</b><b class='flag-5'>模型</b><b class='flag-5'>對比</b><b class='flag-5'>研究</b>

    部署基于嵌入的機器學習模型

    1、如何在生產中部署基于嵌入的機器學習模型  由于最近大量的研究,機器學習
    發(fā)表于 11-02 15:09

    光譜傳感器CASI與SASI支持下的水體精準提取_張東輝

    光譜傳感器CASI與SASI支持下的水體精準提取_張東輝
    發(fā)表于 03-19 19:04 ?1次下載

    機器學習在遙感光譜圖像中的應用

    為了克服遙感光譜圖像中地面特征的自動化和智能化分類困難,在遙感成像過程中逐漸引入機器學習方法。研究人員提出了基于支持向量機(SVM)、極值
    的頭像 發(fā)表于 10-16 15:43 ?5832次閱讀
    <b class='flag-5'>機器</b><b class='flag-5'>學習</b>在遙感<b class='flag-5'>高</b><b class='flag-5'>光譜</b>圖像中的應用

    機器學習中的無模型化學習算法及研究綜述

    化學習( Reinforcement learning,RL)作為機器學習領域中與監(jiān)督學習、無監(jiān)督學習并列的第三種
    發(fā)表于 04-08 11:41 ?11次下載
    <b class='flag-5'>機器</b><b class='flag-5'>學習</b>中的無<b class='flag-5'>模型</b>強<b class='flag-5'>化學習</b>算法及<b class='flag-5'>研究</b>綜述

    模型化深度強化學習應用研究綜述

    深度強化學習(DRL)作為機器學習的重要分攴,在 Alphago擊敗人類后受到了廣泛關注。DRL以種試錯機制與環(huán)境進行交互,并通過最大化累積獎賞最終得到最優(yōu)策略。強化學習可分為無
    發(fā)表于 04-12 11:01 ?9次下載
    <b class='flag-5'>模型</b>化深度強<b class='flag-5'>化學習</b>應用<b class='flag-5'>研究</b>綜述

    利用反射率、偏振度光譜特性進行葉綠素濃度反演

    對于內陸湖泊等二類水體,由于水體組成成分復雜,不同成分之間光譜特性的相互影響,使得單純的利用反射率光譜進行遙感監(jiān)測出現(xiàn)了信息量不足的情況,導致所建立的葉綠素濃度
    發(fā)表于 05-12 10:43 ?1623次閱讀
    利用反射率、偏振度<b class='flag-5'>光譜</b>特性進行葉綠素濃度<b class='flag-5'>反演</b>

    光譜遙感技術在懸沙水體研究中的應用說明

    0引 ?言 水體中懸浮泥沙影響到水體的透明度和水色等光學性質,?還密切關系到河口海岸沖淤變化過程。采用光譜遙感技術獲得懸沙水體的反射
    的頭像 發(fā)表于 05-13 10:25 ?1323次閱讀
    <b class='flag-5'>高</b><b class='flag-5'>光譜</b>遙感技術在懸沙<b class='flag-5'>水體</b><b class='flag-5'>研究</b>中的應用說明

    光譜遙感技術在地質領域的應用研究

    光譜遙感技術在地質領域的應用主要集中在地物分布反演方向。這一應用是基于提取光譜影像中不同地物在不同波段對電磁波的不同反射率特征,并與實驗室測量已知礦物得到的參照
    的頭像 發(fā)表于 05-17 10:16 ?2842次閱讀

    手持式地物光譜儀對水體葉綠素的光譜特性測試研究

    為什么用地物光譜儀對地物進行測試? 對于地物的測試,傳統(tǒng)的方法有化學法等。隨著光譜學的發(fā)展,現(xiàn)在可以運用光譜法去對地物進行測試,獲取地物自身的信息。無論是植被、土壤、
    的頭像 發(fā)表于 07-03 15:51 ?1021次閱讀
    手持式地物<b class='flag-5'>光譜</b>儀對<b class='flag-5'>水體</b>葉綠素的<b class='flag-5'>光譜</b>特性測試<b class='flag-5'>研究</b>

    機器學習與數(shù)據(jù)挖掘的對比與區(qū)別

    機器學習與數(shù)據(jù)挖掘的對比與區(qū)別? 機器學習和數(shù)據(jù)挖掘是當前互聯(lián)網行業(yè)中最熱門的領域之一。雖然它們之間存在一些
    的頭像 發(fā)表于 08-17 16:11 ?1430次閱讀

    光譜技術估測煙草生化成分的機理和研究進展

    ,同時篩選出一些監(jiān)測參數(shù),并建立了相應的估算模型。煙草生化參數(shù)主要包括有:水分、色素、糖、N、P、K和微量元素等。在農業(yè)遙感信息模型研究、作物冠層光譜、葉片
    的頭像 發(fā)表于 09-19 11:22 ?535次閱讀
    <b class='flag-5'>高</b><b class='flag-5'>光譜</b>技術估測煙草生化成分的機理和<b class='flag-5'>研究</b>進展

    基于光譜的模擬壁畫鹽含量反演

    膨脹松弛,使得顏料表層出現(xiàn)酥堿、鹽霜,甚至發(fā)展為起甲、 脫落病害,造成壁畫的永久損傷。因此利用非接觸式的光譜技術對壁畫所含可溶性鹽進行定量反演具有重要意義。
    的頭像 發(fā)表于 11-06 17:52 ?433次閱讀

    內陸水體藻藍蛋白遙感反演研究進展

    生物化學生態(tài)系統(tǒng)的平衡。在內陸水體中浮游藻類,因其含有的色素可以捕獲太陽光并將其轉化成能量,充當著一切能量的提供者。有研究表明,色素組成及其比例的不同是引起藻類間吸收光譜變化的主要原因
    的頭像 發(fā)表于 02-23 10:38 ?302次閱讀
    內陸<b class='flag-5'>水體</b>藻藍蛋白遙感<b class='flag-5'>反演</b><b class='flag-5'>研究</b>進展