Ground-truth(真值)是什么?
Ground-truth在機(jī)器學(xué)習(xí)中表示有監(jiān)督學(xué)習(xí)的訓(xùn)練集的分類準(zhǔn)確性,用于證明或者推翻某個假設(shè)。有監(jiān)督的機(jī)器學(xué)習(xí)會對訓(xùn)練數(shù)據(jù)打標(biāo)記,將那些正確打標(biāo)記的數(shù)據(jù)成為ground truth。Ground truth就是參考標(biāo)準(zhǔn),一般用來做誤差量化,最終用于驗(yàn)證分類算法的準(zhǔn)確性。真值標(biāo)定的輸入一般是視頻文件。真值標(biāo)定既可以手動一幀一幀地標(biāo)定,也可以半自動化標(biāo)定后再手工修正,最終可以將結(jié)果保存成真值數(shù)據(jù)庫。
Ground-truth在自動駕駛汽車產(chǎn)業(yè)具有很高的的附加值,它涉及以下數(shù)據(jù)處理流程:數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、模型訓(xùn)練、應(yīng)用、驗(yàn)證。擁有最高質(zhì)量Ground-truth數(shù)據(jù)的公司將會處于自動駕駛汽車的最前沿。
Ground-truth質(zhì)量影響算法質(zhì)量。
一、Ground-truth數(shù)據(jù)面臨哪些挑戰(zhàn)
丟失或模糊的對象
不一致的標(biāo)記(行人手中有物體或沒有物體)
不同種類車輛之間不明確的邊界
系統(tǒng)性的標(biāo)記誤差
不精確性
定義不佳的需求
1.1 丟失或模糊的對象
1.2 不一致的標(biāo)記 (行人手中有物體或沒有物體)
1.3 不同種類車輛之間不明確的邊界
1.4 系統(tǒng)化標(biāo)記誤差
原始的標(biāo)記框不精確,通過對頂部和底部的修正以及更詳細(xì)的注釋使得標(biāo)記框更加精確。
二、實(shí)驗(yàn):Ground Truth質(zhì)量對于算法性能的影響
2.1 實(shí)驗(yàn)
我們展示了標(biāo)記框?qū)嶒?yàn)的初步結(jié)果
1. 復(fù)合分類(定義不佳的標(biāo)簽需求)
2. 不精確的真值標(biāo)記
復(fù)合分類
圖中騎車人和行人被標(biāo)記了出來,自行車沒有被標(biāo)記出來。
2.2 復(fù)合Caltech:新數(shù)據(jù)集
行人與攜帶行李的行人的對比
Caltech完成了從原始不精確標(biāo)記框到更為精確的標(biāo)記框,再到高質(zhì)量復(fù)合型標(biāo)記框的轉(zhuǎn)變。
2.3 復(fù)合型Caltech訓(xùn)練
1. 用于重復(fù)性結(jié)果的框外物體檢測器
2. 體系結(jié)構(gòu):更快的 rcnn_resnet101_coco (coco預(yù)訓(xùn)練)
3. Caltech數(shù)據(jù)庫微調(diào)(任何一個變量都有一個獨(dú)立的模型,沒有超參數(shù)調(diào)優(yōu))
2.4 Caltech檢測器評估
Caltech | 改進(jìn)的Caltech | 復(fù)合Caltech | |
mAP@0.5 | 0.2170 | 0.3030 | 0.2916 |
初步結(jié)果:復(fù)合Caltech降低了精確度
2.5 扭曲VOC邊界框
2.6實(shí)驗(yàn)總結(jié)
標(biāo)記不精確(質(zhì)量)對高精度區(qū)域的性能影響顯著。
三、解決方案
加速標(biāo)注過程:更高速、精確并且具有成本效益
人工標(biāo)注過程從90分鐘壓縮到35分鐘
可視化不確定的地方,引導(dǎo)標(biāo)記人員
一是依靠智能算法
深度學(xué)習(xí)推理,與不確定性計(jì)算共同加快標(biāo)注員的工作
算法質(zhì)量檢測與物體追蹤
二是依靠人類智慧
每一幅圖像都經(jīng)過人類標(biāo)注員的驗(yàn)證
通過內(nèi)部專家提供額外的質(zhì)量保證
通過智能算法與人類智慧,共同完成高質(zhì)量的標(biāo)注。
通過算法推薦,計(jì)算不確定的地方,以及標(biāo)記人員解決不確定性的地方,共同完成高質(zhì)量的標(biāo)注。
LIDAR標(biāo)注
通過算法和工具,使得速度最高能提高5倍。
-
數(shù)據(jù)庫
+關(guān)注
關(guān)注
7文章
3739瀏覽量
64173 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8323瀏覽量
132177 -
自動駕駛
+關(guān)注
關(guān)注
782文章
13540瀏覽量
165744
原文標(biāo)題:Ground-truth質(zhì)量是算法質(zhì)量的關(guān)鍵
文章出處:【微信號:zuosiqiche,微信公眾號:佐思汽車研究】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論