Ground-truth數(shù)據(jù)面臨哪些挑戰(zhàn)？

Ground-truth（真值）是什么？

Ground-truth在機(jī)器學(xué)習(xí)中表示有監(jiān)督學(xué)習(xí)的訓(xùn)練集的分類準(zhǔn)確性，用于證明或者推翻某個假設(shè)。有監(jiān)督的機(jī)器學(xué)習(xí)會對訓(xùn)練數(shù)據(jù)打標(biāo)記，將那些正確打標(biāo)記的數(shù)據(jù)成為ground truth。Ground truth就是參考標(biāo)準(zhǔn)，一般用來做誤差量化，最終用于驗(yàn)證分類算法的準(zhǔn)確性。真值標(biāo)定的輸入一般是視頻文件。真值標(biāo)定既可以手動一幀一幀地標(biāo)定，也可以半自動化標(biāo)定后再手工修正，最終可以將結(jié)果保存成真值數(shù)據(jù)庫。

Ground-truth在自動駕駛汽車產(chǎn)業(yè)具有很高的的附加值，它涉及以下數(shù)據(jù)處理流程：數(shù)據(jù)采集、數(shù)據(jù)標(biāo)注、模型訓(xùn)練、應(yīng)用、驗(yàn)證。擁有最高質(zhì)量Ground-truth數(shù)據(jù)的公司將會處于自動駕駛汽車的最前沿。

Ground-truth質(zhì)量影響算法質(zhì)量。

一、Ground-truth數(shù)據(jù)面臨哪些挑戰(zhàn)

丟失或模糊的對象

不一致的標(biāo)記（行人手中有物體或沒有物體）

不同種類車輛之間不明確的邊界

系統(tǒng)性的標(biāo)記誤差

不精確性

定義不佳的需求

1.1 丟失或模糊的對象

1.2 不一致的標(biāo)記 （行人手中有物體或沒有物體）

1.3 不同種類車輛之間不明確的邊界

1.4 系統(tǒng)化標(biāo)記誤差

原始的標(biāo)記框不精確，通過對頂部和底部的修正以及更詳細(xì)的注釋使得標(biāo)記框更加精確。

二、實(shí)驗(yàn)：Ground Truth質(zhì)量對于算法性能的影響

2.1 實(shí)驗(yàn)

我們展示了標(biāo)記框?qū)嶒?yàn)的初步結(jié)果

1. 復(fù)合分類（定義不佳的標(biāo)簽需求）

2. 不精確的真值標(biāo)記

復(fù)合分類

圖中騎車人和行人被標(biāo)記了出來，自行車沒有被標(biāo)記出來。

2.2 復(fù)合Caltech：新數(shù)據(jù)集

行人與攜帶行李的行人的對比

Caltech完成了從原始不精確標(biāo)記框到更為精確的標(biāo)記框，再到高質(zhì)量復(fù)合型標(biāo)記框的轉(zhuǎn)變。

2.3 復(fù)合型Caltech訓(xùn)練

1. 用于重復(fù)性結(jié)果的框外物體檢測器

2. 體系結(jié)構(gòu)：更快的 rcnn_resnet101_coco （coco預(yù)訓(xùn)練）

3. Caltech數(shù)據(jù)庫微調(diào)（任何一個變量都有一個獨(dú)立的模型，沒有超參數(shù)調(diào)優(yōu)）

2.4 Caltech檢測器評估

初步結(jié)果：復(fù)合Caltech降低了精確度

2.5 扭曲VOC邊界框

2.6實(shí)驗(yàn)總結(jié)

標(biāo)記不精確(質(zhì)量)對高精度區(qū)域的性能影響顯著。

三、解決方案

加速標(biāo)注過程：更高速、精確并且具有成本效益

人工標(biāo)注過程從90分鐘壓縮到35分鐘

可視化不確定的地方，引導(dǎo)標(biāo)記人員

四、Understand.ai 質(zhì)量保證辦法

一是依靠智能算法

深度學(xué)習(xí)推理，與不確定性計(jì)算共同加快標(biāo)注員的工作

算法質(zhì)量檢測與物體追蹤

二是依靠人類智慧

每一幅圖像都經(jīng)過人類標(biāo)注員的驗(yàn)證

通過內(nèi)部專家提供額外的質(zhì)量保證

通過智能算法與人類智慧，共同完成高質(zhì)量的標(biāo)注。

通過算法推薦，計(jì)算不確定的地方，以及標(biāo)記人員解決不確定性的地方，共同完成高質(zhì)量的標(biāo)注。

LIDAR標(biāo)注

通過算法和工具，使得速度最高能提高5倍。