模擬使軟件工程師能夠生成訓(xùn)練神經(jīng)網(wǎng)絡(luò)所需的數(shù)據(jù)

在多年前，當多倫多大學(xué)的一個團隊使用經(jīng)過訓(xùn)練而不是設(shè)計來識別圖像的卷積神經(jīng)網(wǎng)絡(luò)贏得 Imagenet 挑戰(zhàn)賽時，在計算世界的一個有點不起眼的角落發(fā)生了重大震動。該團隊和其他團隊不僅擊敗了最好的檢測算法，而且在許多圖像分類任務(wù)中都超越了人類。現(xiàn)在，僅僅幾年后，深度神經(jīng)網(wǎng)絡(luò)似乎是不可避免的。

即使在2012年，機器學(xué)習(xí)也不是什么新鮮事物，事實上，到目前為止，幾乎所有的分類軟件都進行了一些訓(xùn)練。但它們在某種程度上都依賴于人工設(shè)計的特征提取算法。這個新解決方案（后來以首席研究員的名字命名為 AlexNet）的不同之處在于，它沒有這種人工設(shè)計的算法，并且完全通過監(jiān)督學(xué)習(xí)獲得了結(jié)果。

這一發(fā)現(xiàn)對整個計算領(lǐng)域的影響已經(jīng)在與圖像分類相距甚遠的領(lǐng)域產(chǎn)生了巨大的影響，隨著研究人員學(xué)習(xí)如何將深度學(xué)習(xí)技術(shù)應(yīng)用于更多領(lǐng)域，預(yù)計它帶來的變化在未來會更加深遠。以及越來越多的領(lǐng)域中的更多問題。對深度學(xué)習(xí)的熱情甚至導(dǎo)致一些評論員預(yù)測依賴于設(shè)計算法的經(jīng)典軟件創(chuàng)作的終結(jié)，取而代之的是經(jīng)過大量數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)。

軟件解決方案從數(shù)據(jù)暴露演變的愿景有一些引人注目的方面：通過實例進行培訓(xùn)為軟件提供了真正的大規(guī)模制造技術(shù)的可能性。目前，軟件制造處于工業(yè)化前階段，每個應(yīng)用程序都是定制設(shè)計的，就像客車制造的汽車一樣。借助標準算法平臺（網(wǎng)絡(luò)）和自動化培訓(xùn)環(huán)境，深度學(xué)習(xí)可以為軟件做亨利福特為汽車制造所做的事情。

無論您是否同意這一愿景，深度學(xué)習(xí)的關(guān)鍵特征在于它取決于數(shù)據(jù)的可用性，因此，特定領(lǐng)域的專業(yè)知識變得不如相關(guān)數(shù)據(jù)的所有權(quán)重要。正如深度學(xué)習(xí)先驅(qū) Andrew Ng 所說：“獲勝的不是擁有最好算法的人，而是擁有最多數(shù)據(jù)的人?！?這是希望過渡到新范式的公司面臨的核心問題：他們從哪里獲取數(shù)據(jù)？

行為數(shù)據(jù)的作用

對于依賴在線行為數(shù)據(jù)的公司來說，答案是顯而易見的，我們所有瀏覽習(xí)慣的記錄、跟蹤和轉(zhuǎn)售現(xiàn)在無處不在，以至于它們的開銷都支配了我們的在線體驗。對于與現(xiàn)實世界打交道更密切的公司來說，解決方案不太方便。Waymo 是自動駕駛汽車領(lǐng)域最知名的品牌，它通過部署儀表汽車車隊來繪制位置圖并記錄現(xiàn)實世界的攝像頭、雷達和其他數(shù)據(jù)，然后將這些數(shù)據(jù)輸入其感知軟件，從而解決了這個問題。該領(lǐng)域的其他參與者也以較小的方式效仿，但即使是擁有數(shù)百萬英里行駛里程和大量可用數(shù)據(jù)的 Waymo，也發(fā)現(xiàn)它不足以完成這項任務(wù)。

首先，并非所有數(shù)據(jù)都是平等的：為了有用，它必須經(jīng)過準確和徹底的注釋，即使在今天，這仍然是一項昂貴且容易出錯的業(yè)務(wù)。經(jīng)過幾年努力使流程自動化，亞馬遜的 Mechanical Turk 仍然是注釋數(shù)據(jù)的首選方法。除了被注釋之外，為了有用，數(shù)據(jù)必須是相關(guān)的，當相關(guān)性取決于任何給定事件的不常見、危險或完全非法時，這是一個主要問題?？煽?、相關(guān)的真實數(shù)據(jù)很難獲得，以至于 Waymo 已經(jīng)開始在沙漠中建立自己的模擬城市，在那里它可以模擬在受控條件下所需的行為。

但是在好萊塢可以制作完全令人信服的 CGI 場景的世界中，必須有可能使用這種能力為現(xiàn)實世界場景創(chuàng)建訓(xùn)練數(shù)據(jù)，當然，確實如此。幾年來，該行業(yè)一直在朝著這個方向發(fā)展，一個研究人員團隊開發(fā)了一種方法來注釋俠盜獵車手的序列。Udacity 有一個用于自動駕駛汽車模擬器的開源項目，作為其自動駕駛汽車納米學(xué)位的一部分。

與 Udacity 示例一樣，大多數(shù)可用的模擬器旨在實現(xiàn)驗證循環(huán)以測試經(jīng)過訓(xùn)練的感知堆棧，而不是生成主要用于訓(xùn)練本身的數(shù)據(jù)。那些確實存在的數(shù)據(jù)模擬器被汽車公司及其初創(chuàng)競爭對手緊緊抓住，展示了他們產(chǎn)生的數(shù)據(jù)的基本價值。

那么，合成數(shù)據(jù)真的可以成功地用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)嗎？需要多少和什么樣的數(shù)據(jù)才能完成這項工作？

什么是 KITTI？

總部位于帕洛阿爾托的Highwai發(fā)布了其試點研究的結(jié)果，該研究使用 KITTI 數(shù)據(jù)集作為起點，以檢查用于增強 KITTI 提供的注釋圖像的完全合成數(shù)據(jù)集可能獲得的收益。

訓(xùn)練圖像是使用 Highwai 的真實世界模擬器制作的，其中包括從市區(qū)和住宅郊區(qū)場景拍攝的許多序列，這些場景中擠滿了各種車輛、行人和自行車。目的是對象檢測和分類，而不是跟蹤，因此將捕獲幀速率設(shè)置為較低，以便在保持數(shù)據(jù)集大小適中的同時捕獲各種圖像。圖像是在一系列條件下拍攝的，包括相機高度和視野、由于一天中的時間和大氣影響（如霧和霾）引起的照明和陰影變化。雖然 Highwai 的工具支持 LIDAR，但在這種情況下只捕獲了可見光相機數(shù)據(jù)。注釋包括諸如“行人、

使用 Highwai 的數(shù)據(jù)增強工具包為訓(xùn)練準備數(shù)據(jù)，以添加相機傳感器噪聲、圖像壓縮噪聲、向圖像添加“干擾”對象并使訓(xùn)練對顏色不敏感。在此過程結(jié)束時，合成數(shù)據(jù)集的總大小為 5，000 張圖像中的 54，443 個對象。（相比之下，原始 KITTI 數(shù)據(jù)集中有 37，164 個對象和 7，000 個圖像）。生成數(shù)據(jù)、擴充數(shù)據(jù)并將其添加到訓(xùn)練數(shù)據(jù)集的總時間不到兩個小時。

使用的基礎(chǔ)網(wǎng)絡(luò)是一個 Faster RCNN Inception Resnet，它被預(yù)訓(xùn)練為上下文中常見對象 （COCO） 數(shù)據(jù)集上的對象檢測器，并進行了兩次補充重新訓(xùn)練；首先僅使用 KITTI 數(shù)據(jù)集生成基線，然后結(jié)合 KITTI 和 Highwai 合成數(shù)據(jù)集。測試是在 KITTI 參考測試數(shù)據(jù)集上完成的，該數(shù)據(jù)集僅包含真實世界的圖像，并且在僅 KITTI 和 KITTI 加合成訓(xùn)練之間顯示出顯著的性能提升。添加合成數(shù)據(jù)后，識別率總體提高了 5.9%，對汽車和行人的檢測顯著提高——這一結(jié)果并不令人驚訝，因為 Highwai 合成數(shù)據(jù)集集中在這些對象類型上。

需要多少訓(xùn)練數(shù)據(jù)的問題沒有很好的答案，但 Highwai 指出高度針對性的數(shù)據(jù)管理對于將其保持在合理范圍內(nèi)至關(guān)重要。一個很好的例子是他們?yōu)橐粋€未公開的對象檢測項目創(chuàng)建的數(shù)據(jù)集，其中實際用于訓(xùn)練的圖像和注釋數(shù)據(jù)總量約為 15GB。最初的大約 12，000 張圖像包含大約 120，000 個帶注釋的對象，是從 30，000 個圖像和 500，000 個帶注釋的對象的原始集合中自動整理出來的。

像這樣的結(jié)果對于獨立軟件制造商以及系統(tǒng)集成商和 OEM 來說都很重要。當然，他們可以使用亞馬遜的服務(wù)來幫助訓(xùn)練網(wǎng)絡(luò)，但如果價值在于數(shù)據(jù)，那么商業(yè)可行性要求他們能夠在該領(lǐng)域創(chuàng)建 IP——他們必須能夠使用自己的領(lǐng)域?qū)I(yè)知識創(chuàng)建自己的訓(xùn)練數(shù)據(jù)來指定、優(yōu)化和管理數(shù)據(jù)集。這意味著旨在生產(chǎn)此類 IP 的工具行業(yè)的出現(xiàn)是重要的一步，將受到歡迎。我們可以期待看到使用合成訓(xùn)練數(shù)據(jù)的專業(yè)知識的快速發(fā)展，以及生產(chǎn)它的工具的同樣快速發(fā)展。

審核編輯：郭婷