在多年前,當多倫多大學(xué)的一個團隊使用經(jīng)過訓(xùn)練而不是設(shè)計來識別圖像的卷積神經(jīng)網(wǎng)絡(luò)贏得 Imagenet 挑戰(zhàn)賽時,在計算世界的一個有點不起眼的角落發(fā)生了重大震動。該團隊和其他團隊不僅擊敗了最好的檢測算法,而且在許多圖像分類任務(wù)中都超越了人類。現(xiàn)在,僅僅幾年后,深度神經(jīng)網(wǎng)絡(luò)似乎是不可避免的。
即使在2012年,機器學(xué)習(xí)也不是什么新鮮事物,事實上,到目前為止,幾乎所有的分類軟件都進行了一些訓(xùn)練。但它們在某種程度上都依賴于人工設(shè)計的特征提取算法。這個新解決方案(后來以首席研究員的名字命名為 AlexNet)的不同之處在于,它沒有這種人工設(shè)計的算法,并且完全通過監(jiān)督學(xué)習(xí)獲得了結(jié)果。
這一發(fā)現(xiàn)對整個計算領(lǐng)域的影響已經(jīng)在與圖像分類相距甚遠的領(lǐng)域產(chǎn)生了巨大的影響,隨著研究人員學(xué)習(xí)如何將深度學(xué)習(xí)技術(shù)應(yīng)用于更多領(lǐng)域,預(yù)計它帶來的變化在未來會更加深遠。以及越來越多的領(lǐng)域中的更多問題。對深度學(xué)習(xí)的熱情甚至導(dǎo)致一些評論員預(yù)測依賴于設(shè)計算法的經(jīng)典軟件創(chuàng)作的終結(jié),取而代之的是經(jīng)過大量數(shù)據(jù)訓(xùn)練的網(wǎng)絡(luò)。
軟件解決方案從數(shù)據(jù)暴露演變的愿景有一些引人注目的方面:通過實例進行培訓(xùn)為軟件提供了真正的大規(guī)模制造技術(shù)的可能性。目前,軟件制造處于工業(yè)化前階段,每個應(yīng)用程序都是定制設(shè)計的,就像客車制造的汽車一樣。借助標準算法平臺(網(wǎng)絡(luò))和自動化培訓(xùn)環(huán)境,深度學(xué)習(xí)可以為軟件做亨利福特為汽車制造所做的事情。
無論您是否同意這一愿景,深度學(xué)習(xí)的關(guān)鍵特征在于它取決于數(shù)據(jù)的可用性,因此,特定領(lǐng)域的專業(yè)知識變得不如相關(guān)數(shù)據(jù)的所有權(quán)重要。正如深度學(xué)習(xí)先驅(qū) Andrew Ng 所說:“獲勝的不是擁有最好算法的人,而是擁有最多數(shù)據(jù)的人?!?這是希望過渡到新范式的公司面臨的核心問題:他們從哪里獲取數(shù)據(jù)?
行為數(shù)據(jù)的作用
對于依賴在線行為數(shù)據(jù)的公司來說,答案是顯而易見的,我們所有瀏覽習(xí)慣的記錄、跟蹤和轉(zhuǎn)售現(xiàn)在無處不在,以至于它們的開銷都支配了我們的在線體驗。對于與現(xiàn)實世界打交道更密切的公司來說,解決方案不太方便。Waymo 是自動駕駛汽車領(lǐng)域最知名的品牌,它通過部署儀表汽車車隊來繪制位置圖并記錄現(xiàn)實世界的攝像頭、雷達和其他數(shù)據(jù),然后將這些數(shù)據(jù)輸入其感知軟件,從而解決了這個問題。該領(lǐng)域的其他參與者也以較小的方式效仿,但即使是擁有數(shù)百萬英里行駛里程和大量可用數(shù)據(jù)的 Waymo,也發(fā)現(xiàn)它不足以完成這項任務(wù)。
首先,并非所有數(shù)據(jù)都是平等的:為了有用,它必須經(jīng)過準確和徹底的注釋,即使在今天,這仍然是一項昂貴且容易出錯的業(yè)務(wù)。經(jīng)過幾年努力使流程自動化,亞馬遜的 Mechanical Turk 仍然是注釋數(shù)據(jù)的首選方法。除了被注釋之外,為了有用,數(shù)據(jù)必須是相關(guān)的,當相關(guān)性取決于任何給定事件的不常見、危險或完全非法時,這是一個主要問題??煽?、相關(guān)的真實數(shù)據(jù)很難獲得,以至于 Waymo 已經(jīng)開始在沙漠中建立自己的模擬城市,在那里它可以模擬在受控條件下所需的行為。
但是在好萊塢可以制作完全令人信服的 CGI 場景的世界中,必須有可能使用這種能力為現(xiàn)實世界場景創(chuàng)建訓(xùn)練數(shù)據(jù),當然,確實如此。幾年來,該行業(yè)一直在朝著這個方向發(fā)展,一個研究人員團隊開發(fā)了一種方法來注釋俠盜獵車手的序列。Udacity 有一個用于自動駕駛汽車模擬器的開源項目,作為其自動駕駛汽車納米學(xué)位的一部分。
與 Udacity 示例一樣,大多數(shù)可用的模擬器旨在實現(xiàn)驗證循環(huán)以測試經(jīng)過訓(xùn)練的感知堆棧,而不是生成主要用于訓(xùn)練本身的數(shù)據(jù)。那些確實存在的數(shù)據(jù)模擬器被汽車公司及其初創(chuàng)競爭對手緊緊抓住,展示了他們產(chǎn)生的數(shù)據(jù)的基本價值。
那么,合成數(shù)據(jù)真的可以成功地用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)嗎?需要多少和什么樣的數(shù)據(jù)才能完成這項工作?
什么是 KITTI?
總部位于帕洛阿爾托的Highwai發(fā)布了其試點研究的結(jié)果,該研究使用 KITTI 數(shù)據(jù)集作為起點,以檢查用于增強 KITTI 提供的注釋圖像的完全合成數(shù)據(jù)集可能獲得的收益。
訓(xùn)練圖像是使用 Highwai 的真實世界模擬器制作的,其中包括從市區(qū)和住宅郊區(qū)場景拍攝的許多序列,這些場景中擠滿了各種車輛、行人和自行車。目的是對象檢測和分類,而不是跟蹤,因此將捕獲幀速率設(shè)置為較低,以便在保持數(shù)據(jù)集大小適中的同時捕獲各種圖像。圖像是在一系列條件下拍攝的,包括相機高度和視野、由于一天中的時間和大氣影響(如霧和霾)引起的照明和陰影變化。雖然 Highwai 的工具支持 LIDAR,但在這種情況下只捕獲了可見光相機數(shù)據(jù)。注釋包括諸如“行人、
使用 Highwai 的數(shù)據(jù)增強工具包為訓(xùn)練準備數(shù)據(jù),以添加相機傳感器噪聲、圖像壓縮噪聲、向圖像添加“干擾”對象并使訓(xùn)練對顏色不敏感。在此過程結(jié)束時,合成數(shù)據(jù)集的總大小為 5,000 張圖像中的 54,443 個對象。(相比之下,原始 KITTI 數(shù)據(jù)集中有 37,164 個對象和 7,000 個圖像)。生成數(shù)據(jù)、擴充數(shù)據(jù)并將其添加到訓(xùn)練數(shù)據(jù)集的總時間不到兩個小時。
使用的基礎(chǔ)網(wǎng)絡(luò)是一個 Faster RCNN Inception Resnet,它被預(yù)訓(xùn)練為上下文中常見對象 (COCO) 數(shù)據(jù)集上的對象檢測器,并進行了兩次補充重新訓(xùn)練;首先僅使用 KITTI 數(shù)據(jù)集生成基線,然后結(jié)合 KITTI 和 Highwai 合成數(shù)據(jù)集。測試是在 KITTI 參考測試數(shù)據(jù)集上完成的,該數(shù)據(jù)集僅包含真實世界的圖像,并且在僅 KITTI 和 KITTI 加合成訓(xùn)練之間顯示出顯著的性能提升。添加合成數(shù)據(jù)后,識別率總體提高了 5.9%,對汽車和行人的檢測顯著提高——這一結(jié)果并不令人驚訝,因為 Highwai 合成數(shù)據(jù)集集中在這些對象類型上。
需要多少訓(xùn)練數(shù)據(jù)的問題沒有很好的答案,但 Highwai 指出高度針對性的數(shù)據(jù)管理對于將其保持在合理范圍內(nèi)至關(guān)重要。一個很好的例子是他們?yōu)橐粋€未公開的對象檢測項目創(chuàng)建的數(shù)據(jù)集,其中實際用于訓(xùn)練的圖像和注釋數(shù)據(jù)總量約為 15GB。最初的大約 12,000 張圖像包含大約 120,000 個帶注釋的對象,是從 30,000 個圖像和 500,000 個帶注釋的對象的原始集合中自動整理出來的。
像這樣的結(jié)果對于獨立軟件制造商以及系統(tǒng)集成商和 OEM 來說都很重要。當然,他們可以使用亞馬遜的服務(wù)來幫助訓(xùn)練網(wǎng)絡(luò),但如果價值在于數(shù)據(jù),那么商業(yè)可行性要求他們能夠在該領(lǐng)域創(chuàng)建 IP——他們必須能夠使用自己的領(lǐng)域?qū)I(yè)知識創(chuàng)建自己的訓(xùn)練數(shù)據(jù)來指定、優(yōu)化和管理數(shù)據(jù)集。這意味著旨在生產(chǎn)此類 IP 的工具行業(yè)的出現(xiàn)是重要的一步,將受到歡迎。我們可以期待看到使用合成訓(xùn)練數(shù)據(jù)的專業(yè)知識的快速發(fā)展,以及生產(chǎn)它的工具的同樣快速發(fā)展。
審核編輯:郭婷
-
神經(jīng)網(wǎng)絡(luò)
+關(guān)注
關(guān)注
42文章
4729瀏覽量
100347 -
模擬器
+關(guān)注
關(guān)注
2文章
862瀏覽量
43091 -
機器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8330瀏覽量
132220
發(fā)布評論請先 登錄
相關(guān)推薦
評論