發(fā)布人:Google Research 軟件工程師 Candice Schumann 和 Susanna Ricco
2016 年,我們推出了 Open Images。此協(xié)作版本包含約 900 萬(wàn)張含有標(biāo)簽的圖像,涵蓋數(shù)千個(gè)對(duì)象類別和 600 個(gè)類的邊界框注釋。從那之后,我們進(jìn)行了多次更新,如將眾包數(shù)據(jù)發(fā)布到 Open Images Extended 合集,以此提高對(duì)象注釋的多樣性。
更新
https://ai.googleblog.com/2019/05/announcing-open-images-v5-and-iccv-2019.html
Open Images Extended
https://storage.googleapis.com/openimages/web/extended.html
雖然這些數(shù)據(jù)集提供的標(biāo)簽擴(kuò)展性很強(qiáng),但此類標(biāo)簽并沒(méi)有關(guān)注人物的敏感屬性,這些屬性對(duì)于許多機(jī)器學(xué)習(xí) (ML) 公平性任務(wù)(例如公平性評(píng)估和偏見(jiàn)緩解)至關(guān)重要。事實(shí)上,找到包含徹底標(biāo)記此類敏感屬性的數(shù)據(jù)集是很困難的,尤其是在計(jì)算機(jī)視覺(jué)領(lǐng)域。
公平性任務(wù)
https://developers.google.com/machine-learning/crash-course/fairness/video-lecture
今天,我們?cè)?Open Images Extended 合集中引入了更具包容性的人物注釋 (MIAP) 數(shù)據(jù)集。此合集包含更多完整的邊界框注釋,用于包含 10 萬(wàn)張人物圖像中的的人物類層級(jí)結(jié)構(gòu)。每個(gè)注釋還帶有可感知到的性別呈現(xiàn)和年齡范圍等公平相關(guān)屬性的標(biāo)簽。作為 Responsible AI 研究的一部分,越來(lái)越多的人開始關(guān)注如何減少不公平偏見(jiàn),我們希望這些注釋能夠激勵(lì)已經(jīng)在使用 Open Images 的研究者,將公平分析納入他們的研究中。
Responsible AI 研究
https://ai.google/principles/
交叉描述通過(guò)為現(xiàn)有圖像-描述對(duì)和輔助描述添加語(yǔ)義相似度人工評(píng)分來(lái)擴(kuò)展 MS-COCO 評(píng)估集(實(shí)線),并通過(guò)為新的圖像-描述、描述-描述和圖像-圖像對(duì)添加人工評(píng)分來(lái)提高評(píng)分密度(虛線)*
Open Images 中的注釋
原始 Open Images 數(shù)據(jù)集中的每個(gè)圖像都包含圖像級(jí)注釋(寬泛地描述圖像)和包圍特定對(duì)象的邊界框。為了避免對(duì)同一個(gè)對(duì)象繪制多個(gè)邊界框,我們從標(biāo)簽候選集中臨時(shí)刪減了具體性較弱的類,我們將這一過(guò)程稱為層級(jí)去重。舉個(gè)例子,若一個(gè)圖像的標(biāo)簽包括動(dòng)物、 貓,和洗衣機(jī)則該圖像的注釋邊界框?yàn)樨埡拖匆聶C(jī),而不會(huì)注釋多余的類 ——?jiǎng)游铩?/p>
圖像級(jí)注釋
https://cloud.google.com/vision/docs/labels
邊界框
https://cloud.google.com/vision/docs/object-localizer
MIAP 數(shù)據(jù)集可用于原始 Open Images 數(shù)據(jù),集中人物 層級(jí)包含的五個(gè)類:人物、男人、女人、男孩、女孩。由于這些標(biāo)簽的存在,Open Images 數(shù)據(jù)集對(duì)于推進(jìn) Responsible AI 的研究具有獨(dú)特的價(jià)值,能夠幫助開發(fā)者訓(xùn)練通用的人物檢測(cè)器,訪問(wèn)性別和年齡范圍特定的標(biāo)簽,以實(shí)現(xiàn)公平分析和偏見(jiàn)緩解。
Responsible AI
https://ai.google/responsibilities/responsible-ai-practices/
人物檢測(cè)器
https://cloud.google.com/video-intelligence/docs/people-detection
然而,我們發(fā)現(xiàn)結(jié)合了層級(jí)去重和女人/女孩與男人/男孩之間的社會(huì)性區(qū)別后,原始注釋會(huì)受到限制。舉個(gè)例子,如果要求注釋器針對(duì)女孩這一分類繪制邊界框,它們便不會(huì)在圖像中的男孩周圍繪制邊界框。注釋器可能會(huì)也可能不會(huì)在某位女性周圍繪制邊界框,這取決于其對(duì)個(gè)人年齡的評(píng)估以及對(duì)女孩這一概念的文化性理解。此類判斷在不同圖像中可能會(huì)存在不一致,這取決于單獨(dú)的注釋器的文化背景、圖像人物的外表和場(chǎng)景的上下文。因此,某些圖像中的邊界框注釋會(huì)不完整,一些較為顯眼的人物沒(méi)有得到注釋。
MIAP 中的注釋
新的 MIAP 注釋旨在解決這些限制,實(shí)現(xiàn)讓 Open Images 成為推動(dòng)機(jī)器學(xué)習(xí)公平性研究取得新進(jìn)展的數(shù)據(jù)集的保障。我們不要求注釋器為層級(jí)結(jié)構(gòu)中最具體的類(例如,女孩)繪制邊界框,而是將此程序反過(guò)來(lái),要求它們?yōu)樾詣e和年齡未知的人物分類繪制邊界框。
所有人物邊界框?qū)脮r(shí)都將獲得感知到的性別呈現(xiàn)(很大可能是女性、很大可能是男性,或未知)以及年齡呈現(xiàn)(青年、中年、老年,或未知)等標(biāo)簽。我們認(rèn)識(shí)到性別不是二元的,個(gè)人的性別認(rèn)同可能與其感知或預(yù)期的性別呈現(xiàn)不符,為了緩解無(wú)意識(shí)偏見(jiàn)對(duì)注釋的影響,這里提示:注釋器,與性別呈現(xiàn)相關(guān)的規(guī)范因文化而異,且會(huì)隨時(shí)間的推移而變化。
這個(gè)過(guò)程添加了大量先前丟失的邊界框。
在包含人物的 10 萬(wàn)張圖像中,人物邊界框的數(shù)量從 35.8 萬(wàn)左右增加到 45.4 萬(wàn)左右。各個(gè)感知性別呈現(xiàn)和感知年齡呈現(xiàn)的邊界框數(shù)量持續(xù)增加。這些新注釋為人物檢測(cè)器的訓(xùn)練提供了更完整的基本事實(shí),并提供了更準(zhǔn)確的子組標(biāo)簽,以將公平性納入計(jì)算機(jī)視覺(jué)研究。
預(yù)期用例
我們?yōu)槿宋镞吔缈虻母兄挲g范圍和性別呈現(xiàn)納入了注釋,因?yàn)槲覀冋J(rèn)為有必要添加此類注釋,以便提高能力,實(shí)現(xiàn)更好的理解以及努力緩解并消除圖像理解領(lǐng)域,受保護(hù)子組之間的不公平偏見(jiàn)或不同性能。
我們注意到,標(biāo)簽捕獲的性別和年齡范圍是第三方僅根據(jù)視覺(jué)線索,而不是個(gè)人的自我認(rèn)知性別或?qū)嶋H年齡評(píng)估出來(lái)的。我們不支持也不容忍構(gòu)建或部署根據(jù)這些注釋訓(xùn)練的性別或年齡呈現(xiàn)分類器,因?yàn)槲覀冋J(rèn)為在公平性研究之外使用這些技術(shù)的相關(guān)風(fēng)險(xiǎn)大于任何潛在好處。
風(fēng)險(xiǎn)
https://dl.acm.org/doi/10.1145/3173574.3173582
致謝
這項(xiàng)研究背后的核心團(tuán)隊(duì)成員包括 Utsav Prabhu、Vittorio Ferrari 和 Caroline Pantofaru。同時(shí),我們還要感謝 Alex Hanna、Reena Jana、Alina Kuznetsova、Matteo Malloci、Stefano Pellegrini、Jordi Pont-Tuset 和 Mahima Pushkarna 對(duì)本項(xiàng)目的貢獻(xiàn)。
編輯:jq
-
AI
+關(guān)注
關(guān)注
87文章
29397瀏覽量
267691 -
計(jì)算機(jī)視覺(jué)
+關(guān)注
關(guān)注
8文章
1690瀏覽量
45875 -
機(jī)器學(xué)習(xí)
+關(guān)注
關(guān)注
66文章
8323瀏覽量
132177 -
數(shù)據(jù)集
+關(guān)注
關(guān)注
4文章
1199瀏覽量
24592
原文標(biāo)題:最新進(jìn)展:將包容性人物注釋納入 Open Image Extended 數(shù)據(jù)集
文章出處:【微信號(hào):yingjiansanrenxing,微信公眾號(hào):硬件三人行】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論