Open Images Extended合集中引入了更具包容性的人物注釋MIAP數(shù)據(jù)集

發(fā)布人：Google Research 軟件工程師 Candice Schumann 和 Susanna Ricco

2016 年，我們推出了 Open Images。此協(xié)作版本包含約 900 萬(wàn)張含有標(biāo)簽的圖像，涵蓋數(shù)千個(gè)對(duì)象類別和 600 個(gè)類的邊界框注釋。從那之后，我們進(jìn)行了多次更新，如將眾包數(shù)據(jù)發(fā)布到 Open Images Extended 合集，以此提高對(duì)象注釋的多樣性。

更新

https://ai.googleblog.com/2019/05/announcing-open-images-v5-and-iccv-2019.html

Open Images Extended

https://storage.googleapis.com/openimages/web/extended.html

雖然這些數(shù)據(jù)集提供的標(biāo)簽擴(kuò)展性很強(qiáng)，但此類標(biāo)簽并沒(méi)有關(guān)注人物的敏感屬性，這些屬性對(duì)于許多機(jī)器學(xué)習(xí) （ML） 公平性任務(wù)（例如公平性評(píng)估和偏見(jiàn)緩解）至關(guān)重要。事實(shí)上，找到包含徹底標(biāo)記此類敏感屬性的數(shù)據(jù)集是很困難的，尤其是在計(jì)算機(jī)視覺(jué)領(lǐng)域。

公平性任務(wù)

https://developers.google.com/machine-learning/crash-course/fairness/video-lecture

今天，我們?cè)?Open Images Extended 合集中引入了更具包容性的人物注釋 （MIAP） 數(shù)據(jù)集。此合集包含更多完整的邊界框注釋，用于包含 10 萬(wàn)張人物圖像中的的人物類層級(jí)結(jié)構(gòu)。每個(gè)注釋還帶有可感知到的性別呈現(xiàn)和年齡范圍等公平相關(guān)屬性的標(biāo)簽。作為 Responsible AI 研究的一部分，越來(lái)越多的人開始關(guān)注如何減少不公平偏見(jiàn)，我們希望這些注釋能夠激勵(lì)已經(jīng)在使用 Open Images 的研究者，將公平分析納入他們的研究中。

Responsible AI 研究

https://ai.google/principles/

交叉描述通過(guò)為現(xiàn)有圖像-描述對(duì)和輔助描述添加語(yǔ)義相似度人工評(píng)分來(lái)擴(kuò)展 MS-COCO 評(píng)估集（實(shí)線），并通過(guò)為新的圖像-描述、描述-描述和圖像-圖像對(duì)添加人工評(píng)分來(lái)提高評(píng)分密度（虛線）*

Open Images 中的注釋

原始 Open Images 數(shù)據(jù)集中的每個(gè)圖像都包含圖像級(jí)注釋（寬泛地描述圖像）和包圍特定對(duì)象的邊界框。為了避免對(duì)同一個(gè)對(duì)象繪制多個(gè)邊界框，我們從標(biāo)簽候選集中臨時(shí)刪減了具體性較弱的類，我們將這一過(guò)程稱為層級(jí)去重。舉個(gè)例子，若一個(gè)圖像的標(biāo)簽包括動(dòng)物、 貓，和洗衣機(jī)則該圖像的注釋邊界框?yàn)樨埡拖匆聶C(jī)，而不會(huì)注釋多余的類 ——?jiǎng)游铩?/p>

圖像級(jí)注釋

https://cloud.google.com/vision/docs/labels

邊界框

https://cloud.google.com/vision/docs/object-localizer

MIAP 數(shù)據(jù)集可用于原始 Open Images 數(shù)據(jù)，集中人物 層級(jí)包含的五個(gè)類：人物、男人、女人、男孩、女孩。由于這些標(biāo)簽的存在，Open Images 數(shù)據(jù)集對(duì)于推進(jìn) Responsible AI 的研究具有獨(dú)特的價(jià)值，能夠幫助開發(fā)者訓(xùn)練通用的人物檢測(cè)器，訪問(wèn)性別和年齡范圍特定的標(biāo)簽，以實(shí)現(xiàn)公平分析和偏見(jiàn)緩解。

Responsible AI

https://ai.google/responsibilities/responsible-ai-practices/

人物檢測(cè)器

https://cloud.google.com/video-intelligence/docs/people-detection

然而，我們發(fā)現(xiàn)結(jié)合了層級(jí)去重和女人/女孩與男人/男孩之間的社會(huì)性區(qū)別后，原始注釋會(huì)受到限制。舉個(gè)例子，如果要求注釋器針對(duì)女孩這一分類繪制邊界框，它們便不會(huì)在圖像中的男孩周圍繪制邊界框。注釋器可能會(huì)也可能不會(huì)在某位女性周圍繪制邊界框，這取決于其對(duì)個(gè)人年齡的評(píng)估以及對(duì)女孩這一概念的文化性理解。此類判斷在不同圖像中可能會(huì)存在不一致，這取決于單獨(dú)的注釋器的文化背景、圖像人物的外表和場(chǎng)景的上下文。因此，某些圖像中的邊界框注釋會(huì)不完整，一些較為顯眼的人物沒(méi)有得到注釋。

MIAP 中的注釋

新的 MIAP 注釋旨在解決這些限制，實(shí)現(xiàn)讓 Open Images 成為推動(dòng)機(jī)器學(xué)習(xí)公平性研究取得新進(jìn)展的數(shù)據(jù)集的保障。我們不要求注釋器為層級(jí)結(jié)構(gòu)中最具體的類（例如，女孩）繪制邊界框，而是將此程序反過(guò)來(lái)，要求它們?yōu)樾詣e和年齡未知的人物分類繪制邊界框。

所有人物邊界框?qū)脮r(shí)都將獲得感知到的性別呈現(xiàn)（很大可能是女性、很大可能是男性，或未知）以及年齡呈現(xiàn)（青年、中年、老年，或未知）等標(biāo)簽。我們認(rèn)識(shí)到性別不是二元的，個(gè)人的性別認(rèn)同可能與其感知或預(yù)期的性別呈現(xiàn)不符，為了緩解無(wú)意識(shí)偏見(jiàn)對(duì)注釋的影響，這里提示：注釋器，與性別呈現(xiàn)相關(guān)的規(guī)范因文化而異，且會(huì)隨時(shí)間的推移而變化。

這個(gè)過(guò)程添加了大量先前丟失的邊界框。

在包含人物的 10 萬(wàn)張圖像中，人物邊界框的數(shù)量從 35.8 萬(wàn)左右增加到 45.4 萬(wàn)左右。各個(gè)感知性別呈現(xiàn)和感知年齡呈現(xiàn)的邊界框數(shù)量持續(xù)增加。這些新注釋為人物檢測(cè)器的訓(xùn)練提供了更完整的基本事實(shí)，并提供了更準(zhǔn)確的子組標(biāo)簽，以將公平性納入計(jì)算機(jī)視覺(jué)研究。

預(yù)期用例

我們?yōu)槿宋镞吔缈虻母兄挲g范圍和性別呈現(xiàn)納入了注釋，因?yàn)槲覀冋J(rèn)為有必要添加此類注釋，以便提高能力，實(shí)現(xiàn)更好的理解以及努力緩解并消除圖像理解領(lǐng)域，受保護(hù)子組之間的不公平偏見(jiàn)或不同性能。

我們注意到，標(biāo)簽捕獲的性別和年齡范圍是第三方僅根據(jù)視覺(jué)線索，而不是個(gè)人的自我認(rèn)知性別或?qū)嶋H年齡評(píng)估出來(lái)的。我們不支持也不容忍構(gòu)建或部署根據(jù)這些注釋訓(xùn)練的性別或年齡呈現(xiàn)分類器，因?yàn)槲覀冋J(rèn)為在公平性研究之外使用這些技術(shù)的相關(guān)風(fēng)險(xiǎn)大于任何潛在好處。

風(fēng)險(xiǎn)

https://dl.acm.org/doi/10.1145/3173574.3173582

致謝

這項(xiàng)研究背后的核心團(tuán)隊(duì)成員包括 Utsav Prabhu、Vittorio Ferrari 和 Caroline Pantofaru。同時(shí)，我們還要感謝 Alex Hanna、Reena Jana、Alina Kuznetsova、Matteo Malloci、Stefano Pellegrini、Jordi Pont-Tuset 和 Mahima Pushkarna 對(duì)本項(xiàng)目的貢獻(xiàn)。

編輯：jq