讓我們一起回顧 2018 年 Google 的研究工作！

文 / Jeff Dean，高級(jí)研究員，Google AI 團(tuán)隊(duì)負(fù)責(zé)人

2018 年對(duì) Google 的研究團(tuán)隊(duì)來(lái)說(shuō)是令人興奮的一年，我們?cè)诤芏喾矫嫱苿?dòng)了技術(shù)的發(fā)展，包括基礎(chǔ)計(jì)算機(jī)科學(xué)研究成果和出版物。我們的研究成果應(yīng)用于 Google 新興領(lǐng)域（如醫(yī)療保健和機(jī)器人技術(shù)），加上我們對(duì)開(kāi)源軟件的貢獻(xiàn)以及與 Google 產(chǎn)品團(tuán)隊(duì)的緊密合作，都旨在提供有用的工具和服務(wù)。下面，我們著重介紹我們?cè)?2018 年的一些努力，以及我們對(duì)未來(lái)的展望。如需更全面的了解，請(qǐng)參閱2018 年出版物(https://ai.google/research/pubs/?year=2018)

道德原則與 AI

近幾年，我們可以看到 AI 的重大進(jìn)展以及對(duì)我們的產(chǎn)品和億萬(wàn)用戶(hù)的日常生活的積極影響。對(duì)于身在其中的我們，希望 AI 是造福世界的力量，它的應(yīng)用應(yīng)該合乎道德原則，也應(yīng)該對(duì)社會(huì)有益。2018年，我們發(fā)布了《Google AI 原則》( Google AI Principles )，提出一系列負(fù)責(zé)任的 AI 實(shí)踐，并概述了實(shí)施的技術(shù)建議?？傊?，它們?yōu)槲覀冊(cè)u(píng)估自己的 AI 發(fā)展提供了一個(gè)框架，我們希望其他組織也可以使用這些原則來(lái)幫助塑造自己的思維。值得注意的是，由于這一領(lǐng)域的發(fā)展非常迅速，一些原則的最佳實(shí)踐，如 “ 避免制造或加強(qiáng)不公平的偏見(jiàn) ” 或 “ 對(duì)人類(lèi)負(fù)責(zé) ”，也在不斷變化和改進(jìn)。這些研究反過(guò)來(lái)會(huì)促進(jìn)我們產(chǎn)品進(jìn)步，使其具備更多的包容性和更少的偏見(jiàn)，例如我們?cè)?a href="http://srfitnesspt.com/outside?redirect=https://mp.weixin.qq.com/s?__biz=MzAwODY4OTk2Mg==&mid=2652048050&idx=1&sn=00bdfb792f453b5d843046e83cd03beb&scene=21&token=1780519314&lang=zh_CN#wechat_redirect" target="_blank">Google 翻譯中減少性別偏見(jiàn)的工作，并允許探索和發(fā)布更具包容性的圖像數(shù)據(jù)集和模型，使計(jì)算機(jī)視覺(jué)能夠適應(yīng)全球文化的多樣性。

此外，這些工作使我們能夠基于機(jī)器學(xué)習(xí)速成課程與更廣泛的研究團(tuán)體分享最佳實(shí)踐（https://developers.google.com/machine-learning/crash-course/）。

AI 讓社會(huì)更美好

AI 對(duì)于許多社會(huì)領(lǐng)域的影響的潛力非常明顯。

洪水預(yù)測(cè)就是 AI 幫助解決現(xiàn)實(shí)世界的問(wèn)題的實(shí)例。通過(guò)與 Google 多個(gè)部門(mén)的合作，這項(xiàng)研究旨在準(zhǔn)確并及時(shí)地提供關(guān)于洪水可能范圍以及細(xì)粒度信息，使那些在洪水易發(fā)地區(qū)的人們能夠盡可能地保護(hù)他們生命和財(cái)產(chǎn)。

另一示例是我們?cè)?strong style="">地震余震預(yù)測(cè)方面的工作，它展示了機(jī)器學(xué)習(xí)模型可以比傳統(tǒng)的基于物理的模型更準(zhǔn)確地預(yù)測(cè)余震的位置。更重要的是，由于機(jī)器學(xué)習(xí)模型的設(shè)計(jì)是可解釋的，科學(xué)家們對(duì)于余震的行為已經(jīng)有了新的發(fā)現(xiàn)，不僅能夠得到更準(zhǔn)確的預(yù)測(cè)，而且對(duì)余震的理解也達(dá)到了更高的水平。

我們還看到大量的外部研究者，與 Google 的研究人員和工程師合作，使用 TensorFlow 等開(kāi)源軟件解決廣泛的科學(xué)和社會(huì)問(wèn)題，例如使用卷積神經(jīng)網(wǎng)絡(luò)識(shí)別座頭鯨，檢測(cè)新的系外行星，識(shí)別病變的木薯植物等等。

為了促進(jìn)這一領(lǐng)域的創(chuàng)意活動(dòng)，我們與 Google.org 合作成立了Google AI for Social Impact Challenge，個(gè)人和組織可以從總計(jì) 2,500 萬(wàn)美元的資金中獲得資助，以及 Google 研究科學(xué)家的指導(dǎo)和建議。

輔助技術(shù)

我們的許多研究，都集中在使用機(jī)器學(xué)習(xí)和計(jì)算機(jī)科學(xué)來(lái)幫助我們的用戶(hù)更快速有效地完成任務(wù)。我們通常與不同的產(chǎn)品團(tuán)隊(duì)協(xié)作，并將研究成果應(yīng)用于不同的產(chǎn)品特性和設(shè)置中。示例之一就是Google Duplex，一個(gè)需要自然語(yǔ)言研究和對(duì)話(huà)理解、語(yǔ)音識(shí)別、文本到語(yǔ)音、用戶(hù)理解和有效的UI設(shè)計(jì)的系統(tǒng)。這些系統(tǒng)能夠讓用戶(hù)可以說(shuō) “Can you book me a haircut at 4 PM today? ”，虛擬代理將通過(guò)電話(huà)代表您進(jìn)行交互，以處理必要的細(xì)節(jié)。

其他的示例如 Gmail 的 Smart Compose 工具，使用預(yù)測(cè)模型來(lái)提供郵件撰寫(xiě)的建議，從而使電子郵件撰寫(xiě)過(guò)程更快更容易；以及 Sound Search，一種基于正在播放功能的技術(shù)，能夠讓用戶(hù)快速、準(zhǔn)確地搜索到正在播放的歌曲。另外，Android 中的 Smart Linkify 展示了我們?nèi)绾卫迷O(shè)備上的機(jī)器學(xué)習(xí)模型，通過(guò)理解您選擇的文本類(lèi)型使手機(jī)屏幕上顯示的各種文本更有用（例如，知道某些內(nèi)容是地址，從而給我們提供地圖等鏈接的快捷方式）。

我們研究的一個(gè)重點(diǎn)是幫助像 Google 智能助理這樣的產(chǎn)品可以支持更多語(yǔ)言，并且可以更好地理解語(yǔ)義相似性，即使使用了非常不同的表達(dá)方式代表相同的概念或想法。

量子計(jì)算

量子計(jì)算，這是一種新興的計(jì)算范式，我們可以利用量子計(jì)算來(lái)解決經(jīng)典計(jì)算機(jī)無(wú)法解決的挑戰(zhàn)性問(wèn)題。近幾年里，我們一直積極致力于這一領(lǐng)域的研究，該領(lǐng)域正在展示至少一個(gè)問(wèn)題上的尖端能力 ( 所謂的量子霸權(quán) )，這將是該領(lǐng)域的一個(gè)重大里程碑。

在 2018 年，我們?nèi)〉昧撕芏嗔钊伺d奮的新成果，例如開(kāi)發(fā)了一種新的72-qubi 的量子計(jì)算設(shè)備：Bristlecone，該設(shè)備擴(kuò)大了量子計(jì)算機(jī)可解決問(wèn)題的范圍。

研究科學(xué)家 Marissa Giustina 在 Santa Barbara 的量子 AI 實(shí)驗(yàn)室安裝 Bristlecone 芯片

同時(shí)我們發(fā)布了面向量子計(jì)算機(jī)的開(kāi)源編程框架 Cirq，并探索了如何將量子計(jì)算機(jī)應(yīng)用于神經(jīng)網(wǎng)絡(luò)。最后，我們把在理解量子處理器性能波動(dòng)方面的經(jīng)驗(yàn)和技術(shù)以及關(guān)于量子計(jì)算機(jī)作為神經(jīng)網(wǎng)絡(luò)的計(jì)算基礎(chǔ)的想法分享給了大家。

2019 年，我們期待在量子計(jì)算領(lǐng)域取得更大的成果！

自然語(yǔ)言理解

非常開(kāi)心，Google 的自然語(yǔ)言研究在 2018 年取得了令人振奮的成果，其中包含了基礎(chǔ)研究和以產(chǎn)品為中心的合作。我們改進(jìn)了在 2017 年提出的Transformer架構(gòu)，并研發(fā)了一個(gè)新的并行版本模型，稱(chēng)為通用變換器，該版本在翻譯和語(yǔ)言推理等自然語(yǔ)言任務(wù)中表現(xiàn)出了強(qiáng)大的優(yōu)勢(shì)。

同時(shí)，我們還發(fā)布了BERT，這是第一個(gè)深度雙向、無(wú)監(jiān)督的語(yǔ)言表示模型。BERT在 11 個(gè)自然語(yǔ)言任務(wù)上與之前的最先進(jìn)的結(jié)果對(duì)比，有了明顯的改進(jìn)。現(xiàn)在，只利用純文本語(yǔ)料庫(kù)就可以進(jìn)行預(yù)訓(xùn)練，然后可以使用遷移學(xué)習(xí)對(duì)各種自然語(yǔ)言任務(wù)進(jìn)行微調(diào)。

在挑戰(zhàn)性很強(qiáng)的 GLUE 基準(zhǔn)測(cè)試中，BERT 將最優(yōu)結(jié)果提高了 7.6%

除了與各種研究團(tuán)隊(duì)合作以實(shí)現(xiàn) Smart Compose 和 Duplex（之前討論過(guò)）之外，我們還努力使 Google 智能助理能夠更好地處理多語(yǔ)言用例，目標(biāo)是使其能自然地與所有用戶(hù)進(jìn)行交流。

感知研究

感知研究一直在為圖像捕獲、壓縮、處理、創(chuàng)造性表達(dá)和增強(qiáng)現(xiàn)實(shí)提供更強(qiáng)大的工具，并且解決了計(jì)算機(jī)理解圖像、聲音、音樂(lè)和視頻這一難題。

在過(guò)去的這一年里年，我們的技術(shù)優(yōu)化了 Google Photos 中用戶(hù)最關(guān)心的內(nèi)容組織的能力，例如人和寵物。

Google Lens 幫你了解周?chē)氖澜?/span>

讓用戶(hù)通過(guò) Google Lens 和Google Assistant來(lái)了解自然世界，實(shí)時(shí)回答問(wèn)題的同時(shí)，還能在 Google 圖像中使用 Google Lens 做更多事情。Google AI 使命的一個(gè)關(guān)鍵方面是讓其他人能夠從我們的技術(shù)中受益，今年我們?cè)诟倪M(jìn) Google API 的功能和構(gòu)建模塊方面取得了很大的進(jìn)展。示例中包括利用 ML Kit 在 Cloud ML API 和面部相關(guān)設(shè)備構(gòu)建塊中實(shí)現(xiàn)視覺(jué)和視頻的改進(jìn)以及一些新功能。

2018 年，我們對(duì)學(xué)術(shù)研究的貢獻(xiàn)包括基于 3D 場(chǎng)景理解的深度學(xué)習(xí)技術(shù)，例如 stereo magnification。并且我們正在推進(jìn)能更好地理解圖像和視頻的研究，使用戶(hù)能夠在 Google 產(chǎn)品中查找，組織，增強(qiáng)和改進(jìn)圖像和視頻，例如照片，YouTube，搜索等。

多模態(tài)感知成為一個(gè)越來(lái)越重要的研究課題。我們在音頻領(lǐng)域提出了一種無(wú)監(jiān)督學(xué)習(xí)方法并應(yīng)用于語(yǔ)義音頻表示，其中對(duì)包含表達(dá)性的類(lèi)人語(yǔ)音合成有明顯改進(jìn)。

我們用Looking to Listen將輸入視頻中的視覺(jué)和聽(tīng)覺(jué)線(xiàn)索結(jié)合起來(lái)，用來(lái)隔離和加強(qiáng)視頻中所需的揚(yáng)聲器聲音。該技術(shù)可以支持一系列應(yīng)用，從語(yǔ)音增強(qiáng)和視頻識(shí)別，視頻會(huì)議到改進(jìn)的助聽(tīng)器，尤其是在多人講話(huà)的情況下。

在有限的計(jì)算平臺(tái)上實(shí)現(xiàn)感知變得日益重要。我們發(fā)布了MobileNetV2，它將為下一代移動(dòng)視覺(jué)應(yīng)用提供支持。我們的 MobileNets 廣泛應(yīng)用于學(xué)術(shù)界和工業(yè)界。MorphNet 為學(xué)習(xí)深層網(wǎng)絡(luò)結(jié)構(gòu)提供一種有效的學(xué)習(xí)方法。在計(jì)算資源限制的情況下，在圖像和音頻模型上實(shí)現(xiàn)全面的性能改進(jìn)。最近的研究也表明，有關(guān)自動(dòng)生成移動(dòng)網(wǎng)絡(luò)架構(gòu)，并獲得更高的性能是可能的。

計(jì)算攝影

在過(guò)去幾年中，質(zhì)量和多功能性的改進(jìn)一直是手機(jī)相機(jī)備受關(guān)注的方面。原因之一是手機(jī)中使用的物理傳感器的改進(jìn)，但最主要的原因是計(jì)算攝影這一科學(xué)領(lǐng)域的進(jìn)步。我們發(fā)布了最新研究技術(shù)，并通過(guò)與 Google Android 團(tuán)隊(duì)和消費(fèi)硬件團(tuán)隊(duì)的緊密合作，將這項(xiàng)研究實(shí)施在最新的 Pixel 和 Android 手機(jī)及其他設(shè)備。

2014 年，我們發(fā)布了HDR+技術(shù)，利用該技術(shù)，攝像機(jī)捕捉到一組幀，并在軟件中對(duì)齊這些幀，最終將它們與計(jì)算軟件合并在一起。最初 HDR+ 的工作是為了使圖片具有比單次曝光更高的動(dòng)態(tài)范圍。通過(guò)捕獲大量的幀，然后對(duì)這些幀進(jìn)行計(jì)算分析逐漸演變成一種通用的方法，并且在 2018 年使相機(jī)中的許多進(jìn)步得以實(shí)現(xiàn)。例如，在 Pixel 2 中開(kāi)發(fā) Motion Photos，并在 Motion Stills 中實(shí)現(xiàn)增強(qiáng)現(xiàn)實(shí)模式。

Pixel 2 拍攝的運(yùn)動(dòng)照片

Motion Stills 的 AR 模式

2018 年，創(chuàng)造了一種名為Night Sight的新功能，是我們?cè)谟?jì)算攝影研究方面的主要工作成果之一。讓 Pixel 手機(jī)攝像頭能夠 “在黑暗中看到”，贏得了媒體和用戶(hù)的贊譽(yù)。

左：iPhone XS ( 全分辨率 ) 右：Pixel 3 的夜視能力 ( 全分辨率 )

算法和理論

算法觸及了我們所有的產(chǎn)品，從 Google trips 背后的路徑 ( routing ) 算法到 Google cloud 的一致性哈希 ( consistent hashing ) ，它是 Google 系統(tǒng)的支柱。

2018 年，我們?cè)谒惴ê屠碚摲矫孢M(jìn)行研究，其中包含了從理論基礎(chǔ)到應(yīng)用算法，從圖挖掘到隱私保護(hù)計(jì)算的廣泛領(lǐng)域。在優(yōu)化方面的工作，涉及從機(jī)器學(xué)習(xí)的持續(xù)優(yōu)化到分布式組合優(yōu)化的各個(gè)領(lǐng)域。我們研究的用于訓(xùn)練神經(jīng)網(wǎng)絡(luò)的隨機(jī)優(yōu)化算法的收斂性的工作 ( 獲得了 ICLR 2018 最佳論文 )，展示了流行的基于梯度的優(yōu)化方法 ( 如 ADAM 的一些變體 ) 存在的問(wèn)題，為新的基于梯度的優(yōu)化方法提供了堅(jiān)實(shí)的基礎(chǔ)。

ADAM 和 AMSGRAD 在一個(gè)簡(jiǎn)單的一維凸問(wèn)題上的性能比較

在分布式優(yōu)化中，我們致力于改善組合優(yōu)化問(wèn)題中的循環(huán)和通信復(fù)雜性，例如通過(guò)循環(huán)壓縮 ( round compression ) 和核心集 ( core-sets ) 解決圖論中的匹配問(wèn)題，以及亞模最大化 ( submodular maximization ) 和 k 核分解 ( k-core decomposition )。在偏應(yīng)用的方面，我們?cè)谟?sketching 解大規(guī)模集合覆蓋，以及在有萬(wàn)億條邊的圖中做平衡分割 ( balanced partitioning ) 和層級(jí)聚類(lèi) ( hierarchical clustering ) 等問(wèn)題上提出了新的算法技巧。我們關(guān)于在線(xiàn)配送服務(wù)的工作獲得了 WWW'18 的最佳論文提名。最后，我們的開(kāi)源優(yōu)化 OR-tools 平臺(tái)在 2018 年 Minizinc 約束編程 ( constraint programming ) 競(jìng)賽中獲得了 4 枚金牌。

在算法選擇論中，我們提出了新的模型并研究了重建和學(xué)習(xí)混合多項(xiàng)對(duì)數(shù)成敗比 ( mixture of multinomial logits )。我們還研究了可通過(guò)神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)的函數(shù)類(lèi)，以及如何使用機(jī)器學(xué)得諭示 ( machine-learned oracles ) 來(lái)改進(jìn)經(jīng)典的在線(xiàn)算法。

了解具有強(qiáng)大隱私保障的機(jī)器學(xué)習(xí)技巧對(duì)我們 Google 非常重要。在這種背景下，我們開(kāi)發(fā)了兩種新的方法來(lái)分析如何通過(guò)迭代和改組 ( shuffling ) 來(lái)增強(qiáng)差分隱私 ( differential privacy )。我們還應(yīng)用了差分隱私的技巧設(shè)計(jì)對(duì)博弈魯棒的激勵(lì)察覺(jué)學(xué)習(xí) ( incentive-aware learning ) 方法。這種學(xué)習(xí)技術(shù)在在線(xiàn)市場(chǎng)設(shè)計(jì)中具有應(yīng)用。我們?cè)谑袌?chǎng)算法 ( market algorithm ) 領(lǐng)域的新研究還包括幫助廣告客戶(hù)測(cè)試廣告競(jìng)價(jià)的激勵(lì)兼容性 ( incentive compatibility ) 以及優(yōu)化應(yīng)用內(nèi)的廣告刷新。我們還推動(dòng)了重復(fù)拍賣(mài) ( repeated auction ) 下最先進(jìn)的動(dòng)態(tài)機(jī)制 ( dynamic mechanism ) 的邊界，并提出了對(duì)缺少未來(lái)預(yù)期、預(yù)測(cè)含噪、以及異質(zhì)買(mǎi)方行為魯棒的動(dòng)態(tài)拍賣(mài)機(jī)制 ( dynamic auction )，并將我們的結(jié)果擴(kuò)展到動(dòng)態(tài)雙向拍賣(mài) ( dynamic double auction )。最后，在在線(xiàn)優(yōu)化和在線(xiàn)學(xué)習(xí)的背景下，我們提出了新的針對(duì)含有流量高峰的隨機(jī)輸入的在線(xiàn)分配算法，以及新的對(duì)腐敗數(shù)據(jù) ( corrupted data ) 魯棒的 bandit 算法。

軟件系統(tǒng)

Google 在軟件系統(tǒng)方面的大部分研究依然與構(gòu)建機(jī)器學(xué)習(xí)模型有關(guān)，尤其是與TensorFlow有關(guān)。例如，我們發(fā)表的 TensorFlow 1.0 動(dòng)態(tài)控制流的設(shè)計(jì)和實(shí)現(xiàn)。

在一些新研究中，我們使用了一個(gè)稱(chēng)為 Mesh TensorFlow 的系統(tǒng)，讓使用模型并行性來(lái)指定大規(guī)模分布式計(jì)算變得更加簡(jiǎn)單。例如，我們使用 TensorFlow 發(fā)布了TF-Ranking 庫(kù)，這是一個(gè)專(zhuān)為 Learning-to-Rank 打造的可擴(kuò)展的 TensorFlow 庫(kù)。

TF - Ranking庫(kù)

我們發(fā)布了一個(gè)加速器支持的 NumPy 變體 -JAX，它支持自動(dòng)將 Python 函數(shù)區(qū)分為任意順序。盡管 JAX 不是 TensorFlow 的一部分，但它利用了一些相同的底層軟件基礎(chǔ)架構(gòu) ( 例如 XLA )，并且它的一些思想和算法可以為 TensorFlow 項(xiàng)目提供幫助。最后，我們繼續(xù)研究機(jī)器學(xué)習(xí)的安全性和隱私性，如 CleverHans 和 TensorFlow Privacy。

對(duì)我們來(lái)說(shuō)，將機(jī)器學(xué)習(xí)應(yīng)用于軟件系統(tǒng)也是一個(gè)非常重要的研究方向。例如，我們繼續(xù)利用分層模型將計(jì)算部署到設(shè)備上，并有助于學(xué)習(xí)內(nèi)存訪(fǎng)問(wèn)模式。探索如何利用學(xué)習(xí)的索引來(lái)替代數(shù)據(jù)庫(kù)系統(tǒng)和存儲(chǔ)系統(tǒng)中的傳統(tǒng)索引結(jié)構(gòu)。正如我們 2018 年寫(xiě)的那樣，我們認(rèn)為在計(jì)算機(jī)系統(tǒng)中使用機(jī)器學(xué)習(xí)方面仍然還是停留在表面問(wèn)題上，有待進(jìn)一步探索。

在一個(gè) NMT 模型 ( 4 層 ) 中 Hierarchical Planner 的放置

2018 年，感謝 Google Project Zero 團(tuán)隊(duì)與外部的合作，我們了解到 Spectre 和 Meltdown，是現(xiàn)代計(jì)算機(jī)處理器中嚴(yán)重安全漏洞的新類(lèi)別。這些漏洞將使計(jì)算機(jī)架構(gòu)研究人員相當(dāng)忙碌。在我們繼續(xù)努力模擬 CPU 行為時(shí)，我們的編譯器研究團(tuán)隊(duì)將測(cè)量機(jī)器指令延遲和端口壓力的工具集成到 LLVM 中，從而可以做出更好的編譯決策。

我們的云產(chǎn)品和機(jī)器學(xué)習(xí)模型推理主要取決于為計(jì)算，存儲(chǔ)和網(wǎng)絡(luò)提供大規(guī)模、可靠、高效的技術(shù)基礎(chǔ)架構(gòu)的能力。過(guò)去一年的一些研究亮點(diǎn)包括 Google 軟件定義網(wǎng)絡(luò) WAN 的發(fā)展，這是一個(gè)獨(dú)立的聯(lián)合查詢(xún)處理平臺(tái)，可以在許多存儲(chǔ)系統(tǒng)中對(duì)基于不同文件格式存儲(chǔ)的數(shù)據(jù)執(zhí)行 SQL 查詢(xún)（BigTable，Spanner， Google Spreadsheets 等）以及我們廣泛使用代碼審查的報(bào)告，調(diào)查 Google 代碼審查背后的動(dòng)機(jī)，當(dāng)前實(shí)踐以及開(kāi)發(fā)人員的滿(mǎn)意度和挑戰(zhàn)。

運(yùn)行內(nèi)容托管等大型 Web 服務(wù)需要在動(dòng)態(tài)環(huán)境中實(shí)現(xiàn)穩(wěn)定的負(fù)載均衡。我們開(kāi)發(fā)了一致性哈希方案，對(duì)每臺(tái)服務(wù)器的最大負(fù)載提供了緊的可證明保證，并將其部署到 Google Cloud Pub / Sub 中?；谖覀?cè)缙诎姹镜恼撐?，Vimeo 的工程師在 haproxy 中實(shí)現(xiàn)此功能并開(kāi)源，并將其用于 Vimeo 的負(fù)載均衡項(xiàng)目。結(jié)果是戲劇性的：應(yīng)用這些算法思想幫助他們將緩存帶寬減少了近 8 倍，消除了擴(kuò)大應(yīng)用規(guī)模的瓶頸。

AutoML

AutoML，也可以稱(chēng)為元學(xué)習(xí)（meta-learning），是利用機(jī)器學(xué)習(xí)來(lái)部分自動(dòng)化機(jī)器學(xué)習(xí)的方法。多年來(lái)，我們一直致力于在這個(gè)領(lǐng)域進(jìn)行研究，接下來(lái)，我們要長(zhǎng)期做的是開(kāi)發(fā)一種學(xué)習(xí)系統(tǒng)，該系統(tǒng)可以利用先前已經(jīng)解決的其他問(wèn)題得出的見(jiàn)解和能力，來(lái)學(xué)習(xí)并解決新的問(wèn)題。

我們對(duì)進(jìn)化算法的使用也非常感興趣。在這個(gè)領(lǐng)域，我們開(kāi)展的早期工作主要是使用強(qiáng)化學(xué)習(xí)。例如，2018 年我們展示了如何使用進(jìn)化算法自動(dòng)發(fā)現(xiàn)最先進(jìn)的神經(jīng)網(wǎng)絡(luò)架構(gòu)并用于各種視覺(jué)任務(wù)。

關(guān)于強(qiáng)化學(xué)習(xí)如何應(yīng)用于神經(jīng)網(wǎng)絡(luò)架構(gòu)搜索之外的其他問(wèn)題，我們的探討結(jié)果如下：

• 它可以自動(dòng)生成圖像變換序列，以提高各種圖像模型的準(zhǔn)確性

• 尋找新的符號(hào)優(yōu)化表達(dá)式，比常用的優(yōu)化更新規(guī)則更有效

我們?cè)?AdaNet 上的工作展示了如何使用具有學(xué)習(xí)能力的快速靈活的AutoML 算法。

AdaNet 自適應(yīng)地生成神經(jīng)網(wǎng)絡(luò)的集合。

在每次迭代中，它都度量每個(gè)候選者的集成損失，并選擇最佳的一個(gè)進(jìn)行下一次迭代

我們的另一個(gè)重點(diǎn)是自動(dòng)發(fā)現(xiàn)計(jì)算效率高的神經(jīng)網(wǎng)絡(luò)架構(gòu)，以便它們可以在諸如移動(dòng)電話(huà)或自動(dòng)駕駛車(chē)輛等環(huán)境中運(yùn)行，這些環(huán)境對(duì)計(jì)算資源或推理時(shí)間有嚴(yán)格的限制。我們發(fā)現(xiàn)，在強(qiáng)化學(xué)習(xí)架構(gòu)搜索的獎(jiǎng)勵(lì)函數(shù)中將模型的準(zhǔn)確性與其推理計(jì)算時(shí)間相結(jié)合，可以找到高度準(zhǔn)確的模型，同時(shí)滿(mǎn)足特定的性能約束。我們還探索了使用機(jī)器學(xué)習(xí)來(lái)自動(dòng)壓縮機(jī)器學(xué)習(xí)模型以獲得更少的參數(shù)并使用更少的計(jì)算資源。

TPU

Tensor Processing Units ( TPU ) 是 Google 開(kāi)發(fā)的機(jī)器學(xué)習(xí)硬件加速器，一直以來(lái)它為支持大規(guī)模的訓(xùn)練和推理提供幫助，并且?guī)椭?Google 在許多方面實(shí)現(xiàn)了突破性進(jìn)展，例如前面討論過(guò)的BERT，它們還允許世界各地的研究人員能夠基于開(kāi)放源碼在 Google 的研究基礎(chǔ)上進(jìn)行構(gòu)建，并追求自己的新突破。例如，所有人都可以通過(guò) Colab 在 TPU 上免費(fèi)調(diào)優(yōu) BERT, TensorFlow Research Cloud 讓成千上萬(wàn)的研究人員獲益。我們還將 TPU 硬件作為云 TPU 商用。除了在機(jī)器學(xué)習(xí)研究中實(shí)現(xiàn)更快的進(jìn)步之外，TPU 還推動(dòng)了 Google 的核心產(chǎn)品的重大改進(jìn)，包括搜索，YouTube，Gmail，Google 智能助理，Google 翻譯等等。我們期待，無(wú)論是 Google 內(nèi)部或著其他地方的機(jī)器學(xué)習(xí)團(tuán)隊(duì)，通過(guò) TPU 實(shí)現(xiàn)前所未有的計(jì)算規(guī)模。

單個(gè) TPU v3 設(shè)備 ( 左 ) 和 TPU v3 Pod 的一部分 ( 右 )

開(kāi)源軟件和數(shù)據(jù)集

Google為研究和軟件工程社區(qū)做出貢獻(xiàn)的兩種主要方式：發(fā)布開(kāi)源軟件和創(chuàng)建新的公共數(shù)據(jù)集。在這個(gè)領(lǐng)域，我們最大的努力之一是TensorFlow！

TensorFlow 發(fā)布于 2015 年 11 月。至今，已經(jīng)成長(zhǎng)為一個(gè)非常流行的機(jī)器學(xué)習(xí)計(jì)算系統(tǒng)。我們?cè)?2018 年慶祝了 TensorFlow 的 3 歲生日。在此期間，TensorFlow 已經(jīng)擁有超過(guò)3,000 萬(wàn)次的下載量，超過(guò)1,700 個(gè)貢獻(xiàn)者，總共增加了4.5 萬(wàn)次提交。

2018 年，TensorFlow 發(fā)布了 8 個(gè)主要版本，并增加了一些主要功能，如 eager execution。TensorFlow 生態(tài)系統(tǒng)在 2018 年也有了大幅增長(zhǎng)，例如 TensorFlow Lite、TensorFlow.js 和 TensorFlow Probability 的相繼推出。

我們很高興 TensorFlow 擁有大量的 Github 用戶(hù)，成為頂級(jí)機(jī)器學(xué)習(xí)和深度學(xué)習(xí)框架。TensorFlow 團(tuán)隊(duì)還致力于更迅速地解決 Github 問(wèn)題，并為外部貢獻(xiàn)者提供順暢的途徑。根據(jù) Google Scholar 的數(shù)據(jù)，在研究中，我們繼續(xù)在已發(fā)表的論文基礎(chǔ)上為世界上大部分的機(jī)器學(xué)習(xí)和深度學(xué)習(xí)研究提供支持。僅推出一年，全球超過(guò) 15 億的設(shè)備支持 TensorFlow Lite。此外，TensorFlow.js 是 JavaScript 的頭號(hào)機(jī)器框架; 在推出后的九個(gè)月里，它在 Github 上有超過(guò) 200 萬(wàn)的內(nèi)容分發(fā)網(wǎng)絡(luò)（CDN）點(diǎn)擊量，25 萬(wàn)下載量和超過(guò) 1 萬(wàn)顆星。

除了繼續(xù)開(kāi)發(fā)現(xiàn)有的開(kāi)源生態(tài)系統(tǒng)之外，我們?cè)?2018 年引入了一個(gè)新的框架，用于靈活和可重復(fù)的強(qiáng)化學(xué)習(xí)，用于快速理解數(shù)據(jù)集的特征的新可視化工具 ( 無(wú)需編寫(xiě)任何代碼 )，一個(gè)使用 TensorFlow.js 在瀏覽器中進(jìn)行實(shí)時(shí) t-SNE 可視化的庫(kù)，以及用于處理電子醫(yī)療數(shù)據(jù)的 FHIR 工具和軟件等。

完整 MNIST 數(shù)據(jù)集的 tSNE 嵌入的實(shí)時(shí)演變，該數(shù)據(jù)集包含 6萬(wàn)個(gè)手寫(xiě)數(shù)字的圖像

公共數(shù)據(jù)集通常是一個(gè)很好的靈感來(lái)源，可以在許多領(lǐng)域取得巨大進(jìn)步，因?yàn)樗鼈兛梢宰尭鼜V泛的社區(qū)獲得有趣的數(shù)據(jù)和問(wèn)題，以及在各種任務(wù)中獲得更好的結(jié)果。今年，我們很高興發(fā)布Google 數(shù)據(jù)集搜索，這是一種從所有網(wǎng)絡(luò)中查找公共數(shù)據(jù)集的新工具。多年來(lái)，我們還策劃并發(fā)布了許多新的，新穎的數(shù)據(jù)集，包括從數(shù)百萬(wàn)個(gè)通用注釋圖像或視頻到用于語(yǔ)音識(shí)別的人群源孟加拉數(shù)據(jù)集到機(jī)器人手臂抓取數(shù)據(jù)集等等。在 2018 年，我們?cè)谠摿斜碇刑砑恿烁鄶?shù)據(jù)集。

Open Images V4，這是一個(gè)包含 1,540 萬(wàn)個(gè)邊界框的數(shù)據(jù)集，包含 600 個(gè)類(lèi)別的 190 萬(wàn)張圖像，以及 19,794 個(gè)類(lèi)別的 3,010 萬(wàn)個(gè)經(jīng)過(guò)人工檢查的圖像級(jí)標(biāo)簽。我們還通過(guò)使用 crowdsource.google.com 添加了來(lái)自世界各地的數(shù)萬(wàn)名用戶(hù)提供的 5.5M 生成的注釋?zhuān)?/span>擴(kuò)展了此數(shù)據(jù)集以添加來(lái)自世界各地的更多人和場(chǎng)景。我們發(fā)布了原子視覺(jué)動(dòng)作（AVA）數(shù)據(jù)集，該數(shù)據(jù)集提供視頻的視聽(tīng)注釋?zhuān)愿纳评斫馊祟?lèi)行為和視頻語(yǔ)音的現(xiàn)狀。我們也宣布更新 YouTube-8M，以及第二屆 YouTube-8M 大型視頻理解挑戰(zhàn)和研討會(huì)。雖然不是數(shù)據(jù)集發(fā)布，但我們探索了一些技術(shù)，這些技術(shù)可以使用 Fluid Annotation 更快地創(chuàng)建可視化數(shù)據(jù)集，Fluid Annotation是一種探索性的機(jī)器學(xué)習(xí)驅(qū)動(dòng)接口，可以更快地進(jìn)行圖像注釋。

COCO 數(shù)據(jù)集圖像上的 Fluid Annotation 界面

機(jī)器人技術(shù)

過(guò)去的一年里，Google 在理解機(jī)器學(xué)習(xí)如何教會(huì)機(jī)器人在現(xiàn)實(shí)世界里行動(dòng)方面，取得了重大進(jìn)展，該項(xiàng)研究讓機(jī)器人學(xué)習(xí)抓取未沒(méi)見(jiàn)過(guò)的物體，并且相關(guān)的論文獲得了 CoRL’18 最佳論文。通過(guò)結(jié)合機(jī)器學(xué)習(xí)和基于采樣的方法 ( ICRA'18 最佳論文 )，我們?cè)趯W(xué)習(xí)機(jī)器人運(yùn)動(dòng)方面取得了進(jìn)展，例如實(shí)現(xiàn)了第一次能夠在真實(shí)機(jī)器人上成功地在線(xiàn)訓(xùn)練深度強(qiáng)化學(xué)習(xí)模型，并且正在尋找新的，理論上的基礎(chǔ)方法，來(lái)學(xué)習(xí)機(jī)器人控制的穩(wěn)定方法。

AI 在其他領(lǐng)域的應(yīng)用

2018 年，在科學(xué)領(lǐng)域中，我們將機(jī)器學(xué)習(xí)應(yīng)用于解決物理和生物科學(xué)中的各種問(wèn)題。利用機(jī)器學(xué)習(xí)為科學(xué)家提供相當(dāng)于數(shù)百或數(shù)千名研究助理的數(shù)據(jù)挖掘，不僅為科學(xué)家節(jié)省了時(shí)間和精力，還讓他們變得更具有創(chuàng)造力和生產(chǎn)力。

我們與德國(guó)馬克斯普朗克神經(jīng)生物學(xué)研究所的研究人員合作在Nature Methods 中發(fā)表了一篇關(guān)于神經(jīng)細(xì)胞高精度自動(dòng)重建的論文，展示了一種新型的遞歸神經(jīng)網(wǎng)絡(luò)如何提高自動(dòng)解析連接組數(shù)據(jù)的準(zhǔn)確性。與先前的深度學(xué)習(xí)技術(shù)相比，將連通組學(xué)數(shù)據(jù)提高了一個(gè)數(shù)量級(jí)。

我們的算法在鳴禽大腦中追蹤單個(gè)神經(jīng)突的 3D 過(guò)程

將機(jī)器學(xué)習(xí)應(yīng)用于科學(xué)領(lǐng)域的其他示例：

• 通過(guò)數(shù)據(jù)挖掘恒星的光曲線(xiàn)，并尋找新的太陽(yáng)系外行星

• 短 DNA 序列的起源或功能

• 自動(dòng)檢測(cè)離焦顯微鏡圖像

• 自動(dòng)將質(zhì)譜輸出映射到肽鏈

經(jīng)過(guò)預(yù)訓(xùn)練的 TensorFlow 模型可以對(duì) Fiji ( ImageJ ) 細(xì)胞顯微鏡圖像斑塊的蒙太奇進(jìn)行聚焦質(zhì)量評(píng)估

醫(yī)療領(lǐng)域的 AI

在近幾年里，我們一直致力于將機(jī)器學(xué)習(xí)應(yīng)用于醫(yī)療領(lǐng)域。這項(xiàng)研究將會(huì)影響我們每一個(gè)人，同時(shí)我們也堅(jiān)信利用機(jī)器學(xué)習(xí)增強(qiáng)醫(yī)療專(zhuān)業(yè)人員的直覺(jué)和經(jīng)驗(yàn)可以產(chǎn)生巨大影響。

在這個(gè)領(lǐng)域，我們通常采用與醫(yī)療機(jī)構(gòu)合作解決基礎(chǔ)研究問(wèn)題的方式 ( 例如，利用臨床專(zhuān)家的反饋?zhàn)屛覀兊慕Y(jié)果更加可靠 )，然后將結(jié)果發(fā)表在科學(xué)和臨床雜志上。當(dāng)該研究得到臨床和科學(xué)驗(yàn)證時(shí)，我們便會(huì)進(jìn)行用戶(hù)和 HCI 研究，以便于我們掌握如何在現(xiàn)實(shí)臨床環(huán)境中進(jìn)行部署。在 2018 年，我們已經(jīng)將計(jì)算機(jī)輔助診斷的廣泛空間擴(kuò)展到了臨床任務(wù)預(yù)測(cè)。

2016 年底，我們發(fā)表過(guò)一項(xiàng)研究表明，述及我們?nèi)绾?/span>訓(xùn)練的用于評(píng)估視網(wǎng)膜眼底圖像以檢測(cè)糖尿病視網(wǎng)膜病變跡象的模型，其表現(xiàn)與美國(guó)醫(yī)學(xué)委員會(huì)認(rèn)證的眼科醫(yī)生相當(dāng)，甚至略勝一籌。

2018 年，我們進(jìn)一步證明，利用由視網(wǎng)膜專(zhuān)家標(biāo)記的圖像進(jìn)行訓(xùn)練，模型的表現(xiàn)已經(jīng)相當(dāng)于視網(wǎng)膜專(zhuān)家的水平。我們還發(fā)現(xiàn)有證據(jù)表明，醫(yī)生可以與模型協(xié)同工作，獲得比二者單獨(dú)工作時(shí)更高的準(zhǔn)確度。借助篩查項(xiàng)目和與Verily的合作，在印度的 Aravind 眼科醫(yī)院和泰國(guó)衛(wèi)生部下屬的 Rajavithi 醫(yī)院等 10 多個(gè)地方部署了這個(gè)糖尿病視網(wǎng)膜病變檢測(cè)系統(tǒng)。

機(jī)器學(xué)習(xí)評(píng)估糖尿病視網(wǎng)膜病變

我們還發(fā)表了一項(xiàng)關(guān)于機(jī)器學(xué)習(xí)模型通過(guò)視網(wǎng)膜圖像評(píng)估心血管風(fēng)險(xiǎn)的研究，這項(xiàng)研究得到了醫(yī)學(xué)專(zhuān)家和眼科專(zhuān)家的認(rèn)可和稱(chēng)贊。這是一種為新的、非侵入性的生物標(biāo)志物提供了早期有希望的跡象，并且?guī)椭R床醫(yī)生更好地了解患者的健康狀況。

我們?cè)诓±韺W(xué)領(lǐng)域的探索中展示了使用機(jī)器學(xué)習(xí)提高前列腺癌分級(jí)的準(zhǔn)確度、利用深度學(xué)習(xí)檢測(cè)轉(zhuǎn)移性乳腺癌，還開(kāi)發(fā)了一個(gè)增強(qiáng)現(xiàn)實(shí)顯微鏡，通過(guò)來(lái)自計(jì)算機(jī)視覺(jué)模型的視覺(jué)信息幫助病理學(xué)家和其他科學(xué)家。

近四年中，Googel 進(jìn)行了大量的研究工作，圍繞使用電子健康記錄的深度學(xué)習(xí)來(lái)做出臨床相關(guān)的預(yù)測(cè)。2018 年，我們與芝加哥大學(xué)、加州大學(xué)舊金山分校和斯坦福大學(xué)合作，在 Nature Digital Medicine 上發(fā)表了一篇論文，展示了將機(jī)器學(xué)習(xí)模型應(yīng)用于識(shí)別電子病歷，并且能夠?qū)Ω鞣N臨床相關(guān)任務(wù)做出比當(dāng)前臨床最佳實(shí)踐準(zhǔn)確性更高的預(yù)測(cè)。作為這項(xiàng)工作的一部分，我們開(kāi)發(fā)了一些工具，讓即使在完全不同的任務(wù)和完全不同的基礎(chǔ) EHR 數(shù)據(jù)集上創(chuàng)建這些模型變得非常簡(jiǎn)單。同時(shí)還改進(jìn)了基于深度學(xué)習(xí)的變量調(diào)用 DeepVariant 的準(zhǔn)確性、速度和實(shí)用性。該團(tuán)隊(duì)在《自然 - 生物技術(shù)》雜志上發(fā)表了一篇同行評(píng)議的論文。

將機(jī)器學(xué)習(xí)應(yīng)用于歷史收集的數(shù)據(jù)時(shí)，了解過(guò)去經(jīng)歷過(guò)人類(lèi)和結(jié)構(gòu)偏差的人群以及這些偏見(jiàn)如何在數(shù)據(jù)中編纂是很重要的。機(jī)器學(xué)習(xí)提供了一個(gè)檢測(cè)和解決偏見(jiàn)的機(jī)會(huì)。

研究推廣

Google 經(jīng)常用不同的方式和外部研究社區(qū)進(jìn)行交流，比如教師參與和學(xué)生支持。我們非常高興的在本學(xué)年招收了數(shù)百名本科生、碩士生和博士生作為實(shí)習(xí)生，同時(shí)為北美、歐洲和中東的學(xué)生提供多年的博士生獎(jiǎng)研金 ( Ph.D. fellowships )。

關(guān)于這個(gè)獎(jiǎng)學(xué)金項(xiàng)目，我們還要補(bǔ)充的是 Google AI Residency 項(xiàng)目，這種方式允許想要深入學(xué)習(xí)研究的人花費(fèi)一年的時(shí)間與Google的研究人員一起工作并接受他們的指導(dǎo)。至今，Google AI Residency 已進(jìn)入第三個(gè)年頭，學(xué)員們被安排在 Google 全球的各個(gè)團(tuán)隊(duì)中，從事機(jī)器學(xué)習(xí)、感知、算法和優(yōu)化、語(yǔ)言理解、醫(yī)療保健等領(lǐng)域的研究。

每年，我們通過(guò) Google Faculty Research Awards program 支持一些教師和學(xué)生進(jìn)行研究項(xiàng)目。2018 年，我們還繼續(xù)在 Google 為特定領(lǐng)域的教師和研究生舉辦研討會(huì)，包括在印度班加羅爾辦事處舉辦的 AI / 機(jī)器學(xué)習(xí) 研究與實(shí)踐研討會(huì)，在我們的蘇黎世辦事處舉辦的算法和優(yōu)化研討會(huì)，在美國(guó)桑尼維爾舉辦的機(jī)器學(xué)習(xí)醫(yī)療保健應(yīng)用研討會(huì)和在馬薩諸塞州劍橋辦事處舉辦的機(jī)器學(xué)習(xí)公平與偏見(jiàn)研討會(huì)。

我們相信，為更廣泛的研究團(tuán)體做出公開(kāi)貢獻(xiàn)是支持健康和富有成效的研究生態(tài)系統(tǒng)的關(guān)鍵部分。除了開(kāi)源和公開(kāi)數(shù)據(jù)集之外，我們的許多研究都在頂級(jí)會(huì)議和期刊上公開(kāi)發(fā)表，并積極參與、組織和贊助各種不同學(xué)科的會(huì)議。

新的起點(diǎn)，新的面孔

2018 年，我們很高興地歡迎許多來(lái)自各行各業(yè)的新人加入我們的研究組織。我們?cè)诜侵藿M建了 AI 研究辦公室。我們擴(kuò)大了在巴黎、東京和阿姆斯特丹的 AI 研究，并在普林斯頓開(kāi)設(shè)了一個(gè)研究實(shí)驗(yàn)室。我們將繼續(xù)在全球范圍內(nèi)聘請(qǐng)有才能的人加入我們。您可以了解更多有關(guān)加入我們的信息（https://ai.google/research/join-us/）。

期待 2019 年

本文摘要總結(jié)了我們 2018 年的科研的一小部分?；仡?2018 年，我們對(duì)所取得成就的深度和廣度感到興奮。

2019 年，我們期待 Google 的研究和產(chǎn)品，能對(duì)更廣泛的領(lǐng)域產(chǎn)生更有意義的影響！