你需要掌握的機(jī)器學(xué)習(xí)技術(shù),又有什么技術(shù)趨勢(shì)值得期待？

人工智能正熱。

技術(shù)創(chuàng)新是經(jīng)濟(jì)增長(zhǎng)的根本動(dòng)力。這些技術(shù)中，最重要的就是經(jīng)濟(jì)學(xué)家提到的“通用技術(shù)”，比如蒸汽機(jī)、內(nèi)燃機(jī)、電力等。如今這個(gè)時(shí)代，人工智能就是最重要的“通用技術(shù)”。特別是行業(yè)與人工智能的結(jié)合，釋放了行業(yè)的潛力，重塑了我們的生活。

人工智能備受關(guān)注、取得革命性進(jìn)步背后的推手，其實(shí)是“機(jī)器學(xué)習(xí)”。

機(jī)器學(xué)習(xí)其實(shí)是一門(mén)多領(lǐng)域交叉學(xué)科，它涉及到計(jì)算機(jī)科學(xué)、概率統(tǒng)計(jì)、函數(shù)逼近論、最優(yōu)化理論、控制論、決策論、算法復(fù)雜度理論、實(shí)驗(yàn)科學(xué)等多個(gè)學(xué)科。機(jī)器學(xué)習(xí)的具體定義也因此有許多不同的說(shuō)法，分別以某個(gè)相關(guān)學(xué)科的視角切入。但總體上講，其關(guān)注的核心問(wèn)題是如何用計(jì)算的方法模擬類(lèi)人的學(xué)習(xí)行為：從歷史經(jīng)驗(yàn)中獲取規(guī)律（或模型），并將其應(yīng)用到新的類(lèi)似場(chǎng)景中。

那么，當(dāng)我們談機(jī)器學(xué)習(xí)時(shí)，到底在談些什么？從業(yè)者需要掌握哪些前沿技術(shù)？未來(lái)，又有什么技術(shù)趨勢(shì)值得期待？

看前沿：你需要掌握的機(jī)器學(xué)習(xí)技術(shù)

近年來(lái)，有很多新型的機(jī)器學(xué)習(xí)技術(shù)受到人們的廣泛關(guān)注，也在解決實(shí)際問(wèn)題中，提供了有效的方案。這里，我們簡(jiǎn)單介紹一下深度學(xué)習(xí)、強(qiáng)化學(xué)習(xí)、對(duì)抗學(xué)習(xí)、對(duì)偶學(xué)習(xí)、遷移學(xué)習(xí)、分布式學(xué)習(xí)、以及元學(xué)習(xí)。

▌深度學(xué)習(xí)

不同于傳統(tǒng)的機(jī)器學(xué)習(xí)方法，深度學(xué)習(xí)是一類(lèi)端到端的學(xué)習(xí)方法?；诙鄬拥姆蔷€性神經(jīng)網(wǎng)絡(luò)，深度學(xué)習(xí)可以從原始數(shù)據(jù)直接學(xué)習(xí)，自動(dòng)抽取特征并逐層抽象，最終實(shí)現(xiàn)回歸、分類(lèi)或排序等目的。在深度學(xué)習(xí)的驅(qū)動(dòng)下，人們?cè)?a href="http://srfitnesspt.com/v/tag/3744/" target="_blank">計(jì)算機(jī)視覺(jué)、語(yǔ)音處理、自然語(yǔ)言方面相繼取得了突破，達(dá)到或甚至超過(guò)了人類(lèi)水平。深度學(xué)習(xí)的成功主要?dú)w功于三大因素——大數(shù)據(jù)、大模型、大計(jì)算，因此這三個(gè)方向都是當(dāng)前研究的熱點(diǎn)。

在過(guò)去的幾十年中，很多不同的深度神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)被提出，比如，卷積神經(jīng)網(wǎng)絡(luò)，被廣泛應(yīng)用于計(jì)算機(jī)視覺(jué)，如圖像分類(lèi)、物體識(shí)別、圖像分割、視頻分析等等；循環(huán)神經(jīng)網(wǎng)絡(luò)，能夠?qū)ψ冮L(zhǎng)的序列數(shù)據(jù)進(jìn)行處理，被廣泛應(yīng)用于自然語(yǔ)言理解、語(yǔ)音處理等；編解碼模型（Encoder-Decoder）是深度學(xué)習(xí)中常見(jiàn)的一個(gè)框架，多用于圖像或序列生成，例如比較熱的機(jī)器翻譯、文本摘要、圖像描述（image captioning）問(wèn)題。

▌強(qiáng)化學(xué)習(xí)

2016 年 3 月，DeepMind 設(shè)計(jì)的基于深度卷積神經(jīng)網(wǎng)絡(luò)和強(qiáng)化學(xué)習(xí)的 AlphaGo 以 4:1 擊敗頂尖職業(yè)棋手李世乭，成為第一個(gè)不借助讓子而擊敗圍棋職業(yè)九段棋手的電腦程序。此次比賽成為AI歷史上里程碑式的事件，也讓強(qiáng)化學(xué)習(xí)成為機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)熱點(diǎn)研究方向。

強(qiáng)化學(xué)習(xí)是機(jī)器學(xué)習(xí)的一個(gè)子領(lǐng)域，研究智能體如何在動(dòng)態(tài)系統(tǒng)或者環(huán)境中以“試錯(cuò)”的方式進(jìn)行學(xué)習(xí)，通過(guò)與系統(tǒng)或環(huán)境進(jìn)行交互獲得的獎(jiǎng)賞指導(dǎo)行為，從而最大化累積獎(jiǎng)賞或長(zhǎng)期回報(bào)。由于其一般性，該問(wèn)題在許多其他學(xué)科中也進(jìn)行了研究，例如博弈論、控制理論、運(yùn)籌學(xué)、信息論、多智能體系統(tǒng)、群體智能、統(tǒng)計(jì)學(xué)和遺傳算法。

▌遷移學(xué)習(xí)

遷移學(xué)習(xí)的目的是把為其他任務(wù)（稱(chēng)其為源任務(wù)）訓(xùn)練好的模型遷移到新的學(xué)習(xí)任務(wù)（稱(chēng)其為目標(biāo)任務(wù)）中，幫助新任務(wù)解決訓(xùn)練樣本不足等技術(shù)挑戰(zhàn)。之所以可以這樣做，是因?yàn)楹芏鄬W(xué)習(xí)任務(wù)之間存在相關(guān)性（比如都是圖像識(shí)別任務(wù)），因此從一個(gè)任務(wù)中總結(jié)出來(lái)的知識(shí)（模型參數(shù)）可以對(duì)解決另外一個(gè)任務(wù)有所幫助。遷移學(xué)習(xí)目前是機(jī)器學(xué)習(xí)的研究熱點(diǎn)之一，還有很大的發(fā)展空間。

▌對(duì)抗學(xué)習(xí)

傳統(tǒng)的深度生成模型存在一個(gè)潛在問(wèn)題：由于最大化概率似然，模型更傾向于生成偏極端的數(shù)據(jù)，影響生成的效果。對(duì)抗學(xué)習(xí)利用對(duì)抗性行為（比如產(chǎn)生對(duì)抗樣本或者對(duì)抗模型）來(lái)加強(qiáng)模型的穩(wěn)定性，提高數(shù)據(jù)生成的效果。近些年來(lái)，利用對(duì)抗學(xué)習(xí)思想進(jìn)行無(wú)監(jiān)督學(xué)習(xí)的生成對(duì)抗網(wǎng)絡(luò)（GAN）被成功應(yīng)用到圖像、語(yǔ)音、文本等領(lǐng)域，成為了無(wú)監(jiān)督學(xué)習(xí)的重要技術(shù)之一。

▌對(duì)偶學(xué)習(xí)

對(duì)偶學(xué)習(xí)是一種新的學(xué)習(xí)范式，其基本思想是利用機(jī)器學(xué)習(xí)任務(wù)之間的對(duì)偶屬性獲得更有效的反饋/正則化，引導(dǎo)、加強(qiáng)學(xué)習(xí)過(guò)程，從而降低深度學(xué)習(xí)對(duì)大規(guī)模人工標(biāo)注數(shù)據(jù)的依賴(lài)。對(duì)偶學(xué)習(xí)的思想已經(jīng)被應(yīng)用到機(jī)器學(xué)習(xí)很多問(wèn)題里，包括機(jī)器翻譯、圖像風(fēng)格轉(zhuǎn)換、問(wèn)題回答和生成、圖像分類(lèi)和生成、文本分類(lèi)和生成、圖像轉(zhuǎn)文本和文本轉(zhuǎn)圖像等等。

▌分布式學(xué)習(xí)

分布式技術(shù)是機(jī)器學(xué)習(xí)技術(shù)的加速器，能夠顯著提高機(jī)器學(xué)習(xí)的訓(xùn)練效率、進(jìn)一步增大其應(yīng)用范圍。當(dāng)“分布式”遇到“機(jī)器學(xué)習(xí)”，不應(yīng)只局限在對(duì)串行算法進(jìn)行多機(jī)并行以及底層實(shí)現(xiàn)方面的技術(shù)，我們更應(yīng)該基于對(duì)機(jī)器學(xué)習(xí)的完整理解，將分布式和機(jī)器學(xué)習(xí)更加緊密地結(jié)合在一起。

▌元學(xué)習(xí)

元學(xué)習(xí)（meta learning）是近年來(lái)機(jī)器學(xué)習(xí)領(lǐng)域的一個(gè)新的研究熱點(diǎn)。字面上來(lái)理解，元學(xué)習(xí)就是學(xué)會(huì)如何學(xué)習(xí)，重點(diǎn)是對(duì)學(xué)習(xí)本身的理解和適應(yīng)，而不僅僅是完成某個(gè)特定的學(xué)習(xí)任務(wù)。也就是說(shuō)，一個(gè)元學(xué)習(xí)器需要能夠評(píng)估自己的學(xué)習(xí)方法，并根據(jù)特定的學(xué)習(xí)任務(wù)對(duì)自己的學(xué)習(xí)方法進(jìn)行調(diào)整。

看趨勢(shì)：把握機(jī)器學(xué)習(xí)的未來(lái)

機(jī)器學(xué)習(xí)雖然取得了長(zhǎng)足的進(jìn)步，也解決了很多實(shí)際問(wèn)題，但是客觀地講，機(jī)器學(xué)習(xí)領(lǐng)域仍然存在著巨大的挑戰(zhàn)。

首先，主流的機(jī)器學(xué)習(xí)技術(shù)是黑箱技術(shù)，這讓我們無(wú)法預(yù)知暗藏的危機(jī)，為解決這個(gè)問(wèn)題，我們需要讓機(jī)器學(xué)習(xí)具有可解釋性、可干預(yù)性。其次，目前主流的機(jī)器學(xué)習(xí)的計(jì)算成本很高，亟待發(fā)明輕量級(jí)的機(jī)器學(xué)習(xí)算法。另外，在物理、化學(xué)、生物、社會(huì)科學(xué)中，人們常常用一些簡(jiǎn)單而美的方程（比如像薛定諤方程這樣的二階偏微分方程）來(lái)描述表象背后的深刻規(guī)律。那么在機(jī)器學(xué)習(xí)領(lǐng)域，我們是否也能追求到簡(jiǎn)單而美的規(guī)律呢？如此的挑戰(zhàn)還有很多，不過(guò)我們對(duì)于這個(gè)領(lǐng)域未來(lái)的發(fā)展仍然充滿(mǎn)信心。以下，我們將對(duì)未來(lái)十年的若干研究熱點(diǎn)進(jìn)行展望：

▌可解釋的機(jī)器學(xué)習(xí)

以深度學(xué)習(xí)為代表的各種機(jī)器學(xué)習(xí)技術(shù)方興未艾，取得了舉世矚目的成功。機(jī)器和人類(lèi)在很多復(fù)雜認(rèn)知任務(wù)上的表現(xiàn)已在伯仲之間。然而，在解釋模型為什么奏效及如何運(yùn)作方面，目前學(xué)界的研究還處于非常初級(jí)的階段。

解釋什么：相關(guān)性和因果邏輯性之間的鴻溝。

大部分機(jī)器學(xué)習(xí)技術(shù)，尤其是基于統(tǒng)計(jì)的機(jī)器學(xué)習(xí)技術(shù)，高度依賴(lài)基于數(shù)據(jù)相關(guān)性習(xí)得的概率化預(yù)測(cè)和分析。相反，理性的人類(lèi)決策更依賴(lài)于清楚可信的因果關(guān)系，這些因果關(guān)系由真實(shí)清楚的事實(shí)原由和邏輯正確的規(guī)則推理得出。從利用數(shù)據(jù)相關(guān)性來(lái)解決問(wèn)題，過(guò)渡到利用數(shù)據(jù)間的因果邏輯來(lái)解釋和解決問(wèn)題，是可解釋性機(jī)器學(xué)習(xí)需要完成的核心任務(wù)之一。

為什么需要解釋?zhuān)褐疄橹?，不知為不知，是知也?/p>

機(jī)器學(xué)習(xí)模型基于歷史數(shù)據(jù)進(jìn)行分析和決策。但由于常識(shí)的缺失，機(jī)器在面對(duì)歷史上未發(fā)生過(guò)或罕見(jiàn)的事件時(shí)，很大可能性會(huì)犯人類(lèi)幾乎不可能犯的低級(jí)錯(cuò)誤。統(tǒng)計(jì)意義上的準(zhǔn)確率并不能有效地刻畫(huà)決策的風(fēng)險(xiǎn)，甚至在某些情況下，看似正確的概率性選擇背后的原因與事實(shí)背道而馳。在可控性為首要考量目標(biāo)的領(lǐng)域，比如醫(yī)療、核工業(yè)和航天等，理解數(shù)據(jù)決策背后所依賴(lài)的事實(shí)基礎(chǔ)是應(yīng)用機(jī)器學(xué)習(xí)的前提。對(duì)于這些領(lǐng)域，可解釋性意味著可信和可靠。

可解釋性機(jī)器學(xué)習(xí)，還是把機(jī)器學(xué)習(xí)技術(shù)與我們?nèi)祟?lèi)社會(huì)做深度集成的必經(jīng)之路。對(duì)可解釋性機(jī)器學(xué)習(xí)的需求不僅僅是對(duì)技術(shù)進(jìn)步的渴求，同時(shí)包含各種非技術(shù)因素的考量，甚至包含法律法規(guī)。歐盟在 2018 年生效的 GDPR（GeneralData Protection Regulation）條例中明確要求，當(dāng)采用機(jī)器做出針對(duì)某個(gè)體的決定時(shí)，比如自動(dòng)拒絕一個(gè)在線信貸申請(qǐng)，該決定必須符合一定要求的可解釋性。

除了產(chǎn)業(yè)和社會(huì)對(duì)可解釋性機(jī)器學(xué)習(xí)的迫切需求，解釋行為的動(dòng)機(jī)同時(shí)是人類(lèi)大腦內(nèi)建的能力和訴求。認(rèn)知神經(jīng)科學(xué)先驅(qū) Michael S. Gazzaniga 在對(duì)現(xiàn)代認(rèn)知科學(xué)影響深遠(yuǎn)的裂腦人（Split-BrainPatients）研究中得出了如下的觀察和結(jié)論：“我們的大腦會(huì)不由自主地去尋求（決策的）解釋和事件發(fā)生的原由?！?/p>

誰(shuí)解釋給誰(shuí)：以人為中心的機(jī)器學(xué)習(xí)升級(jí)。

解釋給誰(shuí)聽(tīng)，這個(gè)問(wèn)題相對(duì)清楚。簡(jiǎn)而言之，解釋給人。根據(jù)受眾的不同，包含只有機(jī)器學(xué)習(xí)專(zhuān)家可以理解的解釋?zhuān)舶胀ù蟊姸伎梢岳斫獾慕忉尅?/p>

那么由誰(shuí)來(lái)解釋呢？理想情況下，由機(jī)器解釋?zhuān)簷C(jī)器一邊解答問(wèn)題，一邊給出答案背后的邏輯推理過(guò)程。但是，受限于很多機(jī)器學(xué)習(xí)技術(shù)的工作原理，機(jī)器自答自釋并不總是行得通。很多機(jī)器學(xué)習(xí)算法是“數(shù)據(jù)進(jìn)來(lái)，模型出去”，絕大部分時(shí)候，模型最終得出的結(jié)論與輸入數(shù)據(jù)之間的因果關(guān)聯(lián)變得無(wú)跡可尋，模型也變成了一個(gè)“神奇的”黑箱子。

在機(jī)器自答自釋尚無(wú)有效方案的階段，支持人工審查和回溯解答過(guò)程的方案可以提供一定程度的可解釋性。此時(shí)，機(jī)器學(xué)習(xí)系統(tǒng)中各個(gè)子模塊作用機(jī)理的可解釋性就變得尤為重要。對(duì)于一個(gè)大型的機(jī)器學(xué)習(xí)系統(tǒng)，整體的可解釋性高度依賴(lài)于各個(gè)組成部分的可解釋性。從目前的機(jī)器學(xué)習(xí)到可解釋性機(jī)器學(xué)習(xí)的演化將是一個(gè)涉及方方面面的系統(tǒng)工程，需要對(duì)目前的機(jī)器學(xué)習(xí)從理論到算法，再到系統(tǒng)實(shí)現(xiàn)進(jìn)行全面的改造和升級(jí)。

可解釋性的度：起于實(shí)用，終于無(wú)窮。

不同的應(yīng)用場(chǎng)景對(duì)機(jī)器學(xué)習(xí)可解釋性的要求天然不同。某些時(shí)候，“曲高和寡”的專(zhuān)業(yè)解釋就已足夠，尤其當(dāng)其解釋只用作技術(shù)安全性審查時(shí)；另外一些場(chǎng)合，當(dāng)可解釋性是人機(jī)交互的一部分時(shí)，“老嫗?zāi)芙狻钡耐ㄋ捉獯鹁妥兊梅浅１匾?。任何技術(shù)都只在一定范圍和一定程度上起作用，對(duì)于機(jī)器學(xué)習(xí)的可解釋性同樣如此?？山忉寵C(jī)器學(xué)習(xí)，起于實(shí)用性的需求，終于永無(wú)止盡的不斷改進(jìn)中。

▌?shì)p量機(jī)器學(xué)習(xí)和邊緣計(jì)算

邊緣計(jì)算（EdgeComputing）指的是在網(wǎng)絡(luò)邊緣節(jié)點(diǎn)來(lái)處理、分析數(shù)據(jù)。而邊緣節(jié)點(diǎn)指的是在數(shù)據(jù)產(chǎn)生源頭和云計(jì)算中心之間具有計(jì)算資源和網(wǎng)絡(luò)資源的節(jié)點(diǎn)，比如手機(jī)就是人與云計(jì)算中心之間的邊緣節(jié)點(diǎn)，而網(wǎng)關(guān)則是智能家居和云計(jì)算中心之間的邊緣節(jié)點(diǎn)。在理想環(huán)境下，邊緣計(jì)算指的是在數(shù)據(jù)產(chǎn)生源附近分析、處理數(shù)據(jù)，降低數(shù)據(jù)的流轉(zhuǎn)，進(jìn)而減少網(wǎng)絡(luò)流量和響應(yīng)時(shí)間。隨著物聯(lián)網(wǎng)的興起以及人工智能在移動(dòng)場(chǎng)景下的廣泛應(yīng)用，機(jī)器學(xué)習(xí)與邊緣計(jì)算的結(jié)合就顯得尤為重要。

為什么邊緣計(jì)算會(huì)在這種嵌入式機(jī)器學(xué)習(xí)的范式下發(fā)揮重要作用呢？

1.數(shù)據(jù)傳輸帶寬和任務(wù)響應(yīng)延遲：在移動(dòng)場(chǎng)景下，機(jī)器學(xué)習(xí)任務(wù)在需要大量的數(shù)據(jù)進(jìn)行訓(xùn)練的同時(shí)又需要更短的響應(yīng)延遲。以自動(dòng)駕駛為例，比較大的延遲可能會(huì)顯著增加事故風(fēng)險(xiǎn)，因此就需要定制的機(jī)載計(jì)算設(shè)備在邊緣執(zhí)行模型推斷。而且，當(dāng)有大量設(shè)備連接到同一網(wǎng)絡(luò)時(shí)，有效帶寬也會(huì)減少，而利用邊緣計(jì)算可以有效地減少設(shè)備之間在通訊渠道上的競(jìng)爭(zhēng)。

2. 安全性：邊緣計(jì)算中的邊緣設(shè)備可以保障所收集的敏感數(shù)據(jù)的安全性。同時(shí)，邊緣計(jì)算可以使智能的邊緣設(shè)備分散化，降低 DDoS 攻擊對(duì)整個(gè)網(wǎng)絡(luò)影響的風(fēng)險(xiǎn)。

3.定制化學(xué)習(xí)任務(wù)：邊緣計(jì)算使得不同的邊緣設(shè)備可以針對(duì)他們所面對(duì)的不用類(lèi)型的對(duì)象采取定制化的學(xué)習(xí)任務(wù)和模型。例如在安防領(lǐng)域的圖像識(shí)別任務(wù)，不同區(qū)域的視頻設(shè)備所觀測(cè)到的圖像信息可能差別很大，因此僅僅訓(xùn)練一個(gè)深度學(xué)習(xí)模型可能無(wú)法達(dá)到目的，而在云上同時(shí)托管多個(gè)模型代價(jià)也會(huì)很大。更有效的解決方案是在云中訓(xùn)練每個(gè)場(chǎng)景下不同的模型，并將訓(xùn)練好的模型發(fā)送到相應(yīng)的邊緣設(shè)備。

4. 多智能體協(xié)作：邊緣設(shè)備也可以同時(shí)模型多智能體場(chǎng)景，幫助訓(xùn)練多智能協(xié)作的強(qiáng)化學(xué)習(xí)模型。

那么將機(jī)器學(xué)習(xí)模型，特別是復(fù)雜的深度學(xué)習(xí)模型，嵌入到邊緣計(jì)算的框架中所面臨的挑戰(zhàn)在哪里呢？

1.參數(shù)高效的神經(jīng)網(wǎng)絡(luò)：神經(jīng)網(wǎng)絡(luò)的一個(gè)顯著特點(diǎn)是龐大的參數(shù)規(guī)模，而邊緣設(shè)備往往不能處理大規(guī)模的神經(jīng)網(wǎng)絡(luò)。這促使研究人員在保持模型準(zhǔn)確性的同時(shí)最小化神經(jīng)網(wǎng)絡(luò)的規(guī)?！，F(xiàn)在通常采用的方式包括通過(guò)對(duì)卷積層的擠壓和擴(kuò)展來(lái)降低濾波器的次數(shù)，從而優(yōu)化參數(shù)效率。

2.神經(jīng)網(wǎng)絡(luò)修剪：在神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過(guò)程中存在一些神經(jīng)元，對(duì)他們進(jìn)行大量的訓(xùn)練后并不能改進(jìn)模型的最終效果。在這種情況下，我們可以通過(guò)修剪這類(lèi)神經(jīng)元來(lái)節(jié)省模型空間。

3.精度控制：大多數(shù)神經(jīng)網(wǎng)絡(luò)參數(shù)都是 32 位浮點(diǎn)數(shù)。邊緣設(shè)備可以設(shè)計(jì)為8位或更少的浮點(diǎn)數(shù)，通過(guò)這種降低精度的方式可以顯著地減小模型規(guī)模。

4.模型蒸餾：模型蒸餾的過(guò)程是將訓(xùn)練好的復(fù)雜神經(jīng)網(wǎng)絡(luò)的能力遷移到一個(gè)結(jié)構(gòu)更為簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)上。結(jié)合遷移學(xué)習(xí)的發(fā)展，這種方法可以更有效地降低模型復(fù)雜度同時(shí)又不會(huì)失去太多精度。

5.優(yōu)化的微處理器：另外一個(gè)方向則是將神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)和推斷能力嵌入到邊緣設(shè)備的微處理器上，這種 AI 芯片所表現(xiàn)出來(lái)的潛力也受到越來(lái)越多的關(guān)注。

▌量子機(jī)器學(xué)習(xí)

量子機(jī)器學(xué)習(xí)（Quantum ML）是量子計(jì)算和機(jī)器學(xué)習(xí)的交叉學(xué)科。

量子計(jì)算機(jī)利用量子相干和量子糾纏等效應(yīng)來(lái)處理信息，這和經(jīng)典計(jì)算機(jī)有著本質(zhì)的差別。目前量子算法已經(jīng)在若干問(wèn)題上超過(guò)了最好的經(jīng)典算法，我們稱(chēng)之為量子加速。例如搜索一個(gè)有N個(gè)條目未排序的數(shù)據(jù)庫(kù)，量子算法所需時(shí)間為；對(duì)一個(gè)N×N的稀疏矩陣求逆，量子計(jì)算機(jī)的時(shí)間復(fù)雜度為，而經(jīng)典計(jì)算機(jī)為。

當(dāng)量子計(jì)算遇到機(jī)器學(xué)習(xí)，可以是個(gè)互利互惠、相輔相成的過(guò)程：一方面我們可以利用量子計(jì)算的優(yōu)勢(shì)來(lái)提高經(jīng)典的機(jī)器學(xué)習(xí)算法的性能，如在量子計(jì)算機(jī)上高效實(shí)現(xiàn)經(jīng)典計(jì)算機(jī)上的機(jī)器學(xué)習(xí)算法。另一方面，我們也可以利用經(jīng)典計(jì)算機(jī)上的機(jī)器學(xué)習(xí)算法來(lái)分析和改進(jìn)量子計(jì)算系統(tǒng)。

基于線性代數(shù)的量子機(jī)器學(xué)習(xí)算法

這一類(lèi)別中的許多量子機(jī)器學(xué)習(xí)算法是基于求解線性方程組的量子算法的各種變體，該算法在特定條件下（如 Hamiltonian 條件，稀疏矩陣或低秩矩陣滿(mǎn)足該條件）求解 N 元線性方程組的復(fù)雜度為。需要指出的是，任何已知的矩陣求逆的經(jīng)典算法的復(fù)雜度至少為。基于量子矩陣求逆算法可以加速很多機(jī)器學(xué)習(xí)方法，如最小二乘線性回歸、支持向量機(jī)的最小二乘版本、高斯過(guò)程等，這些算法的訓(xùn)練可以簡(jiǎn)化為求解線性方程組。這一類(lèi)量子機(jī)器學(xué)習(xí)算法的關(guān)鍵瓶頸是數(shù)據(jù)輸入，如何用整個(gè)數(shù)據(jù)集特征來(lái)初始化量子系統(tǒng)。雖然對(duì)于某些特定的情況高效數(shù)據(jù)輸入算法存在，但是對(duì)大多數(shù)情形而言，數(shù)據(jù)如何輸入到量子系統(tǒng)是未知的。

量子強(qiáng)化學(xué)習(xí)

在量子強(qiáng)化學(xué)習(xí)中，一個(gè)量子智能體（agent）與經(jīng)典環(huán)境互動(dòng)，從環(huán)境獲得獎(jiǎng)勵(lì)從而調(diào)整和改進(jìn)其行為策略。在某些情況下，由于智能體的量子處理能力或者由于量子疊加探測(cè)環(huán)境的可能性，而實(shí)現(xiàn)量子加速。這類(lèi)算法已在超導(dǎo)電路和俘獲離子系統(tǒng)中提出。

量子深度學(xué)習(xí)

諸如量子退火器和采用可編程光子電路的專(zhuān)用量子信息處理器非常適合構(gòu)建深層量子學(xué)習(xí)網(wǎng)絡(luò)。最簡(jiǎn)單的可量子化的深度神經(jīng)網(wǎng)絡(luò)是玻爾茲曼機(jī)。經(jīng)典的玻爾茲曼機(jī)由具有可調(diào)的相互作用的比特位組成，通過(guò)調(diào)整這些比特位的相互作用來(lái)訓(xùn)練玻爾茲曼機(jī)，使得其表達(dá)的分布符合數(shù)據(jù)的統(tǒng)計(jì)。為了量子化 Boltzmann 機(jī)，可以簡(jiǎn)單地將神經(jīng)網(wǎng)絡(luò)表示為一組相互作用的量子自旋，它對(duì)應(yīng)于一個(gè)可調(diào)的 Ising 模型。然后通過(guò)將玻爾茲曼機(jī)中的輸入神經(jīng)元初始化為固定狀態(tài)，并允許系統(tǒng)進(jìn)行熱化，我們可以讀出輸出量子位以獲得結(jié)果。

量子退火器是專(zhuān)用的量子信息處理器，比通用量子計(jì)算機(jī)更容易構(gòu)建和擴(kuò)展，目前已初步商業(yè)化，如 D-wave 量子退火器。

▌簡(jiǎn)單而美的定律

大自然處處都是紛繁復(fù)雜的現(xiàn)象和系統(tǒng)。縱覽現(xiàn)實(shí)世界復(fù)雜現(xiàn)象背后的本質(zhì)，我們卻能得到一個(gè)出乎意料的結(jié)論：貌似復(fù)雜的自然現(xiàn)象都由簡(jiǎn)單而優(yōu)美的數(shù)學(xué)規(guī)律所刻畫(huà)，比如偏微分方程。Mathematica 的創(chuàng)建者、知名計(jì)算機(jī)科學(xué)家、物理學(xué)家 Stephen Wolfram 也曾給出過(guò)類(lèi)似的觀察和結(jié)論: “事實(shí)證明，物理和其他科學(xué)領(lǐng)域幾乎所有的傳統(tǒng)數(shù)學(xué)模型最終都基于偏微分方程?！?既然自然現(xiàn)象背后簡(jiǎn)而美的數(shù)學(xué)定律如此普遍（尤其是偏微分方程），那么能否設(shè)計(jì)一種方法來(lái)自動(dòng)地學(xué)習(xí)和發(fā)現(xiàn)現(xiàn)象背后的數(shù)學(xué)定律呢？這個(gè)問(wèn)題顯然很難，但并非完全不可能。

對(duì)任何一個(gè)方程，某種相等性一定存在。那么更進(jìn)一步，現(xiàn)實(shí)物理世界是否存在內(nèi)在的、普遍的守恒性或不變量呢？關(guān)于這個(gè)問(wèn)題，德國(guó)數(shù)學(xué)家 Emmy Noether 在 1915 年提出了極具洞察力的諾特定理（Noether’s theorem）。該定理指出，對(duì)于每個(gè)連續(xù)的對(duì)稱(chēng)變換都存在一個(gè)守恒量（不變量）與之對(duì)應(yīng)。換言之，連續(xù)對(duì)稱(chēng)性和守恒定律之間有著一一對(duì)應(yīng)關(guān)系。這對(duì)于發(fā)現(xiàn)自然現(xiàn)象背后的守恒關(guān)系，尤其是對(duì)于尋找物理守恒定律，提供了深刻的理論指引。事實(shí)上，絕大部分物理定律公式都是基于某種量的守恒而導(dǎo)出的，比如刻畫(huà)量子系統(tǒng)的薛定諤方程就是由能量守恒得到。

基于這種洞察，科學(xué)工作者們開(kāi)展了大量嘗試并取得了累累碩果。例如，Schmidt 和 Lipson 在 2009 年發(fā)表的《科學(xué)》雜志論文中，提出了基于不變量原理和進(jìn)化算法的自動(dòng)定律發(fā)現(xiàn)方法。論文探討了這樣一個(gè)課題：對(duì)于給定的實(shí)驗(yàn)數(shù)據(jù)，我們基于某種不變性可以生成大量的等式或方程。那么，什么樣的相關(guān)性才是重要且有意義的呢？雖然這個(gè)問(wèn)題難以定量回答，Schmidt 和 Lipson 在論文中給出了他們的觀點(diǎn)：基于某種不變量得到的有效公式必須能正確預(yù)測(cè)一個(gè)系統(tǒng)中各個(gè)組成部分之間的動(dòng)態(tài)關(guān)系。具體來(lái)說(shuō)，一個(gè)有意義的守恒公式須能正確刻畫(huà)一組變量相對(duì)于時(shí)間的導(dǎo)數(shù)之間的關(guān)系。

相比于深度學(xué)習(xí)，自動(dòng)定律學(xué)習(xí)更像牛頓當(dāng)年觀察研究世界的方法。在收集到很多關(guān)于現(xiàn)實(shí)世界的數(shù)據(jù)后，牛頓得到了一系列定律、方程和公式，可以用來(lái)簡(jiǎn)潔明了地刻畫(huà)我們生活的這個(gè)物理世界的規(guī)律。萬(wàn)物皆數(shù)，自動(dòng)化定律發(fā)現(xiàn)可以很大程度地輔助科學(xué)研究，甚至在一定領(lǐng)域內(nèi)實(shí)現(xiàn)科學(xué)研究的自動(dòng)化。

即興學(xué)習(xí)

這里我們探討的即興學(xué)習(xí)與 Yann LeCun 一直倡導(dǎo)的預(yù)測(cè)學(xué)習(xí)，有著相似的目標(biāo)，然而二者對(duì)世界的假設(shè)和采取的方法論非常不同。預(yù)測(cè)學(xué)習(xí)這個(gè)概念脫胎于無(wú)監(jiān)督學(xué)習(xí)，側(cè)重預(yù)測(cè)未來(lái)事件發(fā)生概率的能力。方法論上，預(yù)測(cè)學(xué)習(xí)利用所有當(dāng)前可用的信息，基于過(guò)去和現(xiàn)在預(yù)測(cè)未來(lái)，或者基于現(xiàn)在分析過(guò)去。預(yù)測(cè)學(xué)習(xí)在一定程度上暗合現(xiàn)代認(rèn)知科學(xué)對(duì)大腦能力的理解。

預(yù)測(cè)學(xué)習(xí)的兩大要素是：建模世界和預(yù)測(cè)當(dāng)前未知。問(wèn)題是，我們生活的世界是否可以預(yù)測(cè)？這個(gè)問(wèn)題的答案是不明確的。

與預(yù)測(cè)學(xué)習(xí)對(duì)世界的假設(shè)不同，即興學(xué)習(xí)假設(shè)異常事件的發(fā)生是常態(tài)。即興智能是指當(dāng)遇到出乎意料的事件時(shí)可以即興地、變通地處理解決問(wèn)題的能力。即興學(xué)習(xí)意味著沒(méi)有確定的、預(yù)設(shè)的、靜態(tài)的可優(yōu)化目標(biāo)。直觀地講，即興學(xué)習(xí)系統(tǒng)需要進(jìn)行不間斷的、自我驅(qū)動(dòng)的能力提升，而不是由預(yù)設(shè)目標(biāo)生成的優(yōu)化梯度推動(dòng)演化。換言之，即興學(xué)習(xí)通過(guò)自主式觀察和交互來(lái)獲得知識(shí)和解決問(wèn)題的能力。

一個(gè)即興學(xué)習(xí)系統(tǒng)通過(guò)觀察環(huán)境并與環(huán)境交互的正負(fù)反饋中學(xué)習(xí)。這個(gè)過(guò)程跟強(qiáng)化學(xué)習(xí)表面上很像，本質(zhì)的區(qū)別還是在于即興學(xué)習(xí)沒(méi)有確定預(yù)設(shè)的優(yōu)化目標(biāo)，而強(qiáng)化學(xué)習(xí)則通常需要一個(gè)預(yù)設(shè)的目標(biāo)。既然即興學(xué)習(xí)不是由根據(jù)固定優(yōu)化目標(biāo)所得出的學(xué)習(xí)梯度來(lái)驅(qū)動(dòng)演化。那么，是什么驅(qū)動(dòng)了這個(gè)學(xué)習(xí)過(guò)程？什么時(shí)候，這個(gè)學(xué)習(xí)過(guò)程會(huì)停止？這里，我們以“條件熵”模型為例來(lái)探討這類(lèi)學(xué)習(xí)系統(tǒng)。

這里 K 是學(xué)習(xí)系統(tǒng)當(dāng)前擁有的知識(shí)，而 E 是環(huán)境中的信息。該公式刻畫(huà)了環(huán)境相對(duì)于當(dāng)前學(xué)習(xí)系統(tǒng)的“不確定性”。伴隨著“負(fù)熵”的轉(zhuǎn)移，學(xué)習(xí)系統(tǒng)獲得越來(lái)越多關(guān)于環(huán)境的知識(shí)，這種“不確定性”逐步遞減，直到消失。當(dāng)這種“不確定性”完全消失后，“負(fù)熵”流動(dòng)停止，學(xué)習(xí)過(guò)程結(jié)束。這時(shí)，該學(xué)習(xí)系統(tǒng)通過(guò)無(wú)預(yù)設(shè)目標(biāo)的即興學(xué)習(xí)，獲得了對(duì)環(huán)境的全面理解。

社會(huì)機(jī)器學(xué)習(xí)

機(jī)器學(xué)習(xí)的目的是模擬人類(lèi)的學(xué)習(xí)過(guò)程。機(jī)器學(xué)習(xí)雖然取得很大的成功，但是到目前為止，它忽視了一個(gè)重要的因素，也就是人的社會(huì)屬性。我們每個(gè)人都是社會(huì)的一分子，很難從出生就脫離社會(huì)獨(dú)自生存、學(xué)習(xí)并不斷進(jìn)步。既然人類(lèi)的智能離不開(kāi)社會(huì)，那么我們能否讓機(jī)器們也具有某種意義的社會(huì)屬性，模擬人類(lèi)社會(huì)中的關(guān)鍵元素進(jìn)行演化，從而實(shí)現(xiàn)比現(xiàn)在的機(jī)器學(xué)習(xí)方法更為有效、智能、可解釋的“社會(huì)機(jī)器學(xué)習(xí)”呢？

社會(huì)是由億萬(wàn)個(gè)人類(lèi)個(gè)體構(gòu)成，社會(huì)機(jī)器學(xué)習(xí)也應(yīng)該是一個(gè)由機(jī)器學(xué)習(xí)智能體構(gòu)成的體系。每一個(gè)機(jī)器學(xué)習(xí)算法除了按照現(xiàn)在的機(jī)器學(xué)習(xí)方法獲取數(shù)據(jù)的規(guī)律，還參與社會(huì)活動(dòng)。它們會(huì)聯(lián)合其他的機(jī)器學(xué)習(xí)智能體按照社會(huì)機(jī)制積極獲取信息、分工、合作、獲得社會(huì)酬勞。與此同時(shí)，它們會(huì)總結(jié)經(jīng)驗(yàn)、學(xué)習(xí)知識(shí)、相互學(xué)習(xí)來(lái)調(diào)整行為。

事實(shí)上，現(xiàn)在的機(jī)器學(xué)習(xí)方法中已經(jīng)開(kāi)始出現(xiàn)“社會(huì)智能”的零零星星的影子。比如，“知識(shí)蒸餾”可以描述機(jī)器學(xué)習(xí)智能體之間最簡(jiǎn)單的行為影響，它也可能是初步獲取知識(shí)的方式；分布式機(jī)器學(xué)習(xí)算法中模型平均、模型集成、投票等方法是最簡(jiǎn)單的社會(huì)決策機(jī)制；強(qiáng)化學(xué)習(xí)提供了智能體基于酬勞反饋調(diào)整行為的框架。

由于社會(huì)屬性是人類(lèi)的本質(zhì)屬性，社會(huì)機(jī)器學(xué)習(xí)也將會(huì)是我們利用機(jī)器學(xué)習(xí)從獲取人工智能到獲取社會(huì)智能的重要方向！

▌結(jié)語(yǔ)

如前文所說(shuō)，機(jī)器學(xué)習(xí)近幾年發(fā)展迅猛，我們對(duì)它充滿(mǎn)信心，文中提及的未來(lái)方向僅是基于筆者對(duì)機(jī)器學(xué)習(xí)領(lǐng)域的理解，一定還有很多沒(méi)有涵蓋的重要方向。其實(shí)預(yù)測(cè)未來(lái)是一件非常困難的事情，尤其是對(duì)于機(jī)器學(xué)習(xí)這個(gè)飛速發(fā)展的領(lǐng)域。Alan Kay 曾經(jīng)說(shuō)過(guò)：“預(yù)測(cè)未來(lái)最好的方法就是創(chuàng)造它”。因此。我們呼吁所有機(jī)器學(xué)習(xí)從業(yè)人員，無(wú)論是學(xué)者還是工程師，是教授還是學(xué)生，能夠共同努力、攜手前行，用我們的實(shí)際行動(dòng)去推進(jìn)這些重要的研究課題，用我們的雙手去創(chuàng)造未來(lái)，這會(huì)比預(yù)測(cè)未來(lái)要實(shí)在得多、重要得多！