谷歌深腦DeepMind - 楊強(qiáng)教授：從機(jī)器學(xué)習(xí)到遷移學(xué)習(xí)

　
　　這個(gè)之后，就是深度神經(jīng)網(wǎng)絡(luò)。深度神經(jīng)網(wǎng)絡(luò)的突破從計(jì)算上來說有幾個(gè)好處，其中一個(gè)好處是說它把一個(gè)全局計(jì)算的需求變成一個(gè)本地計(jì)算的需求，在做到這一點(diǎn)的同時(shí)，又不失掉很多的信息，這個(gè)是計(jì)算機(jī)里面無數(shù)成就的一個(gè)中心點(diǎn)。這樣的一個(gè)成功就使得我們能夠在不同的層次來觀察同一個(gè)數(shù)據(jù)，同樣就可以獲得我們所謂的大局觀。就像這個(gè)圖，我們?cè)诓煌膶哟慰梢缘玫讲煌奶卣鳌?/p>

　　這里我們要特別強(qiáng)調(diào)的是人工智能也在另外一個(gè)方面默默在耕耘，這個(gè)就叫做強(qiáng)化學(xué)習(xí)。強(qiáng)化學(xué)習(xí)應(yīng)該說是用來做人工智能規(guī)劃的有力工具，但不是唯一的工具。這個(gè)領(lǐng)域相對(duì)深度學(xué)習(xí)應(yīng)該說更古老，研究的力度也很多。但在很長時(shí)間處于靜默狀態(tài)，這個(gè)原因是因?yàn)樗谟?jì)算上有很大的瓶頸，不能有很大的數(shù)據(jù)量。一個(gè)例子就是強(qiáng)化學(xué)習(xí)在很長時(shí)間以來只能解決一些玩具型的問題，非常小的數(shù)據(jù)。

　　但是，最近的一個(gè)突破是Google的DeepMind，把深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)合在一起，這樣的一個(gè)議題使得很多強(qiáng)化學(xué)習(xí)所需要突破的瓶頸，就是狀態(tài)的個(gè)數(shù)能隱藏起來。這種隱藏就使得強(qiáng)化學(xué)習(xí)能夠大規(guī)模應(yīng)付數(shù)據(jù)，也即應(yīng)付大數(shù)據(jù)。它突出的一點(diǎn)叫做端到端的學(xué)習(xí)，就是說我們?cè)谶@里看到一個(gè)計(jì)算機(jī)的游戲，這個(gè)游戲的影像是輸入端，輸出端就是你要進(jìn)行的下一個(gè)動(dòng)作。這個(gè)動(dòng)作是正確還是不正確，到最后會(huì)獲得一個(gè)反饋，這個(gè)反饋不一定是現(xiàn)在得到，也許是后面幾步得到的。這一點(diǎn)和我們剛剛講的深度學(xué)習(xí)在圖像上面的應(yīng)用，就大不一樣。就更加復(fù)雜，更加契合人的行為，所以強(qiáng)化學(xué)習(xí)也是下一個(gè)突破。

　　我們看到這種端到端的深度學(xué)習(xí)，應(yīng)用在強(qiáng)化學(xué)習(xí)上，使得DeepMind到今天在很古老的單人計(jì)算機(jī)游戲上已經(jīng)把人類完全擊倒，它做到這樣是通過完全的自學(xué)習(xí)、自我修煉、自我改正，然后一個(gè)一個(gè)迭代。

　　這個(gè)就是它迭代的一些結(jié)果，從左到右是一個(gè)時(shí)間軸，從下到上是它得到的效果。我們看到每一個(gè)游戲它的要求都是在不斷成長的，就像我們一個(gè)學(xué)生在學(xué)習(xí)的過程當(dāng)中學(xué)到的知識(shí)越來越多，這個(gè)完全是自我實(shí)現(xiàn)，一個(gè)自學(xué)習(xí)的過程。

　　包括現(xiàn)在的AlphaGo也應(yīng)用了很多自學(xué)習(xí)的這種效果，使得我們現(xiàn)在終于認(rèn)清原來人工智能從［20世紀(jì)］60年代到2000年的物理符號(hào)的假設(shè)，也就是說以搜索為中心，以邏輯為中心的這種努力并沒有白費(fèi)，這種努力也是需要的。另外學(xué)習(xí)也是必不可少的，像我們熟知的深度學(xué)習(xí)。所以AlphaGo對(duì)我們的啟示，就是我們把［搜索和學(xué)習(xí)］兩者結(jié)合起來，才是一個(gè)完整的智能機(jī)器。這個(gè)我們可以叫做人工智能的通用性，也就是說我們對(duì)于這兩個(gè)技術(shù)的某種結(jié)合，比方說多一點(diǎn)搜索，少一點(diǎn)機(jī)器學(xué)習(xí)，或者反之我們就可以得到用來解釋不同的人類的智能行為。

　　這種通用型，端到端的學(xué)習(xí)，可以用這個(gè)例子來表達(dá)：雞可以吃不同的東西，但是它下的都是蛋，是對(duì)人類有用的。

　　這里我要特別提到一點(diǎn)，我們并不是找到了最后的目標(biāo)，這也是在不同的人工智能、強(qiáng)化學(xué)習(xí)等等之類的實(shí)驗(yàn)當(dāng)中我們發(fā)現(xiàn)一個(gè)特點(diǎn)，就是我們不能完全依靠機(jī)器去全部自動(dòng)化自我學(xué)習(xí)，至少到現(xiàn)在我們還沒有摸索出這樣一個(gè)路徑。這里是CMU大學(xué)的例子，用中文來說是永動(dòng)機(jī)器學(xué)習(xí)，這個(gè)機(jī)器不斷在網(wǎng)上扒一些網(wǎng)頁，在每個(gè)網(wǎng)頁里面都學(xué)到一些知識(shí)，把這些知識(shí)綜合起來，變成幾千萬條知識(shí)，這些知識(shí)又會(huì)衍生新的知識(shí)。那么我們看到從下到上是隨著時(shí)間，知識(shí)量在增長。但是它到了某一個(gè)程度實(shí)際上是不能再往上走了，因?yàn)橹R(shí)會(huì)自我矛盾。這個(gè)時(shí)候就需要人來進(jìn)行一部分的調(diào)節(jié)，把一部分不正確的知識(shí)去掉，讓它繼續(xù)能成長。這個(gè)過程為什么會(huì)發(fā)生呢？

　　是因?yàn)闄C(jī)器學(xué)習(xí)有一個(gè)很嚴(yán)重的現(xiàn)象，就是自我偏差，這種偏差可以體現(xiàn)在統(tǒng)計(jì)學(xué)的一個(gè)重要概念中，就是我們獲得的數(shù)據(jù)也許是一個(gè)有偏數(shù)據(jù)，我們可能建了一個(gè)模型，對(duì)大部分的數(shù)據(jù)都有用，但其中有一些特例。我們?nèi)绾蝸硖幚磉@些特例，如何來處理我們訓(xùn)練數(shù)據(jù)和應(yīng)用數(shù)據(jù)之間的偏差，這是我們下一步要研究的內(nèi)容。

　　一個(gè)非常有希望的技術(shù)叫做遷移學(xué)習(xí)，比方說這個(gè)是在深度學(xué)習(xí)的模型上，在上面這一部分是一個(gè)領(lǐng)域已經(jīng)訓(xùn)練好的模型。那么在一個(gè)新的領(lǐng)域，如果這兩個(gè)領(lǐng)域之間有某種聯(lián)系、某種相似性的話，我們就不一定在新的領(lǐng)域需要那么多的數(shù)據(jù)來學(xué)習(xí)，你只需要一小部分。我們之所以能做到這一點(diǎn)是因?yàn)槲覀兛梢园汛蟛糠值哪Ｐ徒o遷移過來，人有這種能力，但是我們?cè)谧鲞@種數(shù)據(jù)遷移的過程中，我們一定要牢記把這種有偏的數(shù)據(jù)偏差給消除掉。

　　如果能做到這點(diǎn)，我們就能做到不同形式的數(shù)據(jù)之間的知識(shí)遷移，比方說我們可以讓一個(gè)計(jì)算機(jī)來讀很多文字，這樣的一個(gè)計(jì)算機(jī)去識(shí)別圖像，應(yīng)該比沒有讀這些文字，直接去學(xué)習(xí)圖像的計(jì)算機(jī)要容易。這個(gè)就更像我們?nèi)祟惖膶W(xué)習(xí)。這種學(xué)習(xí)也離不開從下到上，從粗到細(xì)這樣的一種特征選擇。

　　所以我們又得到另外一個(gè)概念，就是特征工程。深度學(xué)習(xí)給我們的一個(gè)有力工具是能夠自動(dòng)進(jìn)行不同層次、大規(guī)模的新特征的抽取和制造。那么這種特征在搜索引擎、廣告系統(tǒng)上面可以達(dá)到萬億級(jí)，這個(gè)已經(jīng)完全不是人類所可以控制的級(jí)別了。智能在這樣的級(jí)別上才可以產(chǎn)生。

　　但是，現(xiàn)在人工智能仍然有一些困境，比方說如何能夠讓人工智能來深層理解文字，有一個(gè)著名的類似于圖靈測(cè)試的比賽，深層次理解文字，在自然語言上問一些有歧異的問題，計(jì)算機(jī)如果要能正確的回答這個(gè)問題，那個(gè)模型就不僅僅要理解這些文字，而且要理解深層的背景文字，要理解周邊的文字。有很多文化在里面，如何能達(dá)到這一點(diǎn)？這也是我們需要解決的。

　　同時(shí)深度模型還可以把它反轉(zhuǎn)，成為一種生成模型。它不僅可以去對(duì)數(shù)據(jù)做一個(gè)決策，它還可以自己產(chǎn)生新的數(shù)據(jù)。比方說這個(gè)是Google的一些研究員把一個(gè)深層模型里面的感知最深刻的那些圖像給描述出來，結(jié)果是這樣非常有趣的生成模型。