AlphaGo的機(jī)器學(xué)習(xí)泛化能力仍待提高

上了數(shù)以千計(jì)的CPU和上百的GPU，AlphaGo在與李世石的挑戰(zhàn)賽中贏了第一局。除了算法的設(shè)計(jì)，這還是計(jì)算的勝利，用DeepMind公司研究負(fù)責(zé)人David Silver的話說，職業(yè)棋手在考慮下一手布局時，每秒可以考慮到100種可能的棋路，但AlphaGo每秒可以考慮到10萬種棋路，計(jì)算速度也比人類更快。
　　那么，在機(jī)器學(xué)習(xí)一端呢，程序員們怎么說呢？
　　
　　李理：面對頂尖高手，AlphaGo只有殘局搜索速度的優(yōu)勢
　　李理，出門問問NLP工程師
　　沒想到第一局AlphaGo就取得勝利，作為對人工智能感興趣的碼農(nóng)，我既感到高興又不免有些傷感。高興是因?yàn)槲覀兛梢浴皠?chuàng)造”出比我們自己“聰明”的機(jī)器，傷感就像教拳擊的師傅看到徒弟的水平已然超過自己，不免有“老了，不中用了”的感嘆。另外還有那么一點(diǎn)點(diǎn)失落和擔(dān)憂：那些花邊新聞不再會有我的出現(xiàn)了，失落之感油然而生。而且這孩子太天真，以后很容易被社會上不好的人帶壞。
　　但這是大勢所趨，不可避免，長江后浪推前浪，人工智能會在很多領(lǐng)域超過人類，這是我們不得不承認(rèn)的事實(shí)，但是我們還是不愿意承認(rèn)這個殘酷的事實(shí)。力量比不過機(jī)器我們比“智能”，計(jì)算比不過我們比邏輯，象棋比不過我們比圍棋，……，突然有一天我們發(fā)現(xiàn)找不到這樣的事情了，我們做何感想？我認(rèn)為這一天遲早會來的，但希望再我的有生之年不會到來（但我們做人工智能不就是希望這一天的到來嗎？）。也許是我們的世界觀太過狹隘，我們應(yīng)該歡呼這一天的到來？
　　當(dāng)然我覺得這一天還是離我們很遙遠(yuǎn)的，而且也不是太壞的事情，我們想象中的外星人都是來毀滅地球的，是不是因?yàn)槲覀兊奈幕际菑?qiáng)調(diào)競爭而不是協(xié)作呢？從某個角度來說，確實(shí)處處是矛盾：老板賺得多員工賺得少，碼農(nóng)月新高農(nóng)民辛苦一年報(bào)酬少，農(nóng)民把動物的家園從森林砍成耕地，蜜蜂竊取花的糖分……。
　　但是換個角度來看，整個地球是一個協(xié)作的生態(tài)系統(tǒng)，植物把太陽能變成動物能吸收的食物，老板通過對外宣傳來推廣我們的產(chǎn)品和協(xié)調(diào)我們的長短期計(jì)劃。馬龍通過程序交換信息從而更好的幫助人類實(shí)現(xiàn)商品交換……。
　　從某種意義上講，機(jī)器智能也是人類智能的一部分。比如我們通過各種工具來擴(kuò)展我們的能力，用機(jī)器來增加力量，用汽車飛機(jī)來提高速度，用望遠(yuǎn)鏡和顯微鏡來提高視覺能力，這是“非智能”的工具。但是竹木簡，造紙術(shù)和計(jì)算機(jī)磁盤擴(kuò)展了我們的“記憶”。記憶能力在中國是非?？粗氐哪芰?，很多“天才”，都是記憶力超出常人，我們認(rèn)為一個小孩聰明，經(jīng)常會說他六歲就能背誦唐詩三百首。這可能是因?yàn)橹袊鳛橐粋€幾千年的農(nóng)業(yè)國家，很多都是經(jīng)驗(yàn)的積累，因此記憶能力至關(guān)重要。但是到了現(xiàn)代，人腦外部的存儲已經(jīng)很方便了，再過分強(qiáng)調(diào)記憶力就容易培養(yǎng)死記硬背的書呆子了（用機(jī)器學(xué)習(xí)術(shù)語就是過擬合）。
　　但是我們還是認(rèn)為人類是特殊的，比如有情感，比如有靈感，比如有抽象能力，能通過有限推廣到無限（比如數(shù)學(xué)里的極限），……。這些能力不管是被上帝賦予的還是人類“生下來就有的”（那第一個人怎么獲得這么bug的技能的呢？），反正我們就認(rèn)為其它“東西”是不可能擁有的。（雖然我個人認(rèn)為人類沒有任何特殊的能力，就不展開討論了）
　　我們假設(shè)有一項(xiàng)特殊能力只有人類會有，那么我們就不可能制造出類似甚至超過人類的機(jī)器，那很好嗎？我們失去了這項(xiàng)非常重要的創(chuàng)造力！反過來看，如果我們承認(rèn)人類沒有特殊之處，那么之前有可能我們能有這樣的能力（通過人類甚至人類加機(jī)器的努力）。
　　扯得太遠(yuǎn)，我們還是回到圍棋和AlphaGo上面。現(xiàn)在AlphaGo已經(jīng)全面超越人類了嗎？我個人認(rèn)為還不見得。我在大學(xué)的時候?qū)戇^一個簡單的黑白棋（othello，reversi）程序，寫得很一般，尤其是開局的估值函數(shù)。玩過黑白棋的同學(xué)可能都知道，開局時要盡量占據(jù)邊和角，中間棋子太多反而不好。我的這個黑白棋程序開局不行，但是到了還剩20步棋時它就能窮舉所有可能了。我一般和它下時會讓它彈出一個對話框告訴我當(dāng)前電腦計(jì)算出來的最優(yōu)結(jié)果。經(jīng)常是開始得分是-20（這表示我如果下的完美，我最終比電腦多20個子），但下著下著就變成-16、-8……，最后常常被翻盤。
　　從昨天AlphaGo的表現(xiàn)來看，包括柯潔在內(nèi)的很多人都認(rèn)為電腦開局還行，但偶爾有些小問題，中局較差，而殘局很恐怖。而李世石也是類似風(fēng)格（之前好像有個李昌鎬更是這樣？）。但比殘局計(jì)算，李世石可能是人類中的高手，但計(jì)算機(jī)更勝一籌。所以柯潔認(rèn)為自己對AlphaGo的勝率會比李世石高。我比較認(rèn)同這個看法。
　　從圍棋原理來分析，開局其實(shí)人類離“上帝”差得太遠(yuǎn)，也許我們今天覺得很好的布局定勢其實(shí)是個大壞棋也不一定。更多的是靠以往的經(jīng)驗(yàn)，比如水平差不多的人下棋，走這個定勢就比那個勝率更高一些，我們就認(rèn)為這個好一些。目前AlphaGo對于開局也是靠人類高手學(xué)習(xí)出來的對局庫學(xué)習(xí)出來的Value Network，當(dāng)然開局也有MCTS的搜索，但從開局模擬對局到游戲結(jié)束需要的時間更多，可能性也更多，所以“看起來”電腦的布局更像是“背棋譜”，也就是很像人類高手的走法。從人類的策略來說，開局是非常關(guān)鍵的。因?yàn)?a href='http://srfitnesspt.com/tags/神經(jīng)網(wǎng)絡(luò)/' target='_blank' class='arckwlink_none'>神經(jīng)網(wǎng)絡(luò)需要大量訓(xùn)練數(shù)據(jù)，超一流棋手的對局少，所以AlphaGo只能學(xué)到一流高手的棋感，而開局MCTS的幫助就沒有那么大。
　　而到了殘局，雖然MCTS不是窮舉，但是由于搜索的速度加快，從而模擬對局變多，從概率上來看趨近最優(yōu)解，而人類高手總有算錯算漏的可能性，所以這是劣勢。而中局就比較復(fù)雜，需要平衡搜索和局面判斷，我認(rèn)為AlphaGo借助搜索能稍微超過一流高手但會弱于頂尖高手甚至可能出現(xiàn)明顯的弱手。所以也是李世石需要下的強(qiáng)硬并擴(kuò)大先手的地方。
　　但還是那個老問題，人類殘局會算錯，即使從棋理上應(yīng)該獲勝的棋也可能下輸，尤其是如果心理壓力大的情況下計(jì)算更容易出錯，而計(jì)算機(jī)就不會（這也是為什么情感不是智能生物必須的一個論據(jù)）。就像常昊跟李昌鎬下棋，到了后面就是下不過，不服都不行。所以今天的比賽至關(guān)重要，如果輸了那就基本0:5了，而贏了的話很可能4:1。
　　總結(jié)一下（希望被再次打臉）我個人的觀點(diǎn)和對李世石的建議：開局選擇自己最拿手的，能用超一流棋手的棋感拉來和一流棋手的差距，中局穩(wěn)打穩(wěn)扎，利用機(jī)器的小失誤擴(kuò)大領(lǐng)先，殘局計(jì)算要控制好情緒，不要優(yōu)勢就放棄（劣勢也頑強(qiáng)一點(diǎn)吧，雖然看起來是無謂的垂死掙扎，電腦不會給你任何機(jī)會的），另外可以考驗(yàn)一下電腦應(yīng)付打劫的能力，這個更多靠“抽象和泛化”，少量的訓(xùn)練數(shù)據(jù)深度學(xué)習(xí)應(yīng)該還是學(xué)不出來的。
　　張崢：AlphaGo無破綻，問題在于機(jī)器學(xué)習(xí)
　　張崢，上海紐約大學(xué)計(jì)算機(jī)科學(xué)教授、前微軟亞洲研究院副院長
　　仔細(xì)讀過AlphaGo，沒覺得有什么破綻。在自己左右手互搏中的計(jì)算價值那部分為了效率用了“快棋”策略，可能粗糙些，但下得多可以彌補(bǔ)。有網(wǎng)友提出的和李世石比賽會“偷招”這個倒不用擔(dān)心，五局的樣本對機(jī)器沒用，它不靠這個，靠的是工程上高效率、策略上粗枝大葉但大方向正確。
　　AlphaGo勝利的概率是100%，只不過不見得是這次?！懊　边€是機(jī)器學(xué)習(xí)的老毛病。表現(xiàn)在：
　　無法總結(jié)規(guī)律，或者說無法吐出一套規(guī)整自洽的規(guī)律；泛化能力差，無法在復(fù)盤中舉一反三，即便告訴它哪步走錯了，恐怕它也不知道為啥，只是一氣兒死磕到撞了南墻才完事。
　　田淵棟：增強(qiáng)學(xué)習(xí)還有很長的路
　　田淵棟，F(xiàn)acebook
　　在AlphaGo中，增強(qiáng)學(xué)習(xí)（Reinforcement Learning）所扮演的角色并沒有想像中那么大。在理想情況下，我們希望人工智能系統(tǒng)能在對局中動態(tài)地適應(yīng)環(huán)境和對手的招式并且找到辦法反制之，但是在AlphaGo中增強(qiáng)學(xué)習(xí)更多地是用于提供更多質(zhì)量更好的樣本，給有監(jiān)督學(xué)習(xí)（Supervised Learning）以訓(xùn)練出更好的模型。在這方面增強(qiáng)學(xué)習(xí)還有很長的路要走。
　　本段著作權(quán)歸作者所有。
　　商業(yè)轉(zhuǎn)載請聯(lián)系作者獲得授權(quán)，非商業(yè)轉(zhuǎn)載請注明出處。
　　作者：田淵棟
　　鏈接：AlphaGo的分析
　　來源：知乎
　　周志華：
　　周志華，國際人工智能學(xué)會成員、南京大學(xué)計(jì)算機(jī)系教授
　　圍棋AI遲早會戰(zhàn)勝人類。但僅憑深度學(xué)習(xí)+強(qiáng)化學(xué)習(xí)+蒙特卡洛樹搜索等老技術(shù)，似乎很難達(dá)到人類頂尖棋手的水準(zhǔn)。
　　AlphaGo的未來
　　挑戰(zhàn)《星際爭霸》。
　　谷歌研究員透露開發(fā)AlphaGo的DeepMind公司總裁正考慮將人工智能目標(biāo)轉(zhuǎn)移到游戲上，并以星際爭霸作為開始項(xiàng)目。星際爭霸的玩家除了視覺觀察之外還需要理解一些其他問題，AlphaGo要面對的挑戰(zhàn)是和圍棋在不同層面的。
　　解決更多的通用問題。
　　David Silver：AlphaGo屬于通用程式，人們可以使其學(xué)習(xí)醫(yī)療數(shù)據(jù)，掌握治療方法，并可以利用它制造出做各種雜務(wù)的家用機(jī)械人。田淵棟：與之前的圍棋系統(tǒng)相比，AlphaGo較少依賴圍棋的領(lǐng)域知識，但還遠(yuǎn)未達(dá)到通用系統(tǒng)的程度。周志華：算法無法直接復(fù)用于其他領(lǐng)域，但算法精神可以應(yīng)用。
?