人工智能擁抱大數(shù)據(jù)

前言

雖說(shuō)有了大數(shù)據(jù)，人的欲望總是這個(gè)不能夠滿足。雖說(shuō)在大數(shù)據(jù)平臺(tái)里面有搜索引擎這個(gè)東西，想要什么東西我一搜就出來(lái)了。但是也存在這樣的情況，我想要的東西不會(huì)搜，表達(dá)不出來(lái)，搜索出來(lái)的又不是我想要的。例如音樂(lè)軟件里面推薦一首歌，這首歌我沒(méi)聽過(guò)，當(dāng)然不知道名字，也沒(méi)法搜，但是軟件推薦給我，我的確喜歡，這就是搜索做不到的事情。當(dāng)人們使用這種應(yīng)用的時(shí)候，會(huì)發(fā)現(xiàn)機(jī)器知道我想要什么，而不是說(shuō)當(dāng)我想要的時(shí)候，去機(jī)器里面搜索。這個(gè)機(jī)器真像我的朋友一樣懂我，這就有點(diǎn)人工智能的意思了。

人們很早就在想這個(gè)事情了。最早的時(shí)候，人們想象，如果要是有一堵墻，墻后面是個(gè)機(jī)器，我給它說(shuō)話，它就給我回應(yīng)，我如果感覺(jué)不出它那邊是人還是機(jī)器，那它就真的是一個(gè)人工智能的東西了。

2. 讓機(jī)器學(xué)會(huì)推理

怎么才能做到這一點(diǎn)呢？人們就想：我首先要告訴計(jì)算機(jī)人類的推理的能力。你看人重要的是什么呀，人和動(dòng)物的區(qū)別在什么呀，就是能推理。我要是把我這個(gè)推理的能力啊告訴機(jī)器，機(jī)器就能根據(jù)你的提問(wèn)，推理出相應(yīng)的回答，真能這樣多好。推理其實(shí)人們慢慢的讓機(jī)器能夠做到一些了，例如證明數(shù)學(xué)公式。這是一個(gè)非常讓人驚喜的一個(gè)過(guò)程，機(jī)器竟然能夠證明數(shù)學(xué)公式。但是慢慢發(fā)現(xiàn)其實(shí)這個(gè)結(jié)果，也沒(méi)有那么令人驚喜，因?yàn)榇蠹野l(fā)現(xiàn)了一個(gè)問(wèn)題，數(shù)學(xué)公式非常嚴(yán)謹(jǐn)，推理過(guò)程也非常嚴(yán)謹(jǐn)，而且數(shù)學(xué)公式很容易拿機(jī)器來(lái)進(jìn)行表達(dá)，程序也相對(duì)容易表達(dá)。然而人類的語(yǔ)言就沒(méi)這么簡(jiǎn)單了，比如今天晚上，你和你女朋友約會(huì)，你女朋友說(shuō)：如果你早來(lái)，我沒(méi)來(lái)，你等著，如果我早來(lái)，你沒(méi)來(lái)，你等著。這個(gè)機(jī)器就比比較難理解了，但是人都懂，所以你和女朋友約會(huì)，你是不敢遲到的。

3. 教給機(jī)器知識(shí)

所以僅僅告訴機(jī)器嚴(yán)格的推理是不夠的，還要告訴機(jī)器一些知識(shí)。但是知識(shí)這個(gè)事兒，一般人可能就做不來(lái)了，可能專家可以，比如語(yǔ)言領(lǐng)域的專家，或者財(cái)經(jīng)領(lǐng)域的專家。語(yǔ)言領(lǐng)域和財(cái)經(jīng)領(lǐng)域知識(shí)能不能表示成像數(shù)學(xué)公式一樣稍微嚴(yán)格點(diǎn)呢？例如語(yǔ)言專家可能會(huì)總結(jié)出主謂賓定狀補(bǔ)這些語(yǔ)法規(guī)則，主語(yǔ)后面一定是謂語(yǔ)，謂語(yǔ)后面一定是賓語(yǔ)，將這些總結(jié)出來(lái)，并嚴(yán)格表達(dá)出來(lái)不久行了嗎？后來(lái)發(fā)現(xiàn)這個(gè)不行，太難總結(jié)了，語(yǔ)言表達(dá)千變?nèi)f化。就拿主謂賓的例子，很多時(shí)候在口語(yǔ)里面就省略了謂語(yǔ)，別人問(wèn)：你誰(shuí)??？我回答：我劉超。但是你不能規(guī)定在語(yǔ)音語(yǔ)義識(shí)別的時(shí)候，要求對(duì)著機(jī)器說(shuō)標(biāo)準(zhǔn)的書面語(yǔ)，這樣還是不夠智能，就像羅永浩在一次演講中說(shuō)的那樣，每次對(duì)著手機(jī)，用書面語(yǔ)說(shuō)：請(qǐng)幫我呼叫某某某，這是一件很尷尬的事情。

人工智能這個(gè)階段叫做專家系統(tǒng)。專家系統(tǒng)不易成功，一方面是知識(shí)比較難總結(jié)，另一方面總結(jié)出來(lái)的知識(shí)難以教給計(jì)算機(jī)。因?yàn)槟阕约哼€迷迷糊糊，似乎覺(jué)得有規(guī)律，就是說(shuō)不出來(lái)，就怎么能夠通過(guò)編程教給計(jì)算機(jī)呢？

4. 算了，教不會(huì)你自己學(xué)吧

于是人們想到，看來(lái)機(jī)器是和人完全不一樣的物種，干脆讓機(jī)器自己學(xué)習(xí)好了。機(jī)器怎么學(xué)習(xí)呢？既然機(jī)器的統(tǒng)計(jì)能力這么強(qiáng)，基于統(tǒng)計(jì)學(xué)習(xí)，一定能從大量的數(shù)字中發(fā)現(xiàn)一定的規(guī)律。

其實(shí)在娛樂(lè)圈有很好的一個(gè)例子，可見(jiàn)一斑

有一位網(wǎng)友統(tǒng)計(jì)了知名歌手在大陸發(fā)行的 9 張專輯中 117 首歌曲的歌詞，同一詞語(yǔ)在一首歌出現(xiàn)只算一次，形容詞、名詞和動(dòng)詞的前十名如下表所示（詞語(yǔ)后面的數(shù)字是出現(xiàn)的次數(shù)）：

如果我們隨便寫一串?dāng)?shù)字，然后按照數(shù)位依次在形容詞、名詞和動(dòng)詞中取出一個(gè)詞，連在一起會(huì)怎么樣呢？

例如取圓周率 3.1415926，對(duì)應(yīng)的詞語(yǔ)是：堅(jiān)強(qiáng)，路，飛，自由，雨，埋，迷惘。稍微連接和潤(rùn)色一下：

堅(jiān)強(qiáng)的孩子，

依然前行在路上，

張開翅膀飛向自由，

讓雨水埋葬他的迷惘。

是不是有點(diǎn)感覺(jué)了？當(dāng)然真正基于統(tǒng)計(jì)的學(xué)習(xí)算法比這個(gè)簡(jiǎn)單的統(tǒng)計(jì)復(fù)雜的多。

然而統(tǒng)計(jì)學(xué)習(xí)比較容易理解簡(jiǎn)單的相關(guān)性，例如一個(gè)詞和另一個(gè)詞總是一起出現(xiàn)，兩個(gè)詞應(yīng)該有關(guān)系，而無(wú)法表達(dá)復(fù)雜的相關(guān)性，并且統(tǒng)計(jì)方法的公式往往非常復(fù)雜，為了簡(jiǎn)化計(jì)算，常常做出各種獨(dú)立性的假設(shè)，來(lái)降低公式的計(jì)算難度，然而現(xiàn)實(shí)生活中，具有獨(dú)立性的事件是相對(duì)較少的。

5. 模擬大腦的工作方式

于是人類開始從機(jī)器的世界，反思人類的世界是怎么工作的。

人類的腦子里面不是存儲(chǔ)著大量的規(guī)則，也不是記錄著大量的統(tǒng)計(jì)數(shù)據(jù)，而是通過(guò)神經(jīng)元的觸發(fā)實(shí)現(xiàn)的，每個(gè)神經(jīng)元有從其他神經(jīng)元的輸入，當(dāng)接收到輸入的時(shí)候，會(huì)產(chǎn)生一個(gè)輸出來(lái)刺激其他的神經(jīng)元，于是大量的神經(jīng)元相互反應(yīng)，最終形成各種輸出的結(jié)果。例如當(dāng)人們看到美女瞳孔放大，絕不是大腦根據(jù)身材比例進(jìn)行規(guī)則判斷，也不是將人生中看過(guò)的所有的美女都統(tǒng)計(jì)一遍，而是神經(jīng)元從視網(wǎng)膜觸發(fā)到大腦再回到瞳孔。在這個(gè)過(guò)程中，其實(shí)很難總結(jié)出每個(gè)神經(jīng)元對(duì)最終的結(jié)果起到了哪些作用，反正就是起作用了。

于是人們開始用一個(gè)數(shù)學(xué)單元模擬神經(jīng)元

這個(gè)神經(jīng)元有輸入，有輸出，輸入和輸出之間通過(guò)一個(gè)公式來(lái)表示，輸入根據(jù)重要程度不同(權(quán)重)，影響著輸出。

于是將n個(gè)神經(jīng)元通過(guò)像一張神經(jīng)網(wǎng)絡(luò)一樣連接在一起，n這個(gè)數(shù)字可以很大很大，所有的神經(jīng)元可以分成很多列，每一列很多個(gè)排列起來(lái)，每個(gè)神經(jīng)元的對(duì)于輸入的權(quán)重可以都不相同，從而每個(gè)神經(jīng)元的公式也不相同。當(dāng)人們從這張網(wǎng)絡(luò)中輸入一個(gè)東西的時(shí)候，希望輸出一個(gè)對(duì)人類來(lái)講正確的結(jié)果。例如上面的例子，輸入一個(gè)寫著2的圖片，輸出的列表里面第二個(gè)數(shù)字最大，其實(shí)從機(jī)器來(lái)講，它既不知道輸入的這個(gè)圖片寫的是2，也不知道輸出的這一系列數(shù)字的意義，沒(méi)關(guān)系，人知道意義就可以了。正如對(duì)于神經(jīng)元來(lái)說(shuō)，他們既不知道視網(wǎng)膜看到的是美女，也不知道瞳孔放大是為了看的清楚，反正看到美女，瞳孔放大了，就可以了。

對(duì)于任何一張神經(jīng)網(wǎng)絡(luò)，誰(shuí)也不敢保證輸入是2，輸出一定是第二個(gè)數(shù)字最大，要保證這個(gè)結(jié)果，需要訓(xùn)練和學(xué)習(xí)。畢竟看到美女而瞳孔放大也是人類很多年進(jìn)化的結(jié)果。學(xué)習(xí)的過(guò)程就是，輸入大量的圖片，如果結(jié)果不是想要的結(jié)果，則進(jìn)行調(diào)整。如何調(diào)整呢，就是每個(gè)神經(jīng)元的每個(gè)權(quán)重都向目標(biāo)進(jìn)行微調(diào)，由于神經(jīng)元和權(quán)重實(shí)在是太多了，所以整張網(wǎng)絡(luò)產(chǎn)生的結(jié)果很難表現(xiàn)出非此即彼的結(jié)果，而是向著結(jié)果微微的進(jìn)步，最終能夠達(dá)到目標(biāo)結(jié)果。當(dāng)然這些調(diào)整的策略還是非常有技巧的，需要算法的高手來(lái)仔細(xì)的調(diào)整。正如人類見(jiàn)到美女，瞳孔一開始沒(méi)有放大到能看清楚，于是美女跟別人跑了，下次學(xué)習(xí)的結(jié)果是瞳孔放大一點(diǎn)點(diǎn)，而不是放大鼻孔。

6. 沒(méi)道理但做得到

聽起來(lái)也沒(méi)有那么有道理，但是的確能做到，就是這么任性。

神經(jīng)網(wǎng)絡(luò)的普遍性定理是這樣說(shuō)的，假設(shè)某個(gè)人給你某種復(fù)雜奇特的函數(shù)，f(x)：

不管這個(gè)函數(shù)是什么樣的，總會(huì)確保有個(gè)神經(jīng)網(wǎng)絡(luò)能夠?qū)θ魏慰赡艿妮斎離，其值f(x)（或者某個(gè)能夠準(zhǔn)確的近似）是神經(jīng)網(wǎng)絡(luò)的輸出。

如果在函數(shù)代表著規(guī)律，也意味著這個(gè)規(guī)律無(wú)論多么奇妙，多么不能理解，都是能通過(guò)大量的神經(jīng)元，通過(guò)大量權(quán)重的調(diào)整，表示出來(lái)的。

7. 人工智能的經(jīng)濟(jì)學(xué)解釋

這讓我想到了經(jīng)濟(jì)學(xué)，于是比較容易理解了。

我們把每個(gè)神經(jīng)元當(dāng)成社會(huì)中從事經(jīng)濟(jì)活動(dòng)的個(gè)體。于是神經(jīng)網(wǎng)絡(luò)相當(dāng)于整個(gè)經(jīng)濟(jì)社會(huì)，每個(gè)神經(jīng)元對(duì)于社會(huì)的輸入，都有權(quán)重的調(diào)整，做出相應(yīng)的輸出，比如工資漲了，菜價(jià)也漲了，股票跌了，我應(yīng)該怎么辦，怎么花自己的錢。這里面沒(méi)有規(guī)律么？肯定有，但是具體什么規(guī)律呢？卻很難說(shuō)清楚。

基于專家系統(tǒng)的經(jīng)濟(jì)屬于計(jì)劃經(jīng)濟(jì)，整個(gè)經(jīng)濟(jì)規(guī)律的表示不希望通過(guò)每個(gè)經(jīng)濟(jì)個(gè)體的獨(dú)立決策表現(xiàn)出來(lái)，而是希望通過(guò)專家的高屋建瓴和遠(yuǎn)見(jiàn)卓識(shí)總結(jié)出來(lái)。專家永遠(yuǎn)不可能知道哪個(gè)城市的哪個(gè)街道缺少一個(gè)賣甜豆腐腦的。于是專家說(shuō)應(yīng)該產(chǎn)多少鋼鐵，產(chǎn)多少饅頭，往往距離人民生活的真正需求有較大的差距，就算整個(gè)計(jì)劃書寫個(gè)幾百頁(yè)，也無(wú)法表達(dá)隱藏在人民生活中的小規(guī)律。

基于統(tǒng)計(jì)的宏觀調(diào)控就靠譜的多了，每年統(tǒng)計(jì)局都會(huì)統(tǒng)計(jì)整個(gè)社會(huì)的就業(yè)率，通脹率，GDP等等指標(biāo)，這些指標(biāo)往往代表著很多的內(nèi)在規(guī)律，雖然不能夠精確表達(dá)，但是相對(duì)靠譜。然而基于統(tǒng)計(jì)的規(guī)律總結(jié)表達(dá)相對(duì)比較粗糙，比如經(jīng)濟(jì)學(xué)家看到這些統(tǒng)計(jì)數(shù)據(jù)可以總結(jié)出長(zhǎng)期來(lái)看房?jī)r(jià)是漲還是跌，股票長(zhǎng)期來(lái)看是漲還是跌，如果經(jīng)濟(jì)總體上揚(yáng)，房?jī)r(jià)和股票應(yīng)該都是漲的。但是基于統(tǒng)計(jì)數(shù)據(jù)，無(wú)法總結(jié)出股票，物價(jià)的微小波動(dòng)規(guī)律。

基于神經(jīng)網(wǎng)絡(luò)的微觀經(jīng)濟(jì)學(xué)才是對(duì)整個(gè)經(jīng)濟(jì)規(guī)律最最準(zhǔn)確的表達(dá)，每個(gè)人對(duì)于從社會(huì)中的輸入，進(jìn)行各自的調(diào)整，并且調(diào)整同樣會(huì)作為輸入反饋到社會(huì)中。想象一下股市行情細(xì)微的波動(dòng)曲線，正是每個(gè)獨(dú)立的個(gè)體各自不斷交易的結(jié)果，沒(méi)有統(tǒng)一的規(guī)律可循。而每個(gè)人根據(jù)整個(gè)社會(huì)的輸入進(jìn)行獨(dú)立決策，當(dāng)某些因素經(jīng)過(guò)多次訓(xùn)練，也會(huì)形成宏觀上的統(tǒng)計(jì)性的規(guī)律，這也就是宏觀經(jīng)濟(jì)學(xué)所能看到的。例如每次貨幣大量發(fā)行，最后房?jī)r(jià)都會(huì)上漲，多次訓(xùn)練后，人們也就都學(xué)會(huì)了。

8. 人工智能需要大數(shù)據(jù)

然而神經(jīng)網(wǎng)絡(luò)包含這么多的節(jié)點(diǎn)，每個(gè)節(jié)點(diǎn)包含非常多的參數(shù)，整個(gè)參數(shù)量實(shí)在是太大了，需要的計(jì)算量實(shí)在太大，但是沒(méi)有關(guān)系啊，我們有大數(shù)據(jù)平臺(tái)，可以匯聚多臺(tái)機(jī)器的力量一起來(lái)計(jì)算，才能在有限的時(shí)間內(nèi)得到想要的結(jié)果。

人工智能可以做的事情非常多，例如可以鑒別垃圾郵件，鑒別黃色暴力文字和圖片等。這也是經(jīng)歷了三個(gè)階段的。

第一個(gè)階段依賴于關(guān)鍵詞黑白名單和過(guò)濾技術(shù)，包含哪些詞就是黃色或者暴力的文字。隨著這個(gè)網(wǎng)絡(luò)語(yǔ)言越來(lái)越多，詞也不斷的變化，不斷的更新這個(gè)詞庫(kù)就有點(diǎn)顧不過(guò)來(lái)。

第二個(gè)階段時(shí)，基于一些新的算法，比如說(shuō)貝葉斯過(guò)濾等，你不用管貝葉斯算法是什么，但是這個(gè)名字你應(yīng)該聽過(guò)，這個(gè)一個(gè)基于概率的算法。

第三個(gè)階段就是基于大數(shù)據(jù)和人工智能，進(jìn)行更加精準(zhǔn)的用戶畫像和文本理解和圖像理解。

由于人工智能算法多是依賴于大量的數(shù)據(jù)的，這些數(shù)據(jù)往往需要面向某個(gè)特定的領(lǐng)域(例如電商，郵箱)進(jìn)行長(zhǎng)期的積累，如果沒(méi)有數(shù)據(jù)，就算有人工智能算法也白搭，所以人工智能程序很少像前面的IaaS和PaaS一樣，將人工智能程序給某個(gè)客戶安裝一套讓客戶去用，因?yàn)榻o某個(gè)客戶單獨(dú)安裝一套，客戶沒(méi)有相關(guān)的數(shù)據(jù)做訓(xùn)練，結(jié)果往往是很差的。但是云計(jì)算廠商往往是積累了大量數(shù)據(jù)的，于是就在云計(jì)算廠商里面安裝一套，暴露一個(gè)服務(wù)接口，比如您想鑒別一個(gè)文本是不是涉及黃色和暴力，直接用這個(gè)在線服務(wù)就可以了。這種形勢(shì)的服務(wù)，在云計(jì)算里面稱為軟件即服務(wù)，SaaS (Software AS A Service)。于是工智能程序作為SaaS平臺(tái)進(jìn)入了云計(jì)算。