河套IT TALK 77: (原創(chuàng)) 解讀老黃與Ilya的爐邊談話系列之六——ChatGPT未來將走向何方（萬字長文）

一個月前，就在GPT 4發(fā)布的第二天，同時也是英偉達(dá)（NVIDIA）線上大會的契機，英偉達(dá)的創(chuàng)始人兼CEO黃仁勛（"Jensen" Huang）與OpenAI的聯(lián)合創(chuàng)始人兼首席科學(xué)家伊爾亞-蘇茨克維（Ilya Sutskever ）展開了一次信息量巨大的長達(dá)一個小時的“爐邊談話”（Fireside Chats）。期間談到了從伊爾亞-蘇茨克維早期介入神經(jīng)網(wǎng)絡(luò)、深度學(xué)習(xí)，基于壓縮的無監(jiān)督學(xué)習(xí)、強化學(xué)習(xí)、GPT的發(fā)展路徑，以及對未來的展望。相信很多人都已經(jīng)看過了這次談話節(jié)目。我相信，因為其中摻雜的各種專業(yè)術(shù)語和未經(jīng)展開的背景，使得無專業(yè)背景的同仁很難徹底消化理解他們談話的內(nèi)容。本系列嘗試將他們完整的對話進(jìn)行深度地解讀，以便大家更好地理解ChatGPT到底給我們帶來了什么樣的變革。今天，就是這個系列的第六篇：ChatGPT未來將走向何方？這也是本系列的最后一篇。 ?

關(guān)聯(lián)回顧

解讀老黃與Ilya的爐邊談話系列之一——故事要從AlexNet說起

解讀老黃與Ilya的爐邊談話系列之二——信仰、準(zhǔn)備、等待機會的涌現(xiàn)

解讀老黃與Ilya的爐邊談話系列之三——超越玄幻，背后是人類老師的艱辛付出

解讀老黃與Ilya的爐邊談話系列之四——人人都是ChatGPT的訓(xùn)練器

解讀老黃與Ilya的爐邊談話系列之五——將要擁抱多模態(tài)的ChatGPT

讓ChatGPT自己來談一談人工智能倫理

全圖說ChatGPT的前世今生

對話譯文（06）：

黃仁勛：這真是不可思議。你之前還說過的一件事，是關(guān)于用 AI 生成測試，來訓(xùn)練另一個 AI 的事。這讓我想起了一篇論文，雖然我不確定其中的內(nèi)容是否屬實。據(jù)說在未來一段時間內(nèi)，全世界大概有4萬億到20萬億的語言類tokens 可以被用于訓(xùn)練模型。你知道，在一段時間內(nèi)，可以用來訓(xùn)練的 token 會慢慢消耗殆盡。首先，我不知道你是否有同樣的感覺？

其次，我們是否可以利用 AI 生成自己的數(shù)據(jù)來訓(xùn)練AI 本身？你可能會反駁這是一個循環(huán)，但我們無時無刻不在用生成的數(shù)據(jù)，通過自我反省的方式，訓(xùn)練我們的大腦，并在腦海里思考某一個問題。神經(jīng)科學(xué)家會建議人們保持充足的睡眠，我們會做很多事情，比如睡眠，來發(fā)展我們的神經(jīng)元。你如何看待合成數(shù)據(jù)生成領(lǐng)域？這是否會成為未來AI 訓(xùn)練重要的一部分，AI 能否自己訓(xùn)練自己？

Ilya Sutskever：我認(rèn)為不應(yīng)該低估現(xiàn)有的數(shù)據(jù)，我認(rèn)為可能有比人們意識到的更多的數(shù)據(jù)。至于你的第二個問題，這種可能性仍有待觀察。

黃仁勛：未來的某些時候，當(dāng)我們不使用 AI 時，它可能會生成對抗性的內(nèi)容來進(jìn)行學(xué)習(xí)，或者想象著它需要解決的問題，不斷提升自己，并告訴我們它能做什么。關(guān)于我們現(xiàn)在在哪里，以及未來我們將會在哪里，時間不用很遙遠(yuǎn)，比如說可見的一兩年，在最讓你興奮的領(lǐng)域中，你認(rèn)為語言模型會走向何方？

Ilya Sutskever：預(yù)測是困難的，尤其是對太具體的事情。我們有理由認(rèn)為這個領(lǐng)域會持續(xù)進(jìn)步，我們將繼續(xù)看到AI 系統(tǒng)在它的能力邊界，讓人類感到驚訝。AI的可靠性是由它是否可以被信任決定的，未來它肯定會達(dá)到能被完全信任的地步。如果它不能完全理解，它也會通過提問來弄清楚。它會告訴你自己不知道，但同時它會說需要更多的信息。

我認(rèn)為 AI 可用性影響最大的領(lǐng)域，未來會有最大的進(jìn)步。因為現(xiàn)在，我們就面臨著一個挑戰(zhàn)，你想讓一個神經(jīng)網(wǎng)絡(luò)去總結(jié)長文檔，獲取摘要。挑戰(zhàn)是，你能確定重要的細(xì)節(jié)沒被忽略嗎？

這仍然是一個有用的摘要，但當(dāng)你知道所有重要的點都被涵蓋時，就會產(chǎn)生不同的結(jié)果。在某個時刻，尤其是當(dāng)存在歧義時，這也是可以接受的。但如果某個點明顯很重要，以至于任何其他看到該點的人都會說這真的很重要，當(dāng)神經(jīng)網(wǎng)絡(luò)也能可靠地識別到這一點時，你就會知道它可信度提高了。這同樣適用于防護欄。它是否清楚的遵循用戶的意圖，也會成為衡量可靠性的標(biāo)準(zhǔn)。未來兩年，我們會看到很多這樣的技術(shù)。

黃仁勛：是的，這太棒了。這兩個領(lǐng)域的進(jìn)步將使這項技術(shù)變得值得信賴，使它能夠應(yīng)用于許多事情。這本應(yīng)該是最后一個問題，但是我的確還有另外一個問題，抱歉。從 ChatGPT 到 GPT-4，你是什么時候第一次開始使用GPT-4 的？它表現(xiàn)出來什么樣的能力，讓你感到驚訝？

Ilya Sutskever：它展示了很多很酷的東西，非常驚人。它非常棒，我會提到兩點，我在想怎么才可以更好地表達(dá)。簡單來說，它的可靠性水平讓人感到驚訝。在此之前的神經(jīng)網(wǎng)絡(luò)，如果你問它一個問題，它可能會以一種近乎愚蠢的方式誤解問題。但在 GPT-4 上這種情況已經(jīng)不再發(fā)生。它解決數(shù)學(xué)問題的能力大大提高了，你可以認(rèn)為它真的進(jìn)行了推導(dǎo)，很長的、復(fù)雜的推導(dǎo)，并且還轉(zhuǎn)換了單位等等，這真的很酷。

黃仁勛：它是通過一步步的證明來工作的，這真的很神奇。

Ilya Sutskever：不是所有的證明，但起碼有很大一部分是的。另外一個例子，就像許多人注意到它可以用同一個字母開頭的單詞寫詩，每個單詞都很清晰地遵循著指令。雖然仍不完美，但是已經(jīng)非常好了。

在視覺方面，我真的很喜歡它是如何解釋笑話的。它可以解釋網(wǎng)絡(luò)熱梗，你給它看一個網(wǎng)絡(luò)熱梗，并詢問它這個為什么好笑，它會告訴你原因，并且它說的還是對的。我認(rèn)為，在視覺部分，它就像真的可以看到那些圖像。你用一些復(fù)雜的圖像或圖表來追問它問題，然后得到解釋，這非?？?。

但總的來說，我已經(jīng)從事這項工作很長時間了，實際上幾乎整整20年了。最讓我感到驚訝的是，它真的運行起來了。它似乎一直以來對人們來說都是個小事，但它現(xiàn)在不再渺小，變得更重要、更強烈。

它還是那個神經(jīng)網(wǎng)絡(luò)，只是變得更大，在更大的數(shù)據(jù)集上，以不同的方式訓(xùn)練，但訓(xùn)練的基礎(chǔ)算法都是一樣的，這是最令我驚訝的。

每當(dāng)我回顧時，我就會想，這些概念性想法怎么可能呢？大腦有神經(jīng)元，也許人工神經(jīng)元也一樣好，我們可能只需要用某種學(xué)習(xí)算法對它們進(jìn)行訓(xùn)練。那些論點竟然如此正確，這本身就是最大的驚喜。

黃仁勛：在我們相識的十年里，你訓(xùn)練的模型和數(shù)據(jù)量，從你在 AlexNet 上所做的工作到現(xiàn)在，增加了約100萬倍。在計算機科學(xué)界，沒有人會相信在這十年間，計算量會擴大100萬倍。并且你的整個職業(yè)生涯都致力于此，你有兩個開創(chuàng)性的研究成果，早期的 AlexNet 和現(xiàn)在 OpenAI 的GPT，你所取得的成就真了不起。很高興能再次與你進(jìn)行思想上的碰撞，我的朋友 Ilya，這是一個相當(dāng)美妙的時刻，今天的對話，你將問題抽絲剝繭，逐一解釋。這是最好的博士學(xué)位之一，除了博士學(xué)位，你還描述了大型語言模型的最新技術(shù)水平。我真的很感激，很高興見到你，恭喜你，非常感謝你。

智愿君：讓我們繼續(xù)解讀老黃和Ilya爐邊談話的第五六段對話（也就是本系列的終章），這一段主要是探討對ChatGPT未來的暢想。那么老黃和Ilya談話中哪些細(xì)節(jié)值得我們?nèi)リP(guān)注呢？

AI 能否自己訓(xùn)練自己？

老黃的這個問題提得蠻尖銳的。而Ilya并未展開回答這個問題。我覺得這個問題我們要回顧一下神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史：

從20世紀(jì)40年代至今，神經(jīng)網(wǎng)絡(luò)經(jīng)歷了三次浪潮。

• • 第一次浪潮指的是早期的控制論，其核心是邏輯主義。這一潮流始于1943年，由美國著名的神經(jīng)生物學(xué)家沃倫·麥卡洛克（Warren McCulloch）和數(shù)學(xué)家沃爾特·皮茨（Walter Pitts）提出了麥卡洛克-皮茨神經(jīng)元模型（McCulloch-Pitts neuron model）。感知機和自適應(yīng)線性單元是最典型的成果。感知機是一種學(xué)習(xí)權(quán)重的模型，根據(jù)每個類別的輸入樣本來學(xué)習(xí)。自適應(yīng)線性單元則是用函數(shù)f(x)本身的值來預(yù)測一個實數(shù)。第一次浪潮的主要限制是過于理想化的數(shù)學(xué)模型和機械邏輯論，希望通過符號演算（邏輯門）的方法推理和計算。這種方式過于簡單，無法真正解決現(xiàn)實生活中復(fù)雜的問題，并且不具備靈活度，可以說是一個大號的計算器。

  • 第二次浪潮是在20世紀(jì)80年代到90年代出現(xiàn)的聯(lián)結(jié)主義（connectionism），又稱為并行分布處理（parallel distributed processing）。聯(lián)結(jié)主義的指導(dǎo)性啟示和主要靈感來自大腦或神經(jīng)系統(tǒng)，將認(rèn)知看成是網(wǎng)絡(luò)的整體活動。中心思想是，當(dāng)網(wǎng)絡(luò)將大量簡單的計算單元連接在一起時，可以實現(xiàn)智能行為。1982年，生物物理教授霍普菲爾德提出了一種新的神經(jīng)網(wǎng)絡(luò)，可以解決一大類模式識別問題，還可以給出一類組合優(yōu)化問題的近似解。1986年，David Rumelhart和Geoffery Hinton發(fā)展了神經(jīng)網(wǎng)絡(luò)反向傳播學(xué)習(xí)算法Back Propagation，延展出來的分布式表示、長短期記憶以及新認(rèn)知機成為了卷積網(wǎng)絡(luò)的基礎(chǔ)。聯(lián)結(jié)主義在許多領(lǐng)域得到了廣泛應(yīng)用，如模式識別、手寫文字識別、字符識別和簡單的人臉識別。但是，應(yīng)對復(fù)雜問題時聯(lián)結(jié)主義的表現(xiàn)力不夠強大。第二次浪潮的衰退主要限制是算力跟不上，受限硬件計算能力和互聯(lián)網(wǎng)的并行處理能力。

  • 第三次浪潮是基于互聯(lián)網(wǎng)大數(shù)據(jù)和GPU的深度學(xué)習(xí)的突破。2006年，加拿大CIFAR的Geoffrey Hinton和其他附屬研究小組使用一種稱為貪婪逐層預(yù)訓(xùn)練的策略來有效地訓(xùn)練深度網(wǎng)絡(luò)。這標(biāo)志這現(xiàn)在有能力訓(xùn)練以前不可能訓(xùn)練的比較深的神經(jīng)網(wǎng)絡(luò)。此時的深度神經(jīng)網(wǎng)絡(luò)已經(jīng)優(yōu)于與之競爭的基于其他機器學(xué)習(xí)技術(shù)以及手工設(shè)計功能的 AI 系統(tǒng)。（參見前文我們提到在ImageNet上的奪冠）。第三次浪潮的驅(qū)動力就是：推進(jìn)通用人工智能（強人工智能），并探索超人工智能。不僅僅是通過硬件的升級，更是通過大數(shù)據(jù)的積累和GPU的高性能計算，使得深度學(xué)習(xí)的模型和算法得到了極大的提升，廣泛應(yīng)用于語音識別、自然語言處理、圖像和視頻識別等領(lǐng)域。例如，深度神經(jīng)網(wǎng)絡(luò)在計算機視覺領(lǐng)域的應(yīng)用，如人臉識別、物體檢測、圖像分割等任務(wù)中，已經(jīng)達(dá)到了人類水平甚至超越了人類。同時，深度學(xué)習(xí)還帶來了很多新的技術(shù)突破，例如生成對抗網(wǎng)絡(luò)（GAN）、變分自編碼器（VAE）、殘差網(wǎng)絡(luò)（ResNet）、注意力機制（Attention）等等。與此同時，深度學(xué)習(xí)也面臨著很多挑戰(zhàn)和問題。例如，深度學(xué)習(xí)算法需要大量的訓(xùn)練數(shù)據(jù)和計算資源，而且很難解釋其內(nèi)部的決策過程；深度學(xué)習(xí)模型容易受到對抗性攻擊和過擬合等問題的影響；深度學(xué)習(xí)的可解釋性和公平性等問題也需要進(jìn)一步研究解決。

而回到剛才的問題就是自己訓(xùn)練自己，也就是自我學(xué)習(xí)能力，是通用人工智能的標(biāo)志之一。所以老黃問出這個問題，還是挺有深意的。

那么為什么Ilya回避了對這個問題的回答，我覺得大概率是兩點原因：

1. 1. Ilya清楚這是一個敏感話題。他如果過度贊許AI自己訓(xùn)練自己的能力，會增加AI發(fā)展不受控的社會恐慌。從近期Geoffrey Hinton 宣布辭去 Google 的職務(wù)，并稱自己現(xiàn)在對自己畢生的工作感到后悔這件事上，就能說明問題。Geoffrey Hinton對人工智能領(lǐng)域的發(fā)展所帶來的風(fēng)險感到擔(dān)憂，并為人類敲響警鐘。

   2. Ilya明白，確實在使用這種AI自己訓(xùn)練自己的方式，但是效果有待觀察為什么這么說呢？因為自我訓(xùn)練，可能會無法準(zhǔn)確評估訓(xùn)練模型的性能和魯棒性。人類的信息有很多，有些信息是正確信息，有些是錯誤信息。有些信息帶有明顯的惡意或者邏輯漏洞。如果不分青紅皂白，讓AI自己去訓(xùn)練自己，可能會在訓(xùn)練數(shù)據(jù)這個環(huán)節(jié)就會失控，因為“臟”數(shù)據(jù)，自然不會學(xué)出一個理想的模型和能力沉淀。在機器學(xué)習(xí)中，訓(xùn)練數(shù)據(jù)的質(zhì)量對最終模型的表現(xiàn)和準(zhǔn)確性有著非常重要的影響。如果訓(xùn)練數(shù)據(jù)集中包含了大量的錯誤數(shù)據(jù)、噪聲數(shù)據(jù)或者惡意數(shù)據(jù)，那么最終的模型可能會受到這些數(shù)據(jù)的干擾，表現(xiàn)不如預(yù)期甚至出現(xiàn)偏差和過擬合等問題。因此，在選擇訓(xùn)練數(shù)據(jù)時，需要盡量篩選和清洗出具有代表性和高質(zhì)量的數(shù)據(jù)，從而提高模型的表現(xiàn)和泛化能力。另外，對于AI自我訓(xùn)練自己這一過程，需要設(shè)計合理的學(xué)習(xí)策略和算法，以避免模型的學(xué)習(xí)過程受到“臟”數(shù)據(jù)的影響。例如，在訓(xùn)練過程中可以引入監(jiān)督信號或者其他的先驗知識，以引導(dǎo)模型學(xué)習(xí)正確的知識和規(guī)律。同時，在評估模型的表現(xiàn)時，也需要引入合理的評估標(biāo)準(zhǔn)和指標(biāo)，以評估模型的性能和泛化能力。

所以，我總結(jié)一下這個問題的答復(fù)應(yīng)該是：1. AI可以自己訓(xùn)練自己；2. 結(jié)果難與保證，所以有待觀察，或者需要人工干預(yù)。

如何看到AI系統(tǒng)的置信度

在對話里，Ilya拋出來一個疑問：讓AI去總結(jié)長文檔，獲取摘要。但如何確定重要的細(xì)節(jié)沒被忽略嗎？

其實回答這個問題是一個置信度的平衡問題。對于到底總結(jié)是否準(zhǔn)確或者是否有遺漏，我覺得分為兩類。一種是事實準(zhǔn)確，一種是感知準(zhǔn)確。前者是大模型本身通過深度學(xué)習(xí)技術(shù)和數(shù)據(jù)集的完備性來保障的，當(dāng)然也和人工強化學(xué)習(xí)和調(diào)優(yōu)等有關(guān)。后者是使用者的心理置信度，不管準(zhǔn)確與否，我信任你。這兩種準(zhǔn)確有交集，如果兩個交集越大就表明大模型的置信度能力越符合使用者的心理預(yù)期，信任感也就越容易建立。如果交集很少，使用者的產(chǎn)品信任度會逐漸降低，并最后放棄使用。這種邏輯在自動駕駛的事實安全和感知安全上也可以通用。

拿Ilya舉的總結(jié)長文摘要的例子。不同人總結(jié)，肯定也會有千差萬別。有的人總結(jié)詳細(xì)一點兒，有的人總結(jié)簡約一點兒。有的人偏重文章的某一方面，有些人偏重文章的另外一個方面。而且，往往業(yè)務(wù)需求不同，總結(jié)也會不一樣，比如從財務(wù)角度分析，從技術(shù)演進(jìn)的角度分析，從企業(yè)創(chuàng)新實踐的角度分析，都會有不同的摘要。所以，對于總結(jié)長文摘要，基本上存在兩點：1. 對需求的精準(zhǔn)理解，懂得去和使用者進(jìn)一步交互，去了解對方的期待；2. 不管從哪一個角度的理解，能做到盡可能思考完備，不追求100%準(zhǔn)確，因為很可能也不存在標(biāo)準(zhǔn)答案，但是一定要足夠靠譜。

所以對于一個好的AI，回答問題的能力是一方面，懂得向使用者提問，而且能從使用者的答復(fù)中再提煉和精準(zhǔn)收斂理解用戶的需求，顯得更為重要。會聊天的AI，比單純只回答的AI，要總要得多。相信，這個也應(yīng)該是ChatGPT未來發(fā)展的重點。

訓(xùn)練AI的數(shù)據(jù)會耗盡嗎？

如果我們面臨的最終目標(biāo)是要訓(xùn)練通用人工智能，或者超人工智能，可能我們會思考如何應(yīng)對訓(xùn)練數(shù)據(jù)可能被耗竭的風(fēng)險。但正如Ilya回答的那樣，我們不應(yīng)該低估現(xiàn)有的數(shù)據(jù)，而且可能有比人們意識到的更多的數(shù)據(jù)。

這句話也有多層的涵義。

首先，我們不應(yīng)該低估現(xiàn)有的數(shù)據(jù)。這是什么意思呢？同樣的訓(xùn)練數(shù)據(jù)，如果數(shù)據(jù)標(biāo)簽的數(shù)量不同，標(biāo)簽覆蓋的完備性不同，訓(xùn)練數(shù)據(jù)的多樣性選擇等等都會對最終結(jié)果產(chǎn)生影響。如果處理不當(dāng)，可能會出現(xiàn)過擬合、梯度消失或梯度爆炸等問題。如果要利用好同一個訓(xùn)練數(shù)據(jù)，那么就要通過合理的標(biāo)注以確保訓(xùn)練數(shù)據(jù)的質(zhì)量和多樣性被體現(xiàn)、同時，神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)（比如層級）和參數(shù)數(shù)量的設(shè)計、訓(xùn)練算法和優(yōu)化技術(shù)的選擇等。在這個過程中，需要綜合考慮模型的性能、計算資源、訓(xùn)練時間、數(shù)據(jù)質(zhì)量等多個因素，以達(dá)到一個平衡點。也就是說，同樣一個數(shù)據(jù)集，不同公司來使用，如果標(biāo)注完備性不夠，網(wǎng)絡(luò)結(jié)構(gòu)不合理，參數(shù)不合適，訓(xùn)練算法不夠優(yōu)秀，都可能會導(dǎo)致差強人意的大模型結(jié)果。

其次，可以通過一些技術(shù)手段，來優(yōu)化學(xué)習(xí)樣本。比如：

• • 數(shù)據(jù)增強：通過對現(xiàn)有數(shù)據(jù)進(jìn)行擴充和變換，可以生成更多的訓(xùn)練樣本。例如，可以使用圖像增強技術(shù)對圖像數(shù)據(jù)進(jìn)行旋轉(zhuǎn)、平移、縮放等變換，或者使用文本增強技術(shù)生成近義詞、反義詞等變換文本數(shù)據(jù)。

  • 跨任務(wù)遷移學(xué)習(xí)：在某些情況下，可以利用先前訓(xùn)練好的模型和數(shù)據(jù)來提高新模型的性能。這種方法稱為遷移學(xué)習(xí)。通過使用遷移學(xué)習(xí)，可以將模型從一個任務(wù)轉(zhuǎn)移到另一個任務(wù)，從而減少對大量數(shù)據(jù)的需求。

  • 數(shù)據(jù)共享：在某些情況下，可以考慮共享學(xué)習(xí)的數(shù)據(jù)庫，做一定程度但拉通。例如通過共享數(shù)據(jù)集或與其他機構(gòu)或組織合作共同收集數(shù)據(jù)，以充分利用可用資源。

最后，要實時跟進(jìn)，人們產(chǎn)生的數(shù)據(jù)的步伐。人類的知識是一直不停地迭代和更新的。根據(jù)Statista 2023年的統(tǒng)計，今年的互聯(lián)網(wǎng)上的數(shù)據(jù)量，已經(jīng)是2021年的一倍。所以這種數(shù)據(jù)擴張的幅度和增長曲線是指數(shù)級的。而且現(xiàn)在數(shù)據(jù)的形態(tài)也在發(fā)生變化。除了文本之外，視頻、音頻，3D等形態(tài)的數(shù)據(jù)也在日益增長。所以，不要輕言訓(xùn)練數(shù)據(jù)耗盡，這種情況基本上不會出現(xiàn)。

GPT-4，到底是什么？

在老黃和Ilya談話的過程中，其實聊了很多的GPT-4。但到底什么是GPT-4，它和之前的版本到底有什么不同？

首先，就是準(zhǔn)確率的大幅提升。在本期談話中，Ilya談到了它回答錯誤率大幅度降低了。降低到什么水平呢？OpenAI提供的文檔報告稱，GPT-4-launch的錯誤行為率為0.02%，遠(yuǎn)低于GPT-3.5的0.07%和GPT-3的0.11%。這意味著GPT-4-launch生成的文本在10000次完成中只有2次違反OpenAI的內(nèi)容政策或用戶偏好。GPT-4雖然已經(jīng)具備解物理題的能力，但畢竟不是專門的解題算法，一些復(fù)雜的數(shù)理問題對話中仍會出現(xiàn)一本正經(jīng)胡說八道的情況。但是如果我們理解GPT的機制，就應(yīng)該明白準(zhǔn)確率再提升，也無法做到100%的準(zhǔn)確。由于大模型（包括GPT-4）本質(zhì)上可以視為訓(xùn)練集（人類知識/語言）的有損壓縮，因此在模型運行時無法完整復(fù)現(xiàn)或者應(yīng)答原始知識，從而模型的幻覺來自于信息壓縮的偏差。多模態(tài)幻覺的本質(zhì)是這種有損壓縮偏差的體現(xiàn)，也是通過數(shù)學(xué)逼近人類語言的必然代價。（類似于壓縮后的圖像邊緣出現(xiàn)不正常的條紋）。

第二，GPT-4如上文說的那樣，是一個多模態(tài)的處理能力。已經(jīng)升級為多模態(tài)大語言模型（Multi-modal Large Language Model，MLLM）。Ilya在本期和上期的談話都提到了它如何理解圖像。圖像可以幫助GPT-4實現(xiàn)更好的常識推理性能，跨模態(tài)遷移更有利于知識獲取，產(chǎn)生更多新的能力，加速了能力的涌現(xiàn)。這些獨立模態(tài)或跨模態(tài)新特征、能力或模式通常不是通過目的明確的編程或訓(xùn)練獲得的，而是模型在大量多模態(tài)數(shù)據(jù)中自然而然的學(xué)習(xí)到的。量變引發(fā)質(zhì)變。涌現(xiàn)能力的另一個重要表現(xiàn)是模型的泛化能力。在沒有專門訓(xùn)練過的情況，GPT-4也可以泛化到新的、未知的多模態(tài)數(shù)據(jù)樣本上。這種泛化能力取決于模型的結(jié)構(gòu)和訓(xùn)練過程，以及數(shù)據(jù)的數(shù)量和多樣性。如果模型具有足夠的復(fù)雜性和泛化能力，就可以從原始數(shù)據(jù)中發(fā)現(xiàn)新的、未知的特征和模式。當(dāng)然，GPT-4涌現(xiàn)出的新能力可能仍有局限性，例如：模型可能產(chǎn)生錯誤的回答，對某些問題缺乏理解，容易受到輸入干擾等。目前認(rèn)為GPT-4的幻覺與其涌現(xiàn)能力具有相關(guān)性。GPT-4的多模態(tài)輸入的能力對語言模型至關(guān)重要，使得“蘋果”等單純的符號語義擴展為更多的內(nèi)涵。第一，多模態(tài)感知使語言模型能夠獲得文本描述之外的常識性知識。第二，感知與語義理解的結(jié)合為新型任務(wù)提供了可能性，例如機器人交互技術(shù)和多媒體文檔處理。第三，通過感知統(tǒng)一了接口。圖形界面其實是最自然和高效的人機自然交互方式。多模態(tài)大語言模型可通過圖形方式直接進(jìn)行信息交互，提升交互效率。多模態(tài)模型可以從多種來源和模式中學(xué)習(xí)知識，并使用模態(tài)的交叉關(guān)聯(lián)來完成任務(wù)。通過圖像或圖文知識庫學(xué)習(xí)的信息可用于回答自然語言問題；從文本中學(xué)到的信息也可在視覺任務(wù)中使用。

第三，就是更強的推理能力。GPT-4的思維鏈（Chain of Thought）能讓大眾感覺到語言模型“像人”的關(guān)鍵特性。雖然GPT-4這些模型并非具備真正的意識或思考能力，但用類似于人的推理方式的思維鏈來提示語言模型，極大的提高了GPT-4在推理任務(wù)上的表現(xiàn)，打破了精調(diào)（Fine-tune）的平坦曲線。具備了多模態(tài)思維鏈能力的GPT-4模型具有一定邏輯分析能力，已經(jīng)不是傳統(tǒng)意義上的詞匯概率逼近模型。通過多模態(tài)思維鏈技術(shù)，GPT-4將一個多步驟的問題（例如圖表推理）分解為可以單獨解決的中間步驟。在解決多步驟推理問題時，模型生成的思維鏈會模仿人類思維過程。這意味著額外的計算資源被分配給需要更多推理步驟的問題，可以進(jìn)一步增強GPT-4的表達(dá)和推理能力。一般認(rèn)為模型的思維推理能力與模型參數(shù)大小有正相關(guān)趨勢，一般是突破一個臨界規(guī)模（大概62B，B代表10億），模型才能通過思維鏈提示的訓(xùn)練獲得相應(yīng)的能力。思維鏈不是隨隨便便就能被訓(xùn)練出來的。另外也有研究表明，在語言訓(xùn)練集中加入編程語言（例如Python編程代碼）可提升模型邏輯推理能力。具有思維鏈推理能力的GPT-4模型可用于簡單數(shù)學(xué)問題、符號操作和常識推理等任務(wù)。完成思維鏈的訓(xùn)練，才算真正拿到了這波大模型AI競技的入場券。

GPT的未來，到底何去何從？

對AI的狂熱追捧的熱度高峰過去后，很多人開始冷靜下來。從一個多月前，包括埃隆馬斯克和蘋果公司聯(lián)合創(chuàng)始人史蒂夫沃茲尼亞克在內(nèi)的一些科技行業(yè)人士發(fā)表公開信敦促OpenAI停止訓(xùn)練比GPT-4更強大的人工智能系統(tǒng)。以及最近從谷歌辭去職務(wù)的Geoffrey Hinton警示AI 有可能會傷害人類。讓我們從另外一個視角來看到這個問題。

其實關(guān)于人工智能是否會危及人類生存的話題，很早就出現(xiàn)了。早在1863 年，小說家塞繆爾·巴特勒 (Samuel Butler)就在《機器中的達(dá)爾文》中寫道：“結(jié)果只是一個時間問題，但機器將真正統(tǒng)治世界及其居民的時刻將會到來，這是任何真正具有哲學(xué)頭腦的人都不會懷疑的?！薄？ɡ谞枴で∨蹇耍↘arel ?apek）在1920年羅森的萬能機器人RUR的喜劇中，第一次引入了機器人的概念，就通過夸張的舞臺故事預(yù)言AI接管人類（AI takeover）。AI takeover是一種假設(shè)情景，超級智能AI機器人成為地球上主要的智能形式，并從人類手中奪走了地球的控制權(quán)。這一概念在后續(xù)科幻小說和電影等藝術(shù)作品中被廣泛運用。甚至連計算機科學(xué)家艾倫·圖靈 (Alan Turing)也曾在1951年一篇題為“智能機械，一種異端理論”的文章中提出：隨著人工智能變得比人類更聰明，它們可能會“控制”世界。

存在風(fēng)險（“x-risk”）學(xué)派認(rèn)為：人類物種目前支配著其他物種，因為人類大腦具有其他動物所缺乏的一些獨特能力。如果人工智能在一般智能上超越人類，成為“超級智能”，那么人類將難以或無法控制。正如山地大猩猩的命運取決于人類的善意，人類的命運也可能取決于未來機器超級智能的行為。說白一點兒就是，盡管我們在訓(xùn)練AI的過程中一直在灌輸與人類兼容的價值觀。但是我們無法控制的是機器人是否在認(rèn)知提升后產(chǎn)生新的邏輯體系和價值判斷體系。道格拉斯·恩格爾巴特 (Douglas Engelbart)在1994年，正式提出“集體智商”（collective IQ）的概念，作為集體智慧的衡量標(biāo)準(zhǔn)。隨著互聯(lián)網(wǎng)的普及、大數(shù)據(jù)和基于深度學(xué)習(xí)的人工智能的迅猛發(fā)展，AI正在朝著集體智慧的方向進(jìn)化。集體智慧的倫理和強調(diào)個體關(guān)系的人類的倫理會產(chǎn)生巨大的差別。

前一段時間，我分析過美國國防部DARPA的一些和人工智能相關(guān)的項目。其中包括：比如CREATE項目（具有對抗策略的建設(shè)性機器學(xué)習(xí)戰(zhàn)斗Context Reasoning for Autonomous Teaming 的縮寫）、ACK (自適應(yīng)跨域“殺”網(wǎng)是Adapting Cross-Domain Kill-Webs 的縮寫)等。美國軍方計劃將這項技術(shù)應(yīng)用于戰(zhàn)爭的一些想法確實令人作嘔，且毛骨悚然。這些項目都屬于致命自主武器系統(tǒng)(LAWS) ，也就是通常被稱為“殺手機器人”或者“戰(zhàn)爭機器人”，理論上能夠在沒有人類監(jiān)督和干擾的情況下瞄準(zhǔn)和射擊。而且是物聯(lián)網(wǎng)多武器協(xié)同作戰(zhàn)。2014年，常規(guī)武器公約（CCW）召開了兩次會議。第一個是致命自主武器系統(tǒng) (LAWS) 專家會議。會議就LAWS 的特別授權(quán)，并引起了激烈的討論。許多非政府組織和發(fā)展中國家都呼吁預(yù)防性地禁止 LAWS。他們根據(jù)道義論和后果論推理提出了自己的觀點。人們有“不被機器殺死的權(quán)利”。

但一味的擔(dān)心，沒有解決方案，也是不對的。早在1941年，作為科幻“三巨頭”之一的艾薩克·阿西莫夫（Isaac Asimov），就在他最著名的作品銀河帝國系列和機器人系列中的一篇短篇小說《Runaround》中，第一次提及”機器人三定律”。這個奠定了機器人倫理的基礎(chǔ)：第一定律：機器人不得傷害人類，或因不作為而讓人類受到傷害。第二定律：機器人必須服從人類給它的命令，除非這些命令與第一定律相沖突。第三定律：只要不違反第一或第二定律，機器人就必須保護自己的存在。但隨著時代的發(fā)展，顯然，這個遠(yuǎn)遠(yuǎn)不夠。2005～2006，由機器人學(xué)院協(xié)調(diào)的Euron項目（The Research EURON Atelier on Roboethics），制作了第一個機器人倫理學(xué)路線圖。這里并未給出非常明確的路標(biāo)，但是書中確實提出了關(guān)于機器倫理的各種挑戰(zhàn)、場景、原則和觀點。首次明確提出了在機器人倫理中考慮：“尊嚴(yán)、正義、公平、多元化、非歧視、自主權(quán)、隱私、利益分享、社會責(zé)任以及對生物圈的責(zé)任。比爾·希伯德（Bill Hibbard）在2014 年出版的著作《道德人工智能》，談到了他關(guān)于人工智能的看法。他認(rèn)為，由于人工智能將對人類產(chǎn)生如此深遠(yuǎn)的影響，人工智能開發(fā)人員是未來人類的代表，因此有道德義務(wù)在他們的努力中保持透明。因此他主張在人工智能算法和軟件代碼領(lǐng)域要采用開源方式，這是對整個人類負(fù)責(zé)的表現(xiàn)。而我們知道，從GPT-3開始，OpenAI就不再開源，違背了透明度原則，這也是讓人擔(dān)心的原因之一。

默奧大學(xué)計算機科學(xué)系的教授弗吉尼亞·迪格努姆 (Virginia Dignum) 在2018年3 月出版的《倫理與信息技術(shù)》上指出，機器人倫理有三個目標(biāo)：1. 設(shè)計產(chǎn)生的倫理（Ethics by Design），指代倫理算法，是人工智能行為的表現(xiàn)基礎(chǔ)。2. 設(shè)計中的倫理（Ethics in Design），指代如何分析和評估設(shè)計的機器人是符合倫理的。3. 倫理化設(shè)計（Ethics for Design），也就是如何保證開發(fā)設(shè)計的人員在前期研究、設(shè)計、構(gòu)建的過程中，能確保機器人倫理的實現(xiàn)。2019年，布里斯托爾機器人實驗室的艾倫·溫菲爾德（Alan Winfield）提出，圖靈測試存在缺陷，人工智能通過測試的要求太低。一項替代測試被稱為道德圖靈測試，該測試將通過讓多名法官決定 AI 的決定是否符合道德或不道德來評判機器人，在圖靈測試中增加道德決策的權(quán)重。2019年，IEEE推出了自治系統(tǒng)透明度的 IEEE 標(biāo)準(zhǔn)。描述了可測量、可測試的透明度級別，以便可以客觀地評估自治系統(tǒng)，并確定合規(guī)級別。不僅僅是標(biāo)準(zhǔn)組織，很多研究人員建議將政府監(jiān)管作為確保透明度的一種手段，并通過它來確保人類的責(zé)任感。經(jīng)合組織、聯(lián)合國、歐盟和許多國家目前正在制定監(jiān)管人工智能的戰(zhàn)略，并尋找適當(dāng)?shù)姆煽蚣堋５陨峡隙ㄟ€遠(yuǎn)遠(yuǎn)不夠。

歐洲議會人工智能倫理領(lǐng)域顧問安娜·費蘭德近日表示：人類已走到了關(guān)鍵的十字路口。在人工智能野蠻生長的當(dāng)下，沒有一致的立法監(jiān)管，人工智能在實踐層面會面臨諸多挑戰(zhàn)。當(dāng)前世界需要對人工智能采取倫理學(xué)上的切實有效的考量。

過去這半年時間，仿佛世界一下子翻了一個個。以前從來不相信通用人工智能的人，都開始擔(dān)心那個曾經(jīng)被雷·庫茲韋爾（Ray Kurzweil）預(yù)測的2045年的奇點，會不會提前到來，甚至?xí)粫蝗坏摹爸悄鼙ā弊尯翢o準(zhǔn)備的人類措手不及。所以，這種警覺的狀態(tài)已經(jīng)讓大多數(shù)人行動起來，樂觀來看，這應(yīng)該是值得欣慰的變化。

好了，今天我們先解讀到這里。關(guān)于英偉達(dá)的創(chuàng)始人兼CEO黃仁勛（"Jensen" Huang）與OpenAI的聯(lián)合創(chuàng)始人兼首席科學(xué)家伊爾亞-蘇茨克維（Ilya Sutskever ）的“爐邊談話”，我們一共花了六期來解讀，今天是終篇。解讀的觀點肯定存在片面和偏僻，歡迎大家批評指正。

<本系列完>