淺談開源AI基本理念、技術(shù)開發(fā)的底層原理

譯者 | 核子可樂(lè) ?

從 AI 的價(jià)值說(shuō)起

雖然我堅(jiān)信開源 AI 將繼續(xù)蓬勃發(fā)展，但也認(rèn)定企業(yè)和政府會(huì)在未來(lái)幾年內(nèi)進(jìn)一步加強(qiáng)對(duì)新型神經(jīng)網(wǎng)絡(luò)架構(gòu)和技術(shù)的應(yīng)用限制。在本文中，我們將一同預(yù)測(cè)和展望未來(lái)十年間 AI 可能帶來(lái)的潛在顛覆，提出一些建議和方案幫助開源社區(qū)適應(yīng)這個(gè)充滿挑戰(zhàn)的未來(lái)。

預(yù)測(cè)未來(lái)絕非易事，這里提出的不少預(yù)測(cè)也許永遠(yuǎn)不會(huì)實(shí)現(xiàn)，甚至朝著截然相反的方向前進(jìn)。但我認(rèn)為這樣的思考仍有重要意義，將幫助我們主動(dòng)適應(yīng)不斷變化的新世界。隨著整個(gè)時(shí)代的快速推進(jìn)，這種設(shè)想并籌劃新階段下新形勢(shì)的能力將變得越來(lái)越重要。

在不久的將來(lái)，人與人之間的交互方式、交換價(jià)值和參與勞動(dòng)的方式，甚至是整個(gè)社會(huì)的組織結(jié)構(gòu)都將發(fā)生根本性變化。到那時(shí)，也許每個(gè)人都將擁有自己的個(gè)性化 AI 實(shí)體，我個(gè)人稱之為“魂靈”（Ghost）；這些實(shí)體彼此相連，就構(gòu)成了 AI 系統(tǒng)的全球網(wǎng)絡(luò)。它們將為人類提供諸多服務(wù)，而不同于以往的功能性助手，人類更多應(yīng)該將其視為自身的認(rèn)知延伸。企業(yè)和組織可能也會(huì)擁有自己的“魂靈”，借此在成員之間達(dá)成高效協(xié)作。

除了社交之外，具有循環(huán)連接的聯(lián)想記憶網(wǎng)絡(luò)可能將為 AI 系統(tǒng)賦予記憶。這些獨(dú)立的“魂靈”甚至可能發(fā)展出自己的身份。另外，利用共識(shí)算法的 AI 系統(tǒng)也有可能實(shí)現(xiàn)，進(jìn)而產(chǎn)生去中心化的自主 AI。盡管這樣的未來(lái)徹底來(lái)臨，但我們已經(jīng)能夠預(yù)見(jiàn)到由此展開的一系列經(jīng)濟(jì)動(dòng)向。

AI 生成服務(wù)的交換價(jià)值，將等于提供服務(wù)所需要的能量（即運(yùn)行相關(guān)模型的成本），再加上 AI 在市場(chǎng)中的信息不對(duì)稱程度。使用 AI 執(zhí)行相對(duì)簡(jiǎn)單的服務(wù)必然對(duì)應(yīng)較低的交換價(jià)值，從而導(dǎo)致 AI 所有者的剩余價(jià)值維持在低位。

這種趨勢(shì)將極大影響以服務(wù)為基礎(chǔ)的經(jīng)濟(jì)體系，預(yù)計(jì)大多數(shù)現(xiàn)有服務(wù)的剩余價(jià)值都將大幅衰減。因此預(yù)計(jì)在未來(lái)一段時(shí)間內(nèi)，許多西方國(guó)家的民眾和政府都將像 19 世紀(jì)的勒德分子那樣對(duì)技術(shù)抱有強(qiáng)烈的抵觸情緒、甚至是敵意。受到跨部門收益遞減的影響，世界上許多地區(qū)將通過(guò)壟斷許可策略和專制規(guī)定等方式阻礙 AI 的普及。

不過(guò)世界上還有更多積極接納 AI 進(jìn)步的地區(qū)，開源 AI 很可能會(huì)在交換價(jià)值低但使用價(jià)值高的服務(wù)上（即可由 AI 執(zhí)行的相對(duì)簡(jiǎn)單服務(wù)）在這里蓬勃發(fā)展。與之對(duì)應(yīng)，那些模型性能的微小改進(jìn)即可對(duì)應(yīng)價(jià)值顯著提升的服務(wù)，將迎來(lái)截然不同的經(jīng)濟(jì)激勵(lì)形式。對(duì)于此類服務(wù)，預(yù)計(jì)贏家通吃將繼續(xù)占據(jù)主流，意味著更先進(jìn)的 AI 系統(tǒng)將持續(xù)提供更多的剩余價(jià)值。

因此，分享技術(shù)和模型架構(gòu)創(chuàng)新的動(dòng)力將有所下降。但請(qǐng)注意，體系內(nèi)對(duì)剩余價(jià)值的榨取只會(huì)在參與者間存在價(jià)值不對(duì)稱時(shí)才會(huì)發(fā)生。在 AI 的背景下，這種不對(duì)稱很可能會(huì)體現(xiàn)在信息層面，即控制和限制他人獲取信息和知識(shí)的能力。

參與者之間的信息不對(duì)稱可能是政府強(qiáng)制管控的結(jié)果（例如知識(shí)產(chǎn)權(quán)、許可、訪問(wèn)控制等）；消解這種信息不對(duì)稱需要采取政治行動(dòng)，已非純粹的技術(shù)手段所能解決。然而，技術(shù)本身同時(shí)也將削減因資源不對(duì)稱所引發(fā)的信息不對(duì)稱。

具體來(lái)講，如今的人工神經(jīng)網(wǎng)絡(luò)通常以密集方式進(jìn)行訓(xùn)練，意味著一旦提供輸入，網(wǎng)絡(luò)內(nèi)的所有單元均會(huì)被激活。對(duì)于 transformer 這類架構(gòu)（即 ChatGPT 等大語(yǔ)言模型的技術(shù)基礎(chǔ)），傳播信息的計(jì)算成本極為高昂，主要體現(xiàn)在其中的“自注意力”環(huán)節(jié)上。計(jì)算復(fù)雜度越高，對(duì)應(yīng)的能量消耗也就越大。

由于訓(xùn)練大語(yǔ)言模型（LLM）需要大量資源，所以預(yù)計(jì)“贏家通吃”類 AI 系統(tǒng)的開發(fā)和管理將首先由少部分閉源實(shí)體所主導(dǎo)。出于經(jīng)濟(jì)動(dòng)機(jī)，這些實(shí)體會(huì)將模型權(quán)重和架構(gòu)作為專有資產(chǎn)，嚴(yán)格保密能為其帶來(lái)更強(qiáng)的盈利能力。

遺憾的是，這種資源限制導(dǎo)致研究人員、非營(yíng)利組織和初創(chuàng)公司等小規(guī)模實(shí)體因無(wú)法承擔(dān)高昂的能源成本，而幾乎不可能從零開始訓(xùn)練自己的大語(yǔ)言模型。因此，目前大部分開源大語(yǔ)言模型均是對(duì)現(xiàn)有模型進(jìn)行微調(diào)，這種方法成本更低且耗能更少?；谶@樣的動(dòng)態(tài)，我們最明智的決策應(yīng)該是保持開源 AI 在質(zhì)量上始終具有競(jìng)爭(zhēng)力，借此降低深度學(xué)習(xí)模型規(guī)?；?xùn)練和運(yùn)行帶來(lái)的成本。

稀疏激活張量

面對(duì)經(jīng)濟(jì)動(dòng)機(jī)失衡、高強(qiáng)度大語(yǔ)言模型訓(xùn)練帶來(lái)的夸張能耗、以及 AI 控制權(quán)的日益集中，我們 Open Cybernetics 意識(shí)到必須采取更加積極主動(dòng)的立場(chǎng)。為數(shù)據(jù)集創(chuàng)建類似 GPL 的標(biāo)準(zhǔn)，正是開源 AI 社區(qū)向前邁出的重要一步。但必須承認(rèn)，無(wú)版權(quán)運(yùn)動(dòng)還不足以抵御這個(gè)十年內(nèi)即將出現(xiàn)的顛覆性經(jīng)濟(jì)和政治力量。

相反，必須借助新的技術(shù)和協(xié)議來(lái)實(shí)現(xiàn)社會(huì)經(jīng)濟(jì)權(quán)力的動(dòng)態(tài)性轉(zhuǎn)變。面對(duì)這個(gè)問(wèn)題，我力推“稀疏激活張量”概念及其對(duì)等空間的協(xié)同作用。我們將在未來(lái)的工作中不斷探索如何構(gòu)建具備模型中立性的稀疏激活張量數(shù)據(jù)結(jié)構(gòu)。

在本文中，我將簡(jiǎn)單介紹其基本理念、技術(shù)開發(fā)的底層原理，以及對(duì)開源社區(qū)及其他領(lǐng)域的影響。簡(jiǎn)單來(lái)講，稀疏激活張量就是能夠以稀疏方式檢索并更新自身狀態(tài)的數(shù)據(jù)結(jié)構(gòu)。為了更好地理解其深層含義，讓我們先從一個(gè)簡(jiǎn)單示例入手。

圖一：什么是嵌入層。

嵌入層可被看作基于一對(duì)一映射原理運(yùn)行的稀疏激活張量。也就是說(shuō)：嵌入層由 token 列表（例如單詞）以及包含相應(yīng)嵌入的權(quán)重矩陣組成。語(yǔ)料庫(kù)中使用的每個(gè)詞，都將被分配給權(quán)重矩陣中的一行，從而創(chuàng)建詞到嵌入的映射（參見(jiàn)圖一）。這些嵌入隨后會(huì)作為神經(jīng)網(wǎng)絡(luò)的輸入。嵌入層之所以能被視為稀疏激活張量，是因?yàn)樗鼭M足此類數(shù)據(jù)結(jié)構(gòu)的兩個(gè)相關(guān)標(biāo)準(zhǔn)：

嵌入可以通過(guò)數(shù)據(jù)庫(kù)進(jìn)行有效檢索，無(wú)需將整個(gè)張量加載至內(nèi)存中即可進(jìn)行稀疏檢索。

嵌入能以稀疏方式更新。在通過(guò)嵌入層的反射傳播期間，僅須調(diào)整與所用 token 相關(guān)的權(quán)重，其余嵌入將被排除在更新步驟之外。

雖然一對(duì)一映射方法在單詞等離散 token 情況下確有價(jià)值，但卻無(wú)法在連續(xù)輸入中正常起效。例如，一個(gè) 28 x 2828 x 28 的圖像塊中包含巨量潛在像素組合，根本不可能建立一對(duì)一映射的嵌入層。但我們將在后文討論，使用多對(duì)一映射的方法同樣能獲得類似結(jié)果。嵌入檢索和稀疏激活張量之間的邏輯聯(lián)系也將變得顯而易見(jiàn)。

考慮這樣一個(gè)情況，我們有一個(gè)歸一化矩陣 WK，它由存儲(chǔ)模式和一個(gè)歸一化輸入 I 組成（詳見(jiàn)圖二）。在 I 和 WK之間執(zhí)行點(diǎn)積，本質(zhì)上相當(dāng)于檢查 WK中的各列并確定哪個(gè)列向量與 I 更相似。所得到的 K 向量表示 I 和 WK 的每一列之間的余弦相似度。K 得分越高，則表示輸入與相應(yīng)列之間的相似度越高。

圖二：K 中的值代表 Wk 的列與 I 的相似度。

結(jié)合 softmasx 激活函數(shù)，附加權(quán)重矩陣 WV和標(biāo)量參數(shù)β來(lái)調(diào)節(jié) softmax 分布的強(qiáng)度，我們就能將 I 與給定輸出 O 關(guān)聯(lián)起來(lái)（參見(jiàn)圖三）。softmax 運(yùn)算的結(jié)果分布決定了 Wv 矩陣中的各些行會(huì)被賦予更高權(quán)重。這樣的神經(jīng)網(wǎng)絡(luò)層配置，通常被稱為現(xiàn)代 Hopfield Lookup 層。它使用一組預(yù)定的可學(xué)習(xí)模式的加權(quán)求和，在連續(xù)輸入和輸出嵌入之間建立關(guān)聯(lián)。

圖三：現(xiàn)代 Hopfield Lookup 層。

大家可能已經(jīng)發(fā)現(xiàn)，從 I 到 O 的轉(zhuǎn)換需要大量計(jì)算。這還只是一部分，tarnsformers 中的自注意力步驟需要消耗更多算力。如圖四所示，tarnsformer 的自注意力步驟要用到 3 個(gè)矩陣：查詢（Q）、鍵（K）和值（V）矩陣，再加上 softmax 函數(shù)。請(qǐng)注意，步驟中的 dk項(xiàng)與β在圖三示例中的作用相似。

圖四：transformer 中的自注意力機(jī)制。為了簡(jiǎn)單起見(jiàn)，這里省略了多頭組件以及編碼器的層歸一化和殘差連接。

為了導(dǎo)出查詢、鍵和值矩陣，首先要計(jì)算大量不必要的余弦相似度。具體來(lái)講，這些點(diǎn)積運(yùn)算中的很大一部分對(duì)自注意力步驟的輸出嵌入并沒(méi)有顯著貢獻(xiàn)。換言之，Q、K 和 V 中的大多數(shù)數(shù)值往往明顯小于 1。盡管如此，之所以要在輸入 I 與 WQ、WK、WV各列進(jìn)行比較，就是因?yàn)槲覀兪孪炔⒉恢罆?huì)產(chǎn)生最高余弦相似度的權(quán)重矩陣有著怎樣的特定內(nèi)部模式。這種先驗(yàn)知識(shí)的缺乏會(huì)增加 transformer 的相關(guān)訓(xùn)練成本，迫使我們不得不在整個(gè) Q 和 K 矩陣之間進(jìn)行點(diǎn)積運(yùn)算。

為了突出當(dāng)前 AI 系統(tǒng)中信息檢索過(guò)程的低效問(wèn)題，讓我們考慮以下場(chǎng)景：我們有一個(gè)大型數(shù)據(jù)庫(kù)，希望執(zhí)行一項(xiàng)簡(jiǎn)單查詢。目前 AI 系統(tǒng)需要加載和遍歷內(nèi)存中的整個(gè)數(shù)據(jù)庫(kù)，才能檢索與我們查詢相對(duì)齊的少數(shù)匹配項(xiàng)，而根本不會(huì)利用索引記錄?？梢钥吹?，像 transformer 這種關(guān)聯(lián)記憶網(wǎng)絡(luò)的信息傳播方式極為低效，而潛在的解決方案有如下兩種。第一，通過(guò)修改注意力機(jī)制來(lái)使用機(jī)器學(xué)習(xí)方法，借此減少計(jì)算需求。這方面嘗試在 Linformer 和 Performer 等項(xiàng)目中均有體現(xiàn)。或者，我們也可以考慮在不改變底層模型架構(gòu)的情況下，引入數(shù)據(jù)庫(kù)系統(tǒng)的設(shè)計(jì)原則。

比如說(shuō)，我們知道可以在 I 和權(quán)重矩陣之間執(zhí)行效率更高的近似 K 最近鄰（kNN）查找，這就避免了加載或遍歷整個(gè)張量。這種方法可以顯著降低大語(yǔ)言模型的計(jì)算需求，進(jìn)而省下大量能源。有趣的是，部分大語(yǔ)言模型已經(jīng)開始采用這種技術(shù)。例如，Memrizing Transformer 就在向量數(shù)據(jù)庫(kù)上以更高效的近似 kNN 查找來(lái)使用外部寄存器。這些使用向量數(shù)據(jù)庫(kù)的大語(yǔ)言模型，通常會(huì)在后臺(tái)使用 HNSW 算法。

與數(shù)據(jù)庫(kù)進(jìn)行類比，“稀疏檢索”的概念相當(dāng)于具有預(yù)索引的權(quán)重，無(wú)需遍歷整個(gè)數(shù)據(jù)庫(kù)即可實(shí)現(xiàn)記錄檢索（即已存儲(chǔ)的模式）。然而，目前能利用向量數(shù)據(jù)庫(kù)的 transformer 還僅限于在推理階段執(zhí)行近似 kNN 查找。換言之，模型訓(xùn)練階段仍只能以算力密集方式進(jìn)行，因此對(duì)應(yīng)大量能源消耗。為了促進(jìn)大規(guī)模神經(jīng)網(wǎng)絡(luò)的集體訓(xùn)練，必須將模型權(quán)重的同時(shí)更新轉(zhuǎn)化為稀疏更新。通過(guò)設(shè)計(jì)這種包含稀疏檢索和稀疏更新的神經(jīng)構(gòu)建塊，我們將為開源 AI 社區(qū)做出貢獻(xiàn)，克服資源限制導(dǎo)致的信息不對(duì)稱問(wèn)題。

“魂靈”的密碼學(xué)證明

作為緩解資源限制的有效策略，開源 AI 社區(qū)中的部分研究人員已經(jīng)開始利用受信對(duì)等協(xié)作來(lái)推理和微調(diào)大語(yǔ)言模型。例如，Petals 等項(xiàng)目就在使用基于 Kadelia 的分布式哈希表，在去中心化的節(jié)點(diǎn)網(wǎng)絡(luò)中傳播神經(jīng)活動(dòng)。通過(guò)這種方法，Petals 用戶能夠在多個(gè)節(jié)點(diǎn)間分配訓(xùn)練和推理任務(wù)，而不再依賴單一機(jī)器加載整個(gè)大語(yǔ)言模型。通過(guò)共同參與訓(xùn)練過(guò)程，這些分布式節(jié)點(diǎn)擴(kuò)展了其單打獨(dú)斗所無(wú)法實(shí)現(xiàn)的能力。

雖然這些系統(tǒng)實(shí)用性出眾，但還缺少還原當(dāng)前對(duì)等 AI 項(xiàng)目的一個(gè)關(guān)鍵組成部分：對(duì)抗環(huán)境中的無(wú)信任機(jī)制。要想在 Petals 這類系統(tǒng)中執(zhí)行前向傳播，就要求人們必須充分信任網(wǎng)絡(luò)中的其他節(jié)點(diǎn)。換句話說(shuō)，任何惡意節(jié)點(diǎn)都能返回實(shí)際上并非源自模型的輸出。雖然這種局限性沒(méi)有徹底擊潰協(xié)作研究的前景，但的確已經(jīng)阻礙了對(duì)等 AI 系統(tǒng)在現(xiàn)實(shí)世界中的廣泛應(yīng)用。

這就是稀疏激活張量發(fā)揮顯著優(yōu)勢(shì)的第二個(gè)用例。除了能源效率更高之外，稀疏激活張量還具有必要屬性，能夠在對(duì)等 AI 網(wǎng)絡(luò)中實(shí)現(xiàn)前向和后向傳播的密碼學(xué)安全?，F(xiàn)在，讓我們簡(jiǎn)單觀察 Merkle 樹數(shù)據(jù)結(jié)構(gòu)，了解這一切是怎樣實(shí)現(xiàn)的。

Merkle 樹是一種二叉樹數(shù)據(jù)結(jié)構(gòu)，用于安全驗(yàn)證列表中的值是否存在，且不必向另一方提供列表中的每個(gè)值。要?jiǎng)?chuàng)建 Merkle 樹，列表中的每個(gè)值都須使用加密哈希函數(shù)進(jìn)行哈希處理，進(jìn)而產(chǎn)生葉節(jié)點(diǎn)。之后，通過(guò)哈希將這些葉節(jié)點(diǎn)組合起來(lái)形成非葉父節(jié)點(diǎn)。重復(fù)這個(gè)過(guò)程，直至抵達(dá)二叉樹的根（詳見(jiàn)圖五）。

圖五：Merkle 樹數(shù)據(jù)結(jié)構(gòu)?；疑糠譃槿~節(jié)點(diǎn)，黑色部分為非葉節(jié)點(diǎn)。

為了確認(rèn) Merkle 樹中是否存在某個(gè)值，這里要使用 Merkle 證明，其由一系列哈希值組成。使用 Merkle 證明對(duì)葉節(jié)點(diǎn)哈希執(zhí)行哈希迭代，即可重建原始 Merkle 根（詳見(jiàn)圖六）。需要注意的是，Merkle 證明的接收者必須已經(jīng)擁有 Merkle 根的本地副本，否則無(wú)法完成驗(yàn)證過(guò)程。通過(guò)將本地存儲(chǔ)的 Merkle 根與 Merkle 證明生成的最終哈希進(jìn)行比較，接收節(jié)點(diǎn)即可驗(yàn)證某個(gè)值是否包含在用于創(chuàng)建 Merkle 根的值列表當(dāng)中。如果兩個(gè)哈希相互匹配，則可證明提供的值確實(shí)是原始 Merkle 樹中的葉節(jié)點(diǎn)之一。請(qǐng)注意，Merkle 證明的大小（即圖六中的綠色哈希）按對(duì)數(shù)比例縮放，這樣即使葉節(jié)點(diǎn)的數(shù)量很大，也能實(shí)現(xiàn)緊湊的存在證明。

圖六：Merkle 證明。為了證明初始值列表中存在 H3，必須先用 H4 對(duì)其進(jìn)行哈希，之后是 H1,2，最后是 H5,6,7,8（圖中綠色部分），由此重新創(chuàng)建 Merkle 根的哈希值。

Merkle 樹數(shù)據(jù)結(jié)構(gòu)和稀疏激活張量間的聯(lián)系，取決于其潛在組合。Merkle 樹可以構(gòu)建在稀疏激活張量之上，以稀疏方式實(shí)現(xiàn)對(duì)狀態(tài)的檢索和更新。在這里的示例中，張量的列向量作為 Merkle 樹中的葉節(jié)點(diǎn)（參見(jiàn)圖七）。

圖七：使用稀疏激活張量的列作為葉節(jié)點(diǎn)所構(gòu)建的 Merkle 樹。

下面我們考慮這樣一個(gè)場(chǎng)景：Bob 有一個(gè)帶有 Hopfield Lookup 層的現(xiàn)代 Hopfield 網(wǎng)絡(luò)（如圖三所示）。Alice 持有 Bob 的 Hopfield Lookup 層的 Merkle 根的本地副本。假設(shè) Alice 要向 Bob 發(fā)送一個(gè)輸入以執(zhí)行前向傳播，則 Bob 會(huì)繼續(xù)向前傳播，相當(dāng)玩友稀疏激活張量?jī)?nèi)執(zhí)行近似 kNN 查找。隨后，Bob 會(huì)與 Alice 分享來(lái)自 Wk 的 k 個(gè)最近列向量及 Wk 的 Merkle 證明，外加來(lái)自 Wv 的相應(yīng)向量及 Wv 的 Merkle 證明（參見(jiàn)圖八）。

圖八：現(xiàn)代 Hopfield Lookup 層的“魂靈”密碼學(xué)證明。假定 Wk 內(nèi) I 的 k 個(gè)最近鄰為 H1 和 H5 對(duì)應(yīng)的列。通過(guò)將 H1 與 H2、H5 與 H6 進(jìn)行哈希，之后將這些生成的哈希與 H3,4 和 H7,8 進(jìn)行哈希進(jìn)行哈希，即可生成稀疏評(píng)分張量的 Merkle 根。之后，執(zhí)行同樣的步驟以生成 Wv 的 Merkle 根。

使用稀疏檢索的 Wk 和 Wv 嵌入，以及所提供的 Merkle 證明，Alice 即可生成密碼驗(yàn)證的輸出。特別需要注意的是，在實(shí)際應(yīng)用當(dāng)中，Bob 不會(huì)以未壓縮格式傳輸嵌入。相反，Bob 會(huì)使用增量編碼來(lái)壓縮嵌入，從而顯著減少所需傳輸帶寬。此外，Bob 不會(huì)為 Wk 和 Wv 中的各 k 個(gè)最近列 / 行向量發(fā)送單獨(dú)的 Merkle 證明。相反，Bob 會(huì)為 Wk 和 Wv 分別傳輸 Compact Merkle Multiproof。最后，在使用稀疏激活張量的前提下，同樣的技術(shù)也可應(yīng)用在 transformer 自注意力步驟當(dāng)中。

在 Open Cybernetics，我們將稀疏激活張量的 Merkle Multiproofs 稱為“魂靈”的密碼學(xué)證明（Cryptographic Ghost Proof，簡(jiǎn)稱 CGP）。我們堅(jiān)信 CGP 將成為強(qiáng)大的構(gòu)建塊，并在未來(lái)的 AI 系統(tǒng)中發(fā)揮重要作用。相信在不久的未來(lái)，基于“魂靈證明”的神經(jīng)活動(dòng)將構(gòu)成大部分互聯(lián)網(wǎng)流量。由于每個(gè) AI 系統(tǒng)都存在自己的“魂靈文件”，其中包含各個(gè)網(wǎng)絡(luò)層的“魂靈”根，以及架構(gòu)信息和前向 / 反向傳播所涉及的操作，因此實(shí)體可以信任 AI 系統(tǒng)的輸出來(lái)自正確模型。

CGP 和“魂靈文件”的引入不僅給對(duì)等 AI 系統(tǒng)帶來(lái)了新范式，同時(shí)也有助于培養(yǎng)透明度文化。將“魂靈”的密碼學(xué)證明納入 AI 交互的互聯(lián)網(wǎng)協(xié)議后，模型架構(gòu)和權(quán)重將無(wú)法被隱藏起來(lái)?！盎觎`文件”能確保模型架構(gòu)的透明性，而 CGP 則負(fù)責(zé)公開模型權(quán)重（因?yàn)槊看螆?zhí)行前向傳播時(shí)，都會(huì)以壓縮形式共享一小部分權(quán)重）。這種技術(shù)轉(zhuǎn)變將令人工認(rèn)知成為一種共享資源，可供所有人訪問(wèn)和擁有。

一點(diǎn)反思

除了開放和免信任之外，CGP 的介入還有望將 AI 和去中心化分類賬融合起來(lái)，為自主 AI 系統(tǒng)的出現(xiàn)鋪平道路。自治 AI 系統(tǒng)是一種對(duì)等 AI 協(xié)議，它利用的正是共識(shí)算法的無(wú)許可特性。這些協(xié)議不會(huì)改變分類賬中的條目，而是傳播其中的觀點(diǎn)。為了確保整個(gè)系統(tǒng)有效運(yùn)行并抵御 DoS 攻擊，這些協(xié)議可能依賴于積分或貨幣等載體。這些自治系統(tǒng)的技術(shù)復(fù)雜 性及其經(jīng)濟(jì) / 社會(huì)影響，還有待在未來(lái)的工作中繼續(xù)觀察。

作為工程師和 AI 研究人員，我們必須意識(shí)到技術(shù)中天然具有的政治性質(zhì)?？此莆⑿〉墓こ虥Q策可能會(huì)導(dǎo)致深遠(yuǎn)的社會(huì)變革。例如，集中化的深度學(xué)習(xí)模型可能令社會(huì)組織同樣趨于集中。雖然稀疏激活的深度學(xué)習(xí)模型有望帶來(lái)去中心化的社會(huì)組織形式，但也比以往任何時(shí)候都更需要跨學(xué)科思考的引導(dǎo)。例如，我們應(yīng)當(dāng)考慮去中心化 AI 給社會(huì)治理帶來(lái)的影響。AI 系統(tǒng)將如何影響民族國(guó)家？它們會(huì)為威權(quán)政府賦能，還是有助于加強(qiáng)民主制度的發(fā)展？公司的最小可行規(guī)模和組織結(jié)構(gòu)會(huì)有何種變化？也許終有一天，我們可以將公民的個(gè)人“魂靈”接入共享網(wǎng)絡(luò)來(lái)實(shí)現(xiàn)現(xiàn)實(shí)意義上的絕對(duì)民主。總之，這些想法都值得在未來(lái)進(jìn)一步探索。

希望本文能激發(fā)大家對(duì)于 AI 和對(duì)等技術(shù)間協(xié)同效應(yīng)的興趣。我堅(jiān)信未來(lái)幾年內(nèi)，AI 和數(shù)據(jù)庫(kù)系統(tǒng)的交叉領(lǐng)域?qū)⑷〉弥卮筮M(jìn)展，特別是在稀疏激活張量方向上。此外，AI 和對(duì)等系統(tǒng)的融合，以及稀疏激活的聯(lián)想記憶網(wǎng)絡(luò)的發(fā)展，無(wú)疑也將迎來(lái)顯著進(jìn)步。歡迎大家探索這些意義深遠(yuǎn)的主題，并為開源 AI 做出貢獻(xiàn)。這份努力的意義不止于共享代碼，更在于為全球社區(qū)賦能。

編輯：黃飛

?