權(quán)游結(jié)局爛尾,AI 能寫得更好嗎?

《權(quán)力的游戲》結(jié)局爛尾？

《權(quán)力的游戲》第八季崩盤，在一片“爛尾結(jié)局”的評價聲中落下了帷幕。采訪身邊很多劇迷的觀后感，一位同事給的評價只有一句話：“書是一本好書”。

近日，國外，Medium 平臺一位作者也分享了他的感受：

“權(quán)力的游戲”第8季的故事情節(jié)，因為其匆忙而不盡如人意的結(jié)局，讓數(shù)百萬名粉絲（包括作者）十分失望。大部分人都在呼吁重寫該劇的最后一季，而其他人為了讓自己舒心，則想出他們自己版本的結(jié)局。大家都在等待GRRM完成他的書，希望他能塑造一個更令人難以置信的角色，但這可能需要很多年。

作為一名技術(shù)人，任何問題都會忍不住想一下：技術(shù)能不能搞一下？

如果讓 AI 學(xué)習(xí) GRRM 的寫作風(fēng)格，然后寫一個結(jié)局如何？

AI 能寫得更好嗎？

隨后，作者便用年初 OpenAI 提出的 GPT-2 文本生成模型實踐操作了一波。模型學(xué)習(xí)的是《冰與火之歌》（A Song of Ice and Fire）原著，輸出三大反派人物（the Night King, Cersei Lannister and Daenerys Targaryen）的結(jié)局。

接下來的內(nèi)容，我們會先簡單一下 GPT-2，詳細(xì)的介紹可以參考我們以前給大家推送的文章；然后介紹一下作者訓(xùn)練模型的方法；最后根據(jù)模型生成結(jié)果進(jìn)行總結(jié)與反思。文章沒有涉及非常詳細(xì)的技術(shù)細(xì)節(jié)，而是從方法上幫助大家整體把握，后續(xù)無論是增加數(shù)據(jù)集，還是結(jié)合自己需求做調(diào)整，思路都可以借鑒，對技術(shù)細(xì)節(jié)沒有進(jìn)行詳細(xì)說明。

GPT-2（生成預(yù)訓(xùn)練的遷移模型）

在現(xiàn)有的 AI 語言模型中，GPT-2 是一種達(dá)到了 SOTA 效果的文本生成模型。他能生成類似人類語言的連貫性語句，并且可以長期關(guān)注某個主題。 相比于其他語言模型，GPT-2 兩個較大改進(jìn)在于：

大量數(shù)據(jù)：研究人員抓取了 800 萬個網(wǎng)頁，制作了一個 40GB 的文本語料庫，用于進(jìn)行無監(jiān)督的訓(xùn)練。它涵蓋了各種各樣的主題，這就是為什么預(yù)先訓(xùn)練的模型非常適合遷移到特定領(lǐng)域，比如這次我們用到的原著 GoT。

大量計算：Transformer 模型結(jié)構(gòu)中使用了 15 億個參數(shù)。不過，出于安全考慮，他們發(fā)布了僅包含 3.45 億個參數(shù)的較小版本。這次的模型也是使用這個版本。

遷移模型

GPT-2 使用的是 Transformer 網(wǎng)絡(luò)架構(gòu)，而不是序列建模傳統(tǒng)模型 RNN、LSTM 等網(wǎng)絡(luò)。不同之處在于 Transformer 使用基于注意力機制的解碼/編碼器，而不是擁有'memory'門和時間步長的循環(huán)單元。

編碼器利用字節(jié)對和位置嵌入處理輸入，其中位置嵌入描述的是輸入句子中“嵌入的單詞”和“在何處嵌入”。相同的編碼器將字節(jié)和位置嵌入轉(zhuǎn)換為矢量編碼，然后將該矢量編碼輸入解碼器，解碼器的任務(wù)是將編碼轉(zhuǎn)換為目標(biāo)文本序列。 該輸出和來自前一步驟的編碼被饋送到下一個編碼- 解碼步驟，并且重復(fù)多次，以產(chǎn)生更好的文本序列。

而 GPT-2 就可以經(jīng)過訓(xùn)練，預(yù)測給定輸入句子中的下一個單詞。如果模型可以相當(dāng)準(zhǔn)確地預(yù)測下一個單詞，那么模型可能具備理解輸入單詞上下文含義的能力。如果不理解文本，語言模型只能預(yù)測符合語法規(guī)則的單詞，而生成的文本可能不會符合語義規(guī)則。不同于機器翻譯任務(wù)中的 seq2seq 模型，GPT-2 僅使用預(yù)訓(xùn)練模型 Transformer 中的解碼器來生成后續(xù)文本，在文本生成期間并不需要編碼器。

訓(xùn)練模型

數(shù)據(jù)：作者從《冰與火之歌》的 5 本書中摘錄，組合文本數(shù)據(jù)用于訓(xùn)練。

模型：預(yù)訓(xùn)練 GPT-2 模型包含 345M 參數(shù)。

時間：該模型在 Google Colab 的 K80 GPU 上訓(xùn)練了大約12個小時。

在訓(xùn)練過程中，作者意外發(fā)現(xiàn)，預(yù)訓(xùn)練模型很擅長撰寫《權(quán)利的游戲》里的角色特征，可能與在初始訓(xùn)練期已經(jīng)接觸過這些內(nèi)容有關(guān)。想讓模型撰寫的內(nèi)容更貼近 GRRM 的風(fēng)格，需要繼續(xù)利用 GoT 數(shù)據(jù)集。

結(jié)果與分析

先在原劇結(jié)局中，找出一些令大家感到失望的情節(jié)，然后再嘗試用訓(xùn)練好的 GPT-2 模型生成結(jié)果，詳細(xì)結(jié)果大家可以看下面的視頻介紹，后面會對一些文本輸出做部分介紹。

以下是視頻格式的輸出，后面是相同的文本輸出。

https://youtu.be/_vSov4sldsQ

下面分析一下選取的 3 個場景

失望場景 1：重寫Night King 虎頭蛇尾的結(jié)局

根據(jù) GPT-2，Hodor還活著并趕來救營 Bran，這真是一個轉(zhuǎn)折點！ 或者可能是 Hodor的靈魂進(jìn)入了 Bran 的身體。不過之后，也不知道這個模型想說些什么。。。

Lightbringer 是殺死 Night King的劍。如果 Night King 的冰劍原來是 Lightbringer 并且最終會殺死他，那會有多酷？！

就算編劇忘了，不過 GPT-2 還記得關(guān)于 Azor Ahai 的預(yù)言，還圍繞 Lightbringer 做了不少展開。

這里有個地方很有意思，不是因為故事寫得精彩，而是因為模型居然知道 the dragon 實際上是“Other”（也就是書中的 White Walker）。將所有這些細(xì)節(jié)正確地放在一個段落中，真的太奇妙了。神奇的是，這個模型已經(jīng)完全了解有關(guān)人物的這些細(xì)節(jié)！

失望場景 2：Cersei Lannister 在沒有任何計劃或適當(dāng)?shù)膽?zhàn)斗的情況下倒下

嗯，好吧，這個生成的劇本完全是垃圾。 但作者還是保留了它，然后再試了一次！

這次稍微好一些！ 雖然模型輸出的某些細(xì)節(jié)錯了，特別是關(guān)于 Mad King，但”Jaime試圖在那一刻給予 Cersei 力量的想法“還挺不錯的。 也許在這個時候使用某種野路子會給她的故事情節(jié)帶來一些正義感。 兩個瘋狂的女王，激烈戰(zhàn)斗，毀壞城市的剩余部分。 這也不失為一個更好的結(jié)局，表明為什么Iron Throne 的戰(zhàn)爭是不好的。

失望場景 3：Daenerys 急速轉(zhuǎn)彎的結(jié)局

總是吃喝的好時光？我聽說 King's Landing 有一家很好的咖啡店，Dany 可以嘗試（如果它還沒有被燒掉）

這段真是挺垃圾的，讓我們再試一次。

這段也沒有多大意義。兩次下來，似乎模型堅持 Dany 想要將 King's Landing 的人們從暴君手中解放出來。

總結(jié)

雖然嘗試為這些故事情節(jié)生成更多的樣本，但沒有哪個能在故事背景下講得通。盡管生成的故事文本不夠好，不過也能看出來模型清晰地描述了角色特征和技能。，并且在模型輸出結(jié)果中也體現(xiàn)了彼此之間的關(guān)聯(lián)。此外，作者認(rèn)為 OpenAI 提出的 GPT-2 研究工作，也體現(xiàn)了近來 NLP 領(lǐng)域取得的一些進(jìn)展。

同時，我們和作者一樣，都很好奇在最大的 GPT-2 模型上訓(xùn)練會取得怎樣的結(jié)果？畢竟模型訓(xùn)練數(shù)據(jù)也不是十分充分，感興趣的小伙伴們可以把原著所有的文本數(shù)據(jù)加入到最大的 GPT-2 模型訓(xùn)練中，看看是有更多驚喜還是驚嚇？

而無論是編劇的結(jié)局，還是 AI 改寫的結(jié)局，其實大家心目中的 Perfect Ending 還是要等 GRRM 趕快寫完他的書。