ChatGPT處理文本分段任務(wù)的能力如何

作為一個兼具分析&生成能力的AI，ChatGPT最近一段時間熱度都非常高，它的確顛覆了很多人的認(rèn)知，它的出現(xiàn)一定程度上是強(qiáng)人工智能的出現(xiàn)。ChatGPT似乎已經(jīng)無所不能，文本分類，信息抽取，文本生成，代碼生成...通通都可以。

之前跟師兄師姐和老師他們聚會時，飯桌上大家聊了一會兒ChatGPT，那會兒我的直觀感受是既然ChatGPT啥都能干了，某種程度上幾乎把NLP所有方向都統(tǒng)一了，那我們這些NLP算法工程師，NLP算法研究員以后的路在哪里，重點都在業(yè)務(wù)理解了嗎，公眾號還有必要再去發(fā)一些有關(guān)NLP細(xì)分方向的任務(wù)的論文解讀等文章嗎？

前幾周，小喵才剛開始試用ChatGPT（ 算是趕熱度比較晚的了）。試用后雖然對ChatGPT的能力感到驚嘆，但也發(fā)現(xiàn)ChatGPT也不是萬能的，還有很多NLP任務(wù)目前還做的不太好。當(dāng)然ChatGPT每天都在根據(jù)用戶數(shù)據(jù)學(xué)習(xí)更新完善自己，它一定會越來越強(qiáng)。此外，考慮到學(xué)習(xí)重要的是學(xué)習(xí)別人提出問題、解決問題的思想，從這一點出發(fā)，小喵決定后續(xù)也會繼續(xù)分享NLP細(xì)分方向的文章。

1. 文本分段

之前公眾號正在介紹文本分段（文本分割）任務(wù)，所以這次小喵也測試了下ChatGPT處理文本分段任務(wù)的能力：

顯然，ChatGPT沒有正確地意識到我的意圖。ChatGPT對指令（Instruction）比較敏感，也就是說指令會影響結(jié)果，那我們再換個說法：

還是不行，那再具體一點：

好像稍微好點，但是仍然離用戶意圖比較遠(yuǎn)。也就是說，ChatGPT在文本分割上效果還有待提升，當(dāng)然我們也可以多給它一些范例，讓它理解“分段”指令指的是什么，應(yīng)當(dāng)如何應(yīng)對這個指令，這樣也許會獲得稍好一些的結(jié)果。

2. 實體識別

小喵也對實體識別這個基礎(chǔ)任務(wù)進(jìn)行了測試，在這個任務(wù)上也存在意圖理解問題，提取結(jié)果精度也有待提升：

?

3. 熱點話題

ChatGPT是在2021年訓(xùn)練的，那么它學(xué)到的就是2021年之前相關(guān)語料里的知識，也就是說不能太寄希望于它來回答一些當(dāng)下的知識。

4. 文本生成之寫新聞

在文本生成上，ChatGPT可能生成偏離事實的文本，比如這里我給出的“威斯布魯克”是指從湖人隊交易到爵士隊的“威少”。

就算我將“威斯布魯克”改成了“威少”（無爭議性，就是曾經(jīng)的雷霆三少之威少），ChatGPT依然寫出了非事實“雪人隊“。我們知道ChatGPT是在2021年訓(xùn)練的，但2021年威少是在奇才隊，而不是什么雪人隊，或者雄鹿隊。

也就是說2021年的知識ChatGPT也不一定完全學(xué)到了。這一點可能是因為雖然ChatGPT基于人工反饋的強(qiáng)化學(xué)習(xí)優(yōu)化了模型，想要讓模型生成有用無害又真實的文本，但人力能夠給予的反饋畢竟有限，模型被糾正的不多，來自網(wǎng)絡(luò)的數(shù)據(jù)中的噪聲依然可能誤導(dǎo)模型。

總結(jié)

首先，即使是最先進(jìn)的 NLP 模型，例如 ChatGPT，也不能完全覆蓋 NLP 方向的所有任務(wù)。自然語言處理是一個非常廣泛的領(lǐng)域，其中有很多不同的任務(wù)需要被解決，我們依然必要繼續(xù)研究 NLP 方向的其他任務(wù)，以推動 NLP 領(lǐng)域的進(jìn)一步發(fā)展。

此外，考慮到學(xué)習(xí)重要的是學(xué)習(xí)別人提出問題、解決問題的思想，從以上兩點出發(fā)，小喵決定繼續(xù)分享NLP細(xì)分方向的文章。

最后，技術(shù)的發(fā)展不應(yīng)該被看作是一種競爭，而是一種合作，無論中國還是美國都應(yīng)該以“共同推動 NLP 技術(shù)的進(jìn)一步發(fā)展”為核心，互相學(xué)習(xí)共同進(jìn)步。

編輯：黃飛

?