中國研究人員提出StructGPT，提高LLM對結(jié)構(gòu)化數(shù)據(jù)的零樣本推理能力

大型語言模型 (LLM) 最近在自然語言處理 (NLP) 方面取得了重大進(jìn)展。現(xiàn)有研究表明，LLM) 具有很強的零樣本和少樣本能力，可以借助專門創(chuàng)建的提示完成各種任務(wù)，而無需針對特定任務(wù)進(jìn)行微調(diào)。盡管它們很有效，但根據(jù)目前的研究，LLM 可能會產(chǎn)生與事實知識不符的不真實信息，并且無法掌握特定領(lǐng)域或?qū)崟r的專業(yè)知識。這些問題可以通過在LLM中添加外部知識源來修復(fù)錯誤的生成來直接解決。

結(jié)構(gòu)化數(shù)據(jù)，如數(shù)據(jù)庫和知識圖譜，已被常規(guī)用于在各種資源中攜帶 LLM 所需的知識。但是，由于結(jié)構(gòu)化數(shù)據(jù)使用 LLM 在預(yù)訓(xùn)練期間未接觸過的獨特數(shù)據(jù)格式或模式，因此他們可能需要幫助才能理解它們。與純文本相反，結(jié)構(gòu)化數(shù)據(jù)以一致的方式排列并遵循特定的數(shù)據(jù)模型。數(shù)據(jù)表按行排列為列索引記錄，而知識圖 (KG) 經(jīng)常組織為描述頭尾實體之間關(guān)系的事實三元組。

盡管結(jié)構(gòu)化數(shù)據(jù)的體量往往非常巨大，但不可能容納輸入提示中的所有數(shù)據(jù)記錄（例如，ChatGPT 的最大上下文長度為 4096）。將結(jié)構(gòu)化數(shù)據(jù)線性化為 LLM 可以輕松掌握的語句是解決此問題的簡單方法。工具操作技術(shù)激勵他們增強 LLM 解決上述困難的能力。他們策略背后的基本思想是使用專門的接口來更改結(jié)構(gòu)化數(shù)據(jù)記錄（例如，通過提取表的列）。在這些接口的幫助下，他們可以更精確地定位完成特定活動所需的證據(jù)，并成功地限制數(shù)據(jù)記錄的搜索范圍。

來自中國人民大學(xué)、北京市大數(shù)據(jù)管理與分析方法重點實驗室和中國電子科技大學(xué)的研究人員在這項研究中著重于為某些任務(wù)設(shè)計合適的接口，并將它們用于 LLM 的推理，這些接口是應(yīng)用界面增強方法需要解決的兩個主要問題。以這種方式，LLM 可以根據(jù)從界面收集的證據(jù)做出決定。為此，他們在本研究中提供了一種稱為 StructGPT 的迭代閱讀然后推理 (IRR) 方法，用于解決基于結(jié)構(gòu)化數(shù)據(jù)的任務(wù)。他們的方法考慮了完成各種活動的兩個關(guān)鍵職責(zé)：收集相關(guān)數(shù)據(jù)（閱讀）和假設(shè)正確的反應(yīng)或為下一步行動制定策略（推理）。

據(jù)他們所知，這是第一項著眼于如何使用單一范式幫助 LLM 對各種形式的結(jié)構(gòu)化數(shù)據(jù)（例如表、KG 和 DB）進(jìn)行推理的研究。從根本上說，他們將 LLM 的閱讀和推理兩個過程分開：他們使用結(jié)構(gòu)化數(shù)據(jù)接口來完成精確、有效的數(shù)據(jù)訪問和過濾，并依靠他們的推理能力來確定下一步的行動或查詢的答案。

對于外部接口，他們特別建議調(diào)用線性化生成過程，以幫助 LLM 理解結(jié)構(gòu)化數(shù)據(jù)并做出決策。通過使用提供的接口重復(fù)此過程，他們可能會逐漸接近對查詢的期望響應(yīng)。

他們對各種任務(wù)（例如基于知識圖譜的問答、基于表的問答和基于數(shù)據(jù)庫的文本到 SQL）進(jìn)行了全面試驗，以評估其技術(shù)的有效性。八個數(shù)據(jù)集的實驗結(jié)果表明，他們建議的方法可能會顯著提高 ChatGPT 在結(jié)構(gòu)化數(shù)據(jù)上的推理性能，甚至達(dá)到與全數(shù)據(jù)監(jiān)督調(diào)優(yōu)方法競爭的水平。

? KGQA。他們的方法使 KGQA 挑戰(zhàn)的 WebQSP 上的 Hits@1 增加了 11.4%。借助他們的方法，ChatGPT 在多跳 KGQA 數(shù)據(jù)集（例如 MetaQA-2hop 和 MetaQA-3hop）中的性能可能分別提高了 62.9% 和 37.0%。

? 質(zhì)量保證表。在 TableQA 挑戰(zhàn)中，與直接使用 ChatGPT 相比，他們的方法在 WTQ 和 WikiSQL 中將標(biāo)注準(zhǔn)確度提高了大約 3% 到 5%。在 TabFact 中，他們的方法將表格事實驗證的準(zhǔn)確性提高了 4.2%。

? 文本到SQL。在 Text-to-SQL 挑戰(zhàn)中，與直接使用 ChatGPT 相比，他們的方法將三個數(shù)據(jù)集的執(zhí)行準(zhǔn)確性提高了約 4%。

作者已經(jīng)發(fā)布了 Spider 和 TabFact 的代碼，可以幫助理解 StructGPT 的框架，整個代碼庫尚未發(fā)布。

審核編輯 ：李倩