無監(jiān)督域自適應(yīng)場景：基于檢索增強(qiáng)的情境學(xué)習(xí)實(shí)現(xiàn)知識(shí)遷移

作者: Xnhyacinth

在自然語言處理（NLP）領(lǐng)域，如何有效地進(jìn)行無監(jiān)督域自適應(yīng)(Unsupervised Domain Adaptation, UDA) 一直是研究的熱點(diǎn)和挑戰(zhàn)。無監(jiān)督域自適應(yīng)的目標(biāo)是在目標(biāo)域無標(biāo)簽的情況下，將源域的知識(shí)遷移到目標(biāo)域，以提高模型在新領(lǐng)域的泛化能力。近年來，隨著大規(guī)模預(yù)訓(xùn)練語言模型的出現(xiàn)，情境學(xué)習(xí)（In-Context Learning） 作為一種新興的學(xué)習(xí)方法，已經(jīng)在各種NLP任務(wù)中取得了顯著的成果。

?

然而，在實(shí)際應(yīng)用場景中，我們經(jīng)常面臨一個(gè)問題：源領(lǐng)域的演示數(shù)據(jù)并不總是一目了然。這就導(dǎo)致了需要進(jìn)行跨領(lǐng)域的上下文學(xué)習(xí)的問題。此外，LLMs在未知和陌生領(lǐng)域中仍然面臨著一些挑戰(zhàn)，尤其是在長尾知識(shí)方面。同時(shí)在無監(jiān)督域自適應(yīng)任務(wù)中，如何充分利用情境學(xué)習(xí)的優(yōu)勢(shì)進(jìn)行知識(shí)遷移仍然是一個(gè)開放性問題。

本文旨在探討如何在無監(jiān)督域自適應(yīng)場景下，通過檢索增強(qiáng)的情境學(xué)習(xí)（Retrieval-Augmented In-Context Learning） 實(shí)現(xiàn)知識(shí)遷移。具體來說，作者提出了一種名為Domain Adaptive In-Context Learning (DAICL) 的框架，該框架通過檢索目標(biāo)域的相似示例作為上下文，幫助模型學(xué)習(xí)目標(biāo)域的分布和任務(wù)特征。全面研究了上下文學(xué)習(xí)對(duì)于領(lǐng)域轉(zhuǎn)移問題的有效性，并展示了與基線模型相比取得的顯著改進(jìn)。

接下來就讓我們一起看看作者是如何實(shí)現(xiàn)檢索增強(qiáng)情境學(xué)習(xí)的知識(shí)遷移！

論文: Adapt in Contexts: Retrieval-Augmented Domain Adaptation via In-Context Learning
地址: https://arxiv.org/pdf/2311.11551.pdf

前言

在自然語言處理領(lǐng)域，大型語言模型（LLMs）通過其強(qiáng)大的能力在各種任務(wù)上取得了顯著的成功。然而，當(dāng)面臨跨領(lǐng)域的情景時(shí)，LLMs仍面臨著挑戰(zhàn)，由于目標(biāo)域標(biāo)簽不可用，在實(shí)際場景中通常缺乏域內(nèi)演示。從其他領(lǐng)域獲取帶標(biāo)簽的示例可能會(huì)遭受巨大的句法和語義領(lǐng)域變化。此外，LLMs很容易產(chǎn)生不可預(yù)測(cè)的輸出, 而且LLMs在未知和陌生領(lǐng)域的長尾知識(shí)上仍然存在局限性。因此亟需有效的適應(yīng)策略，將語言模型的知識(shí)從標(biāo)記的源域轉(zhuǎn)移到未標(biāo)記的目標(biāo)域，稱為無監(jiān)督域適應(yīng)（UDA）。UDA 旨在調(diào)整模型，從標(biāo)記的源樣本和未標(biāo)記的目標(biāo)樣本中學(xué)習(xí)與領(lǐng)域無關(guān)的特征。

為了解決這些問題，本文提出了一種基于上下文學(xué)習(xí)的無監(jiān)督領(lǐng)域適應(yīng)（Unsupervised Domain Adaptation, UDA）方法，旨在將LLMs從源領(lǐng)域成功適應(yīng)到目標(biāo)領(lǐng)域，無需任何目標(biāo)標(biāo)簽。從目標(biāo)未標(biāo)記語料庫中檢索類似的示例作為源查詢的上下文，并通過連接源查詢和目標(biāo)上下文作為輸入提示來執(zhí)行自適應(yīng)上下文學(xué)習(xí)。如上圖所示，對(duì)于來自源域的每個(gè)輸入，將其上下文與從目標(biāo)未標(biāo)記域檢索到的語義相似的文本組合起來，以豐富語義并減少表面形式的域差異。然后，模型將學(xué)習(xí)源輸入和目標(biāo)上下文的任務(wù)區(qū)分。

方法

該研究提出了一種名為Domain Adaptive In-Context Learning (DAICL)的框架，通過檢索目標(biāo)域的相似示例作為上下文，幫助模型學(xué)習(xí)目標(biāo)域的分布和任務(wù)特征，使LLMs同時(shí)學(xué)習(xí)目標(biāo)領(lǐng)域分布和判別性任務(wù)信號(hào)。具體來說，對(duì)于給定的源域數(shù)據(jù)和目標(biāo)域數(shù)據(jù)，首先使用檢索模型（如SimCSE）在目標(biāo)域中檢索與源域數(shù)據(jù)相似的示例。然后，將檢索到的示例作為上下文，與源域數(shù)據(jù)一起作為輸入，進(jìn)行情境學(xué)習(xí)。通過這種方式，模型可以在目標(biāo)域的上下文中學(xué)習(xí)任務(wù)特征，同時(shí)適應(yīng)目標(biāo)域的數(shù)據(jù)分布。主要分為以下幾個(gè)部分：

檢索目標(biāo)域相似示例：首先，在目標(biāo)域中檢索與源域數(shù)據(jù)相似的示例。這一步的目的是找到能夠代表目標(biāo)域特征的示例，以便模型能夠在目標(biāo)域的上下文中學(xué)習(xí)任務(wù)特征。檢索方法可以采用現(xiàn)有的密集檢索模型，如SimCSE。

構(gòu)建上下文：將檢索到的目標(biāo)域相似示例與源域數(shù)據(jù)一起作為輸入，形成上下文。這樣，模型可以在目標(biāo)域的上下文中學(xué)習(xí)任務(wù)特征，同時(shí)適應(yīng)目標(biāo)域的數(shù)據(jù)分布。

情境學(xué)習(xí)：在構(gòu)建的上下文上進(jìn)行情境學(xué)習(xí)。這里采用了兩種任務(wù)損失函數(shù)：（1）上下文任務(wù)損失，用于學(xué)習(xí)任務(wù)特征，預(yù)測(cè)標(biāo)簽值y；（2）上下文語言建模損失，用于學(xué)習(xí)目標(biāo)域的分布。通過優(yōu)化這兩個(gè)損失函數(shù)，模型可以在目標(biāo)域中實(shí)現(xiàn)知識(shí)遷移。

模型訓(xùn)練：根據(jù)所使用的模型架構(gòu)（如編碼器，解碼器模型），設(shè)計(jì)相應(yīng)的prompting策略和訓(xùn)練策略。對(duì)于編碼器模型，可以采用提示詞（prompt）策略，將源域數(shù)據(jù)和檢索到的目標(biāo)域示例拼接在一起作為輸入；對(duì)于解碼器模型，可以直接將檢索到的目標(biāo)域示例作為輸入，進(jìn)行自回歸學(xué)習(xí)。

模型評(píng)估：在目標(biāo)域的測(cè)試數(shù)據(jù)上評(píng)估模型性能。通過比較不同方法在命名實(shí)體識(shí)別（NER）和情感分析（SA）等任務(wù)上的結(jié)果，驗(yàn)證DAICL框架的有效性。

如上圖所示， 顯示了 NER 任務(wù)上僅編碼器模型的訓(xùn)練過程概述，MLM 目標(biāo)會(huì)鼓勵(lì)編碼器學(xué)習(xí)與源域無法區(qū)分的目標(biāo)分布。對(duì)于任務(wù)學(xué)習(xí)目標(biāo)，在源輸入上使用平均匯聚（average pooling） 作為情感分析任務(wù)的預(yù)測(cè)機(jī)制，而在語言模型特征之上使用附加的條件隨機(jī)場（CRF）層進(jìn)行命名實(shí)體識(shí)別任務(wù)的標(biāo)記級(jí)別分類。

對(duì)于僅解碼器架構(gòu)，包括僅推理和微調(diào)兩種范式，下圖圖為帶有推理提示的示例，在給定目標(biāo)測(cè)試查詢的情況下從源標(biāo)記數(shù)據(jù)集中搜索輸入標(biāo)簽對(duì)。虛線框包含從源檢索的演示。

對(duì)于微調(diào)設(shè)置下，利用lora用更少的計(jì)算資源微調(diào)更大的 LM，微調(diào)數(shù)據(jù)示例形式為，如下所示：

實(shí)驗(yàn)設(shè)置

為了評(píng)估DAICL方法的有效性，該研究在命名實(shí)體識(shí)別（NER）和情感分析（SA）任務(wù)上進(jìn)行了廣泛的實(shí)驗(yàn)。實(shí)驗(yàn)采用了多種源域和目標(biāo)域的組合，涵蓋了新聞、社交媒體、金融和生物醫(yī)學(xué)等領(lǐng)域。CoNLL-03（英語新聞）作為源域數(shù)據(jù)集，目標(biāo)域數(shù)據(jù)集包括：金融（FIN）、社交媒體（WNUT-16、WNUT-17）、生物醫(yī)學(xué)（BC2GM、BioNLP09、BC5CDR）對(duì)于情感分析（SA）任務(wù)，使用了亞馬遜評(píng)論數(shù)據(jù)集，涵蓋了四個(gè)領(lǐng)域：書籍（BK）、電子產(chǎn)品（E）、美容（BT）和音樂（M）。

本文對(duì)比了多種基線方法，包括無監(jiān)督域自適應(yīng)的傳統(tǒng)方法（如Pseudo-labeling和對(duì)抗訓(xùn)練）、基于檢索的LM方法（如REALM和RAG）和情境學(xué)習(xí)方法（如In-context learning）。在實(shí)驗(yàn)中，將不同的LLMs架構(gòu)與提出的In-Context Learning方法進(jìn)行對(duì)比，并評(píng)估其在領(lǐng)域適應(yīng)中的性能。對(duì)于評(píng)估指標(biāo)，NER任務(wù)使用了F1分?jǐn)?shù)，SA任務(wù)使用了準(zhǔn)確率acc。

結(jié)果分析

?

由以上兩個(gè)任務(wù)的性能對(duì)比表可知，DAICL 同時(shí)學(xué)習(xí)兩個(gè)目標(biāo)，在大多數(shù)適應(yīng)場景中都大大超過了基線。從 ICL-sup 的結(jié)果來看，我們發(fā)現(xiàn)僅使用任務(wù)目標(biāo)進(jìn)行訓(xùn)練對(duì) UDA 略有幫助。正如前面所討論的，好處源于利用目標(biāo)上下文的任務(wù)判別能力。通過將 DAICL 與 ICL-sup 和 ICL-source 進(jìn)行比較，可以發(fā)現(xiàn)所提出的上下文適應(yīng)策略通過同時(shí)聯(lián)合學(xué)習(xí)任務(wù)信號(hào)和語言建模來增強(qiáng)領(lǐng)域適應(yīng)。

微調(diào)有益于UDA，在 NER 實(shí)驗(yàn)中，ChatGPT 的性能非常低，但微調(diào)更小的 RoBERTa 模型可以在大多數(shù)適應(yīng)場景中實(shí)現(xiàn)最先進(jìn)的分?jǐn)?shù)。在 SA 實(shí)驗(yàn)中，使用更少的可訓(xùn)練參數(shù) (1.7M) 微調(diào) LLaMA 優(yōu)于所有其他方法。因此，我們假設(shè)雖然法學(xué)碩士具有很強(qiáng)的泛化能力，但他們不能解決所有領(lǐng)域的問題。對(duì)于UDA來說，設(shè)計(jì)一個(gè)有效的適配策略還是有好處的。

最后作者也對(duì)比了自適應(yīng)ICL和自適應(yīng)預(yù)訓(xùn)練，自適應(yīng) ICL 在執(zhí)行任務(wù)預(yù)測(cè)時(shí)將源輸入與目標(biāo)上下文混合，而自適應(yīng)預(yù)訓(xùn)練只需要源輸入；自適應(yīng)ICL同時(shí)學(xué)習(xí)兩個(gè)損失。為了比較這兩種方法，在 LLaMA-LoRA 上進(jìn)行了實(shí)驗(yàn)以執(zhí)行自適應(yīng)預(yù)訓(xùn)練。在第一階段，使用目標(biāo)未標(biāo)記文本預(yù)訓(xùn)練 LoRA 權(quán)重。第二階段，從上一階段獲得的LoRA檢查點(diǎn)開始，通過任務(wù)監(jiān)督繼續(xù)對(duì)其進(jìn)行微調(diào)。使用相同的羊Alpaca模板，但不提供說明性上下文。結(jié)果見上表，可以觀察到，與 NoICL 相比，預(yù)訓(xùn)練對(duì) SA 任務(wù)帶來的收益很小，可以推測(cè) SA 數(shù)據(jù)集中的域差距比 NER 數(shù)據(jù)集中的域差距更小。從而得出結(jié)論所提出的自適應(yīng) ICL 策略優(yōu)于自適應(yīng)預(yù)訓(xùn)練，這可能歸因于自適應(yīng) ICL 下的僅解碼器模型可以學(xué)習(xí)具有示范上下文的兩個(gè)目標(biāo)。

總結(jié)

本文提出了一種名為Domain Adaptive In-Context Learning (DAICL)的框架，用于實(shí)現(xiàn)無監(jiān)督域自適應(yīng)（UDA）。該框架通過檢索目標(biāo)域的相似示例作為上下文，結(jié)合任務(wù)損失和領(lǐng)域適應(yīng)損失進(jìn)行情境學(xué)習(xí)，以實(shí)現(xiàn)知識(shí)遷移。實(shí)驗(yàn)采用了多個(gè)源域和目標(biāo)域的數(shù)據(jù)集，包括命名實(shí)體識(shí)別（NER）和情感分析（SA）任務(wù)。與多種基線方法相比，DAICL在多種跨域場景下均取得了顯著的性能提升，證明了其有效性。

盡管本文的方法在領(lǐng)域自適應(yīng)上取得了令人滿意的結(jié)果，但仍有一些可以進(jìn)一步探索和改進(jìn)的方向。首先，可以進(jìn)一步研究不同的上下文學(xué)習(xí)策略，以進(jìn)一步提高語言模型的領(lǐng)域適應(yīng)能力。其次，可以考慮在不同任務(wù)和領(lǐng)域之間進(jìn)行聯(lián)合訓(xùn)練，以進(jìn)一步提升模型的泛化性能。此外，還可以探索如何將上下文學(xué)習(xí)與其他領(lǐng)域自適應(yīng)技術(shù)（如對(duì)抗訓(xùn)練）相結(jié)合，以進(jìn)一步改進(jìn)模型的適應(yīng)性和抗干擾能力；可以考慮將多個(gè)任務(wù)同時(shí)進(jìn)行無監(jiān)督域自適應(yīng)，以提高模型的泛化能力和適應(yīng)性。通過在這些方向進(jìn)行探索和改進(jìn)，未來研究有望進(jìn)一步提高無監(jiān)督域自適應(yīng)方法的性能，為實(shí)際應(yīng)用提供更有效的解決方案。

審核編輯：黃飛

?