蒸餾也能Step-by-Step：新方法讓小模型也能媲美2000倍體量大模型

大型語(yǔ)言模型能力驚人，但在部署過(guò)程中往往由于規(guī)模而消耗巨大的成本。華盛頓大學(xué)聯(lián)合谷歌云計(jì)算人工智能研究院、谷歌研究院針對(duì)該問(wèn)題進(jìn)行了進(jìn)一步解決，提出了逐步蒸餾（Distilling Step-by-Step）范式幫助模型訓(xùn)練。該方法在訓(xùn)練用于特定任務(wù)的小型模型方面優(yōu)于 LLM，訓(xùn)練數(shù)據(jù)遠(yuǎn)少于傳統(tǒng)的微調(diào)和蒸餾。他們的 770M T5 模型在一個(gè)基準(zhǔn)任務(wù)上表現(xiàn)優(yōu)于 540B PaLM 模型。令人印象深刻的是，他們的模型只使用了可用數(shù)據(jù)的 80%。

雖然大型語(yǔ)言模型（LLMs）展現(xiàn)了令人印象深刻的少樣本學(xué)習(xí)能力，但將這樣大規(guī)模的模型部署在現(xiàn)實(shí)應(yīng)用中是很難的。為 1750 億參數(shù)規(guī)模的 LLM 提供服務(wù)的專門基礎(chǔ)設(shè)施，至少需要 350GB 的 GPU 內(nèi)存。更甚者，現(xiàn)今最先進(jìn)的 LLM 是由超過(guò) 5000 億的參數(shù)組成的，這意味著它需要更多的內(nèi)存和計(jì)算資源。這樣的計(jì)算要求對(duì)于大多數(shù)生產(chǎn)商來(lái)說(shuō)都是難以企及的，更何況是要求低延遲的應(yīng)用了。

為了解決大型模型的這個(gè)問(wèn)題，部署者往往采用小一些的特定模型來(lái)替代。這些小一點(diǎn)的模型用常見范式 —— 微調(diào)或是蒸餾來(lái)進(jìn)行訓(xùn)練。微調(diào)使用下游的人類注釋數(shù)據(jù)升級(jí)一個(gè)預(yù)訓(xùn)練過(guò)的小模型。蒸餾用較大的 LLM 產(chǎn)生的標(biāo)簽訓(xùn)練同樣較小的模型。但是很遺憾，這些范式在縮小模型規(guī)模的同時(shí)也付出了代價(jià)：為了達(dá)到與 LLM 相當(dāng)?shù)男阅?，微調(diào)需要昂貴的人類標(biāo)簽，而蒸餾需要大量很難獲得的無(wú)標(biāo)簽數(shù)據(jù)。

在一篇題為「Distilling Step-by-Step! Outperforming Larger Language Models with Less Training Data and Smaller Model Sizes」的論文中，來(lái)自華盛頓大學(xué)、谷歌的研究者引入了一種新的簡(jiǎn)單機(jī)制 —— 逐步蒸餾（Distilling step-bystep），用于使用更少的訓(xùn)練數(shù)據(jù)來(lái)訓(xùn)練更小的模型。這種機(jī)制減少了微調(diào)和蒸餾 LLM 所需的訓(xùn)練數(shù)據(jù)量，使之有更小的模型規(guī)模。

論文鏈接：https://arxiv.org/pdf/2305.02301v1.pdf

該機(jī)制的核心是換一種角度，將 LLM 看作是可以推理的 agent，而不是噪聲標(biāo)簽的來(lái)源。LLM 可以產(chǎn)生自然語(yǔ)言的理由（rationale），這些理由可以用來(lái)解釋和支持模型所預(yù)測(cè)的標(biāo)簽。例如，當(dāng)被問(wèn)及「一位先生攜帶著打高爾夫球的設(shè)備，他可能有什么？(a) 球桿，(b) 禮堂，(c) 冥想中心，(d) 會(huì)議，(e) 教堂」，LLM 可以通過(guò)思維鏈（CoT）推理回答出「（a）球桿」，并通過(guò)說(shuō)明「答案一定是用來(lái)打高爾夫球的東西」來(lái)合理化這個(gè)標(biāo)簽。在上述選擇中，只有球桿是用來(lái)打高爾夫的。研究者使用這些理由作為額外更豐富的信息在多任務(wù)訓(xùn)練設(shè)置中訓(xùn)練較小的模型，并進(jìn)行標(biāo)簽預(yù)測(cè)和理由預(yù)測(cè)。

如圖 1 所示，逐步蒸餾可以學(xué)習(xí)特定任務(wù)的小模型，這些模型的參數(shù)量還不到 LLM 的 1/500。與傳統(tǒng)的微調(diào)或蒸餾相比，逐步蒸餾使用的訓(xùn)練示例要也少得多。

實(shí)驗(yàn)結(jié)果顯示，在 4 個(gè) NLP 基準(zhǔn)中，有三個(gè)有希望的實(shí)驗(yàn)結(jié)論。

第一，相對(duì)于微調(diào)和蒸餾，逐步蒸餾模型在各數(shù)據(jù)集上實(shí)現(xiàn)了更好的性能，平均減少了 50% 以上的訓(xùn)練實(shí)例（最多可減少 85% 以上）。

第二，我們的模型在模型尺寸更小的情況下表現(xiàn)優(yōu)于 LLM（最多可以小到 2000 倍），極大地降低了模型部署所需的計(jì)算成本。

第三，該研究在縮減模型尺寸的同時(shí)，也減少了超越 LLM 所需要的數(shù)據(jù)量。研究者使用一個(gè) 770M 的 T5 模型超越了 540B 參數(shù)的 LLM 的性能。這個(gè)較小的模型只使用了現(xiàn)有微調(diào)方法 80% 的標(biāo)記數(shù)據(jù)集。

當(dāng)只有未標(biāo)記的數(shù)據(jù)時(shí)，小模型的表現(xiàn)相比 LLM 而言仍然有過(guò)之而無(wú)不及 —— 只用一個(gè) 11B 的 T5 模型就超過(guò)了 540B 的 PaLM 的性能。

該研究進(jìn)一步表明，當(dāng)一個(gè)較小的模型表現(xiàn)比 LLM 差時(shí)，與標(biāo)準(zhǔn)的蒸餾方法相比，逐步蒸餾可以更有效地利用額外的無(wú)標(biāo)簽數(shù)據(jù)來(lái)使較小的模型媲美 LLM 的性能。

逐步蒸餾

研究者提出了逐步蒸餾這個(gè)新范式，是利用 LLM 對(duì)其預(yù)測(cè)的推理能力，以數(shù)據(jù)高效率的方式訓(xùn)練更小的模型。整體框架如圖 2 所示。

該范式有兩個(gè)簡(jiǎn)單的步驟：首先，給定一個(gè) LLM 和一個(gè)無(wú)標(biāo)簽的數(shù)據(jù)集，提示 LLM 生成輸出標(biāo)簽以及證明該標(biāo)簽成立的理由。理由用自然語(yǔ)言解釋，為模型預(yù)測(cè)的標(biāo)簽提供支持（見圖 2）。理由是當(dāng)前自監(jiān)督 LLM 的一個(gè)涌現(xiàn)的行為屬性。

然后，除了任務(wù)標(biāo)簽之外，利用這些理由來(lái)訓(xùn)練更小的下游模型。說(shuō)白了，理由能提供了更豐富、更詳細(xì)的信息，來(lái)說(shuō)明一個(gè)輸入為什么被映射到一個(gè)特定的輸出標(biāo)簽。

實(shí)驗(yàn)結(jié)果

研究者在實(shí)驗(yàn)中驗(yàn)證了逐步蒸餾的有效性。首先，與標(biāo)準(zhǔn)的微調(diào)和任務(wù)蒸餾方法相比，逐步蒸餾有助于實(shí)現(xiàn)更好的性能，訓(xùn)練實(shí)例的數(shù)量少得多，大幅提高了學(xué)習(xí)小型特定任務(wù)模型的數(shù)據(jù)效率。

其次，研究表明，逐步蒸餾方法以更小的模型大小超越了 LLM 的性能，與 llm 相比，大大降低了部署成本。

最后，研究者調(diào)查了逐步蒸餾方法在超過(guò) LLM 的性能方面所需的最低資源，包括訓(xùn)練示例數(shù)量和模型大小。他們展示了逐步蒸餾方法通過(guò)使用更少的數(shù)據(jù)和更小的模型，同時(shí)提高了數(shù)據(jù)效率和部署效率。

審核編輯 ：李倩