中文預(yù)訓(xùn)練模型ERNIE使用指南

最近在工作上處理的都是中文語(yǔ)料，也嘗試了一些最近放出來(lái)的預(yù)訓(xùn)練模型（ERNIE，BERT-CHINESE，WWM-BERT-CHINESE），比對(duì)之后還是覺(jué)得百度的ERNIE效果會(huì)比較好，而且使用十分方便，所以今天就詳細(xì)地記錄一下。希望大家也都能在自己的項(xiàng)目上取得進(jìn)展~

1、A Glance at ERNIE

關(guān)于ERNIE模型本身的話(huà)這篇不會(huì)做過(guò)多介紹，網(wǎng)上的介紹文檔也很多了，相信從事NLP的同學(xué)們肯定都非常熟悉啦。

2、ERNIE源碼淺嘗

Okay，當(dāng)我們了解了ERNIE模型的大體框架及原理之后，接下來(lái)就可以深入理解一下具體的實(shí)現(xiàn)啦。ERNIE是基于百度自己的深度學(xué)習(xí)框架飛槳（PaddlePaddle）搭建的，（百度推這個(gè)飛槳的力度還是蠻大的，還開(kāi)放了免費(fèi)算力），大家平時(shí)煉丹用的更多的可能是TensorFlow和Pytorch，這里關(guān)于運(yùn)行ERNIE的飛槳環(huán)境安裝可以參考快速安裝指南：

https://www.paddlepaddle.org.cn/#quick-start

2.1 關(guān)于輸入

模型預(yù)訓(xùn)練的輸入是基于百科類(lèi)、資訊類(lèi)、論壇對(duì)話(huà)類(lèi)數(shù)據(jù)構(gòu)造具有上下文關(guān)系的句子對(duì)數(shù)據(jù)，利用百度內(nèi)部詞法分析工具對(duì)句對(duì)數(shù)據(jù)進(jìn)行字、詞、實(shí)體等不同粒度的切分，然后基于 tokenization.py 中的 CharTokenizer 對(duì)切分后的數(shù)據(jù)進(jìn)行 token 化處理，得到明文的 token 序列及切分邊界，然后將明文數(shù)據(jù)根據(jù)詞典config/vocab.txt 映射為 id 數(shù)據(jù)，在訓(xùn)練過(guò)程中，根據(jù)切分邊界對(duì)連續(xù)的 token 進(jìn)行隨機(jī) mask 操作。經(jīng)過(guò)上述預(yù)處理之后的輸入樣例為：

11048 492 1333 1361 1051 326 2508 5 1803 1827 98 164 133 2777 2696 983 121 4 199 634 551 844 85 14 2476 1895 33 13 983 121 23 7 1093 24 46 660 12043 2 1263 6328 33 121 126 398 276 315 5 63 44 35 25 12043 2;0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 1 1 1 1 1 1 1 1 1 1 1 1 1 1 11;0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15 16 17 18 19 20 21 22 23 24 25 26 27 2829 30 31 32 33 34 35 36 37 38 39 40 41 42 43 44 45 46 47 48 49 50 51 52 53 5455;-1 0 0 0 0 1 0 1 0 0 1 0 0 1 0 1 0 0 0 0 0 0 1 0 1 0 0 1 0 1 0 0 0 0 1 0 0 00 -1 0 0 0 1 0 0 1 0 1 0 0 1 0 1 0 -1;0

一共有五個(gè)部分組成，每個(gè)部分之間用分號(hào);隔開(kāi)：

token_ids：輸入句子對(duì)的表示；

sentence_type_ids：0或者1表示token屬于哪一個(gè)句子；

position_ids：絕對(duì)位置編碼

seg_labels：表示分詞邊界信息，0表示詞首、1表示非詞首、-1為占位符

next_sentence_label：表示該句子對(duì)是否存在上下句的關(guān)系（0為無(wú)1為有）

reader.pretraining.py中的parse_line函數(shù).

2.2 關(guān)于mask策略batching.py

我們知道，相較于BERT，ERNIE最大的改進(jìn)就是中文 + 短語(yǔ)/實(shí)體掩碼（這個(gè)短語(yǔ)掩碼的操作后來(lái)也被BERT采用訓(xùn)練出了WWM-BERT），所以我們首先來(lái)看看ERNIE的掩碼機(jī)制是怎么樣實(shí)現(xiàn)的。

2.3 關(guān)于infer過(guò)程代碼改寫(xiě)

ERNIE代碼很方便使用，但是有一個(gè)不足的地方就是目前官方還沒(méi)有給出infer.py文件，也就是模型訓(xùn)練之后給出快速推理結(jié)果的文件。Github上簡(jiǎn)直萬(wàn)人血書(shū)求接口呀。

所以我們的目的就是需要改寫(xiě)源碼，完成這樣一個(gè)接口：輸入為我們需要預(yù)測(cè)的文件predict.tsv，調(diào)用接口后輸出為相應(yīng)任務(wù)的結(jié)果pred_result。下面我們以分類(lèi)任務(wù)為例，改寫(xiě)一個(gè)infer接口。

Step 1. finetune下的classifier.py

在文件中完成predict函數(shù)

Step 2. run_classifier.py

修改predict_only=True時(shí)的邏輯

Step 3. finetune_args.py

在該文件中添加一個(gè)參數(shù)do_predict

OK, 篇幅有限后面還要介紹具體ERNIE實(shí)戰(zhàn)，源碼閱讀部分就先這樣，其實(shí)剩下的很多都跟BERT代碼比較相似，感興趣的同學(xué)也可以參考之前的BERT源碼分析系：https://blog.csdn.net/Kaiyuan_sjtu/article/details/90265473

3、ERNIE實(shí)戰(zhàn)指南

上面扯的都是務(wù)虛的，接下來(lái)我們務(wù)實(shí)地來(lái)看看ERNIE這個(gè)預(yù)訓(xùn)練模型的具體應(yīng)用。和BERT相比，ERNIE的使用更加簡(jiǎn)單，在之前介紹過(guò)的BERT模型實(shí)戰(zhàn)之多文本分類(lèi)（https://blog.csdn.net/Kaiyuan_sjtu/article/details/88709580）中，我們需要手動(dòng)改寫(xiě)一個(gè)適應(yīng)自己任務(wù)的Processor，而對(duì)于ERNIE來(lái)說(shuō)，簡(jiǎn)單到只需要三步：

把數(shù)據(jù)準(zhǔn)備成要求的格式（源碼中使用tsv格式，不過(guò)在bert中我們也說(shuō)過(guò)了，可以修改成各種格式的）

寫(xiě)一下訓(xùn)練腳本run_script.sh

跑腳本得到結(jié)果bashrun_script.sh

3.1 準(zhǔn)備工作

對(duì)于最近大火的預(yù)訓(xùn)練模型來(lái)說(shuō)，絕大多數(shù)我們是不太可能自己從頭開(kāi)始訓(xùn)練的，最多使用的是官方開(kāi)源的模型進(jìn)行特定任務(wù)的Finetune。所以第一步就是下載模型代碼（https://github.com/PaddlePaddle/ERNIE/tree/develop/ERNIE

）以及相應(yīng)的參數(shù)（https://baidu-nlp.bj.bcebos.com/ERNIE_stable-1.0.1.tar.gz）。

接下去就是準(zhǔn)備我們?nèi)蝿?wù)的數(shù)據(jù)，使其符合ERNIE模型輸入要求。一般來(lái)說(shuō)字段之間都是label和text_a用制表符分割，對(duì)于句對(duì)任務(wù)還需要額外的text_b字段。在后面我們會(huì)具體介紹每種任務(wù)的示例輸入。

ok，前面我們一直強(qiáng)調(diào)ERNIE是超友好上手超快的模型，下面我們結(jié)合實(shí)際任務(wù)來(lái)看一看到底有多簡(jiǎn)單~

3.2 情感分類(lèi)

情感分類(lèi)是屬于非常典型的NLP基礎(chǔ)任務(wù)之一，因?yàn)橹癇ERT寫(xiě)過(guò)文本分類(lèi)，所以這里我們就稍微換一換口味~這里我們只考慮最簡(jiǎn)單情況的情感分類(lèi)任務(wù)，即給定一個(gè)輸入句子，要求模型給出一個(gè)情感標(biāo)簽，可以是只有正負(fù)的二分類(lèi)，也可以是包括中性情感的三分類(lèi)。ok，我們來(lái)看看數(shù)據(jù)，網(wǎng)上隨便找了一個(gè)財(cái)經(jīng)新聞數(shù)據(jù)集，數(shù)據(jù)來(lái)源于雪球網(wǎng)上萬(wàn)得資訊發(fā)布的正負(fù)***題，數(shù)據(jù)集中包含17149條新聞數(shù)據(jù)，包括日期、公司、代碼、正/負(fù)面、標(biāo)題、正文6個(gè)字段，其中正面新聞12514條，負(fù)面新聞4635條。大概長(zhǎng)這樣：

處理成ERNIE分類(lèi)任務(wù)所需要的輸入，大概長(zhǎng)這樣：

將處理完成的數(shù)據(jù)和前面下載好的預(yù)訓(xùn)練模型參數(shù)放置到合適的位置，就可以開(kāi)始寫(xiě)我們跑模型的腳本文件了：

嗯，這樣一個(gè)任務(wù)就結(jié)束了…運(yùn)行腳本后等待輸出結(jié)果即可，是不是很簡(jiǎn)單~

當(dāng)然如果你還想玩點(diǎn)花樣的話(huà)，就可以多看看論文。比如復(fù)旦之前有一篇文章是在BERT的基礎(chǔ)上，將ABSA情感分類(lèi)的單句分類(lèi)任務(wù)轉(zhuǎn)變成了句子對(duì)的相似度匹配任務(wù)。簡(jiǎn)單來(lái)說(shuō)就是通過(guò)構(gòu)建輔助句子，把輸入這家餐館的鍋包肉超好吃變成了這家餐館的鍋包肉超好吃 + 菜品口感的情感是正的，論文表明這一trick是會(huì)比單句分類(lèi)的效果更好。更具體的細(xì)節(jié)可以參考論文：《UtilizingBERT for Aspect-Based Sentiment Analysis via Constructing Auxiliary Sentence》（https://www.aclweb.org/anthology/N19-1035）。

3.3 命名實(shí)體識(shí)別

命名實(shí)體識(shí)別也是NLP的一個(gè)基礎(chǔ)任務(wù)，之前在博客中也有過(guò)介紹：【論文筆記】命名實(shí)體識(shí)別論文（https://blog.csdn.net/Kaiyuan_sjtu/article/details/89143573）關(guān)于NER的處理思路也是跟上面情感分類(lèi)的大同小異，只不過(guò)NER是屬于序列標(biāo)注任務(wù)，在運(yùn)行腳本的時(shí)候注意使用源碼中的run_senquence_labeling.py。

4、有趣的ISSUE

Github上比源碼更有價(jià)值的是對(duì)應(yīng)的issue，一個(gè)好的開(kāi)源項(xiàng)目會(huì)吸引很多人的關(guān)注，issue區(qū)里會(huì)有很多有趣的思考，所以大家千萬(wàn)不要錯(cuò)過(guò)噢~下面就列幾個(gè)我覺(jué)得比較有意思的issue供大家參考。

4.1關(guān)于batch_size

https://github.com/PaddlePaddle/LARK/issues/4

剛打開(kāi)ERNIE腳本打算跑的同學(xué)可能會(huì)發(fā)現(xiàn)，它的batch_size竟然是8192，我的天哪（小岳岳臉），這不得炸！于是乎你非常機(jī)智地把batch_size改為了32，美滋滋地輸入bash script/pretrain.py，然后自信地敲下Enter鍵。嗯？？？報(bào)錯(cuò)？？？

報(bào)的什么錯(cuò)大家感興趣的自己去復(fù)現(xiàn)吧~

對(duì)，在pretrain的時(shí)候這里的batch_size指的是所有輸入token的總數(shù)，所以才會(huì)那么大~

4.2關(guān)于Mask機(jī)制的邏輯

https://github.com/PaddlePaddle/LARK/issues/33

正如我開(kāi)篇說(shuō)的，ERNIE的最大創(chuàng)新就是它的mask機(jī)制，這一點(diǎn)的代碼實(shí)現(xiàn)也在issue區(qū)被熱烈討論

4.3關(guān)于獲取輸入的中間向量表示

https://github.com/PaddlePaddle/LARK/issues/41

有時(shí)候我們會(huì)需要獲取句子Embedding 和 tokenEmbeddings，可參照下面的方案。

4.4 預(yù)測(cè)被masked的詞

https://github.com/PaddlePaddle/LARK/issues/135

將一個(gè)句子的某個(gè)詞語(yǔ)mask后，然后使用模型去預(yù)測(cè)這個(gè)詞語(yǔ)，得到候選詞和詞語(yǔ)的概率

4.5. ERNIE模型部署

飛槳（PaddlePaddle）模型的部署可以在官方說(shuō)明文檔中找到

https://www.paddlepaddle.org.cn/documentation/docs/zh/1.4/advanced_usage/deploy/inference/index_cn.html

5、Some Tips

最后一部分打算說(shuō)一下關(guān)于使用預(yù)訓(xùn)練模型的一些小tips：

學(xué)習(xí)率是第一種重要的參數(shù)，當(dāng)你開(kāi)始著手調(diào)參時(shí)優(yōu)先從學(xué)習(xí)率開(kāi)始。

根據(jù)你的任務(wù)來(lái)選擇預(yù)訓(xùn)練模型。每個(gè)模型的訓(xùn)練大規(guī)模語(yǔ)料是不一樣的，這就說(shuō)明了有些模型天生就是更加適用于某個(gè)領(lǐng)域。

所有的預(yù)訓(xùn)練模型為了在盡可能多的下游任務(wù)上取得較好的效果，所使用的訓(xùn)練語(yǔ)料的覆蓋范圍都是非常大的，但這也帶來(lái)了一個(gè)問(wèn)題----過(guò)于general。也就是說(shuō)如果你的任務(wù)所屬domain與訓(xùn)練語(yǔ)料的相差較大，比如關(guān)于醫(yī)學(xué)材料學(xué)之類(lèi)的領(lǐng)域，反而不容易取得好的效果。所以我們可以在特定領(lǐng)域下嘗試post-train預(yù)訓(xùn)練模型。

目前來(lái)說(shuō)，對(duì)于中文領(lǐng)域的NLP任務(wù)，可以?xún)?yōu)先選擇ERNIE。聽(tīng)小道消息說(shuō)，ERNIE 2.0快出來(lái)了，據(jù)說(shuō)效果很猛。

不要過(guò)分迷信預(yù)訓(xùn)練模型?。?！