NLP方向近日各種大神工具層出不窮。然而,實(shí)踐才是硬道理,如何將它們應(yīng)用到自己的模型是個(gè)關(guān)鍵問題。本文就對(duì)此問題進(jìn)行了介紹。
近期的NLP方向,ELMO、GPT、BERT、Transformer-XL、GPT-2,各種預(yù)訓(xùn)練語言模型層出不窮,這些模型在各種NLP任務(wù)上一次又一次刷新上線,令人心馳神往。但是當(dāng)小編翻開他們的paper,每一個(gè)上面都寫著四個(gè)大字:“弱者退散”,到底該怎么將這些頂尖工具用到我的模型里呢?答案是Hugging Face的大神們開源的pytorch-pretrained-BERT。
Github 地址:
https://github.com/huggingface/pytorch-pretrained-BERT
模型簡(jiǎn)介
近期的各種預(yù)訓(xùn)練語言模型,橫掃各種NLP任務(wù),這里我們介紹三個(gè)最火的預(yù)訓(xùn)練模型:
BERT,由Google AI團(tuán)隊(duì),發(fā)表于2018年10月11日。它的文章是:BERT: Pre-training of Deep Bidirectional Transformers for Language Understanding。
Transformer-XL, 由Google AI和Carnegie Mellon大學(xué),發(fā)表于2019年1月9日。它的文章是:Transformer-XL: Attentive Language Models Beyond a Fixed-Length Context。
GPT-2,由OpenAI 團(tuán)隊(duì),發(fā)表于2019年2月14日,它的文章是:Language Models are Unsupervised Multitask Learners。
基本上,每一個(gè)文章,都在發(fā)表的時(shí)候,刷新當(dāng)時(shí)的幾乎所有NLP任務(wù)的State-of-the-Art,然后引發(fā)一波熱潮。 當(dāng)然,目前風(fēng)頭正盛的是GPT-2,它前幾天剛發(fā)表。
開源實(shí)現(xiàn)
然而,讓小編翻開他們的paper,發(fā)現(xiàn)每一個(gè)上面都寫著四個(gè)大字:“弱者退散”,到底該怎么將這些頂尖工具用到我的模型里呢,Hugging Face 的大神們,緊跟前沿,將所有的預(yù)訓(xùn)練語言模型都實(shí)現(xiàn)并開源了。更令人欽佩的是,它們還做了很多封裝,讓大家都可以才在這些巨人模型的肩膀上。
Hugging Face開源的庫叫pytorch-pretained-bert, 你可以在本文開頭找到鏈接。接下來的部分,我們介紹一下它的安裝和使用。
安裝使用
你可以直接使用 Pip install 來安裝它:
pip install pytorch-pretrained-bert
pytorch-pretrained-bert 內(nèi) BERT,GPT,Transformer-XL,GPT-2。
為了獲取一句話的BERT表示,我們可以:
拿到表示之后,我們可以在后面,接上自己的模型,比如NER。
我們也可以獲取GPT的表示:
Transformer-XL表示:
以及,非?;鸬?,GPT-2的表示:
有了這些表示,我們可以在后面,接入自己的模型,比如:
文本分類
https://github.com/huggingface/pytorch-pretrained-BERT/blob/master/examples/run_classifier.py
閱讀理解
https://github.com/huggingface/pytorch-pretrained-BERT/blob/master/examples/run_squad.py
語言模型
https://github.com/huggingface/pytorch-pretrained-BERT/blob/master/examples/run_lm_finetuning.py
等等
-
開源
+關(guān)注
關(guān)注
3文章
3190瀏覽量
42257 -
語言模型
+關(guān)注
關(guān)注
0文章
492瀏覽量
10230 -
nlp
+關(guān)注
關(guān)注
1文章
483瀏覽量
21978
原文標(biāo)題:BERT、GPT-2這些頂尖工具到底該怎么用到我的模型里?
文章出處:【微信號(hào):AI_era,微信公眾號(hào):新智元】歡迎添加關(guān)注!文章轉(zhuǎn)載請(qǐng)注明出處。
發(fā)布評(píng)論請(qǐng)先 登錄
相關(guān)推薦
評(píng)論