序列數(shù)據(jù)和文本的深度學(xué)習(xí)

?用于構(gòu)建深度學(xué)習(xí)模型的不同文本數(shù)據(jù)表示法：
?理解遞歸神經(jīng)網(wǎng)絡(luò)及其不同實現(xiàn)，例如長短期記憶網(wǎng)絡(luò)（LSTM）和門控循環(huán)單元（Gated Recurrent Unit，GRU），它們?yōu)榇蠖鄶?shù)深度學(xué)習(xí)模型提供文本和序列化數(shù)據(jù)；
?為序列化數(shù)據(jù)使用一維卷積。
可以使用RNN構(gòu)建的一些應(yīng)用程序如下所示。
?文檔分類器：識別推文或評論的情感，對新聞文章進(jìn)行分類。
?序列到序列的學(xué)習(xí)：例如語言翻譯，將英語轉(zhuǎn)換成法語等任務(wù)。
?時間序列預(yù)測：根據(jù)前幾天商店銷售的詳細(xì)信息，預(yù)測商店未來的銷售情況。

1使用文本數(shù)據(jù)
文本是常用的序列化數(shù)據(jù)類型之一。文本數(shù)據(jù)可以看作是一個字符序列或詞的序列。對大多數(shù)問題，我們都將文本看作詞序列。深度學(xué)習(xí)序列模型（如RNN及其變體）能夠從文本數(shù)據(jù)中學(xué)習(xí)重要的模式。這些模式可以解決類似以下領(lǐng)域中的問題：
?自然語言理解；
?文獻(xiàn)分類；
?情感分類。
這些序列模型還可以作為各種系統(tǒng)的重要構(gòu)建塊，例如問答（Question and Answering，QA）系統(tǒng)。
雖然這些模型在構(gòu)建這些應(yīng)用時非常有用，但由于語言固有的復(fù)雜性，模型并不能真正理解人類的語言。這些序列模型能夠成功地找到可執(zhí)行不同任務(wù)的有用模式。將深度學(xué)習(xí)應(yīng)用于文本是一個快速發(fā)展的領(lǐng)域，每月都會有許多新技術(shù)出現(xiàn)。我們將會介紹為大多數(shù)現(xiàn)代深度學(xué)習(xí)應(yīng)用提供支持的基本組件。
與其他機(jī)器學(xué)習(xí)模型一樣，深度學(xué)習(xí)模型并不能理解文本，因此需要將文本轉(zhuǎn)換為數(shù)值的表示形式。將文本轉(zhuǎn)換為數(shù)值表示形式的過程稱為向量化過程，可以用不同的方式來完成，概括如下：
?將文本轉(zhuǎn)換為詞并將每個詞表示為向量；
?將文本轉(zhuǎn)換為字符并將每個字符表示為向量；
?創(chuàng)建詞的n-gram并將其表示為向量。
文本數(shù)據(jù)可以分解成上述的這些表示。每個較小的文本單元稱為token，將文本分解成token的過程稱為分詞（tokenization）。在Python中有很多強(qiáng)大的庫可以用來進(jìn)行分詞。一旦將文本數(shù)據(jù)轉(zhuǎn)換為token序列，那么就需要將每個token映射到向量。one-hot（獨熱）編碼和詞向量是將token映射到向量最流行的兩種方法。圖6.1總結(jié)了將文本轉(zhuǎn)換為向量表示的步驟。

圖6.1
下面介紹分詞、n-gram表示法和向量化的更多細(xì)節(jié)。
6.1.1分詞
將給定的一個句子分為字符或詞的過程稱為分詞。諸如spaCy等一些庫，它們?yōu)榉衷~提供了復(fù)雜的解決方案。讓我們使用簡單的Python函數(shù)（如split和list）將文本轉(zhuǎn)換為token。
為了演示分詞如何作用于字符和詞，讓我們看一段關(guān)于電影Thor:Ragnarok的小評論。我們將對這段文本進(jìn)行分詞處理：
The action scenes were top notch in this movie. Thor has never been this epic in the MCU.He does some pretty epic sh*t in this movie and he is definitely not under-powered anymore.Thor in unleashed in this, I love that.
1．將文本轉(zhuǎn)換為字符
Python的list函數(shù)接受一個字符串并將其轉(zhuǎn)換為單個字符的列表。這樣做就將文本轉(zhuǎn)換為了字符。下面是使用的代碼和結(jié)果：
以下是結(jié)果：
結(jié)果展示了簡單的Python函數(shù)如何將文本轉(zhuǎn)換為token。
2．將文本轉(zhuǎn)換為詞
我們將使用Python字符串對象函數(shù)中的split函數(shù)將文本分解為詞。split函數(shù)接受一個參數(shù)，并根據(jù)該參數(shù)將文本拆分為token。在我們的示例中將使用空格作為分隔符。以下代碼段演示了如何使用Python的split函數(shù)將文本轉(zhuǎn)換為詞：
在前面的代碼中，我們沒有使用任何的分隔符，默認(rèn)情況下，split函數(shù)使用空格來分隔。
3．n-gram表示法
我們已經(jīng)看到文本是如何表示為字符和詞的。有時一起查看兩個、三個或更多的單詞非常有用。n-gram是從給定文本中提取的一組詞。在n-gram中，n表示可以一起使用的詞的數(shù)量?？匆幌耣igram（當(dāng)n= 2時）的例子，我們使用Python的nltk包為thor_review生成一個bigram，以下代碼塊顯示了bigram的結(jié)果以及用于生成它的代碼：
ngrams函數(shù)接受一個詞序列作為第一個參數(shù)，并將組中詞的個數(shù)作為第二個參數(shù)。以下代碼塊顯示了trigram表示的結(jié)果以及用于實現(xiàn)它的代碼：
在上述代碼中唯一改變的只有函數(shù)的第二個參數(shù)n的值。
許多有監(jiān)督的機(jī)器學(xué)習(xí)模型，例如樸素貝葉斯（Naive Bayes），都是使用n-gram來改善它的特征空間。n-gram同樣也可用于拼寫校正和文本摘要的任務(wù)。
n-gram表示法的一個問題在于它失去了文本的順序性。通常它是和淺層機(jī)器學(xué)習(xí)模型一起使用的。這種技術(shù)很少用于深度學(xué)習(xí)，因為RNN和Conv1D等架構(gòu)會自動學(xué)習(xí)這些表示法。
6.1.2向量化
將生成的token映射到數(shù)字向量有兩種流行的方法，稱為獨熱編碼和詞向量（word embedding，也稱之為詞嵌入）。讓我們通過編寫一個簡單的Python程序來理解如何將token轉(zhuǎn)換為這些向量表示。我們還將討論每種方法的各種優(yōu)缺點。
1．獨熱編碼
在獨熱編碼中，每個token都由長度為N的向量表示，其中N是詞表的大小。詞表是文檔中唯一詞的總數(shù)。讓我們用一個簡單的句子來觀察每個token是如何表示為獨熱編碼的向量的。下面是句子及其相關(guān)的token表示：
An apple a day keeps doctor away said the doctor.
上面句子的獨熱編碼可以用表格形式進(jìn)行表示，如下所示。
An 100000000
apple 010000000
a 001000000
day 000100000
keeps 000010000
doctor 000001000
away 000000100
said 000000010
the 000000001
該表描述了token及其獨熱編碼的表示。因為句子中有9個唯一的單詞，所以這里的向量長度為9。許多機(jī)器學(xué)習(xí)庫已經(jīng)簡化了創(chuàng)建獨熱編碼變量的過程。我們將編寫自己的代碼來實現(xiàn)這個過程以便更易于理解，并且我們可以使用相同的實現(xiàn)來構(gòu)建后續(xù)示例所需的其他功能。以下代碼包含Dictionary類，這個類包含了創(chuàng)建唯一詞詞表的功能，以及為特定詞返回其獨熱編碼向量的函數(shù)。讓我們來看代碼，然后詳解每個功能：
上述代碼提供了3個重要功能。
?初始化函數(shù)__init__創(chuàng)建一個word2idx字典，它將所有唯一詞與索引一起存儲。idx2word列表存儲的是所有唯一詞，而length變量則是文檔中唯一詞的總數(shù)。
?在詞是唯一的前提下，add_word函數(shù)接受一個單詞，并將它添加到word2idx和idx2word中，同時增加詞表的長度。
?onehot_encoded函數(shù)接受一個詞并返回一個長度為N，除當(dāng)前詞的索引外其余位置全為0的向量。比如傳如的單詞的索引是2，那么向量在索引2處的值是1，其他索引處的值全為0。
在定義好了Dictionary類后，準(zhǔn)備在thor_review數(shù)據(jù)上使用它。以下代碼演示了如何構(gòu)建word2idx以及如何調(diào)用onehot_encoded函數(shù)：
上述代碼的輸出如下：
單詞were的獨熱編碼如下所示：
獨熱表示的問題之一就是數(shù)據(jù)太稀疏了，并且隨著詞表中唯一詞數(shù)量的增加，向量的大小迅速增加，這也是它的一種限制，因此獨熱很少在深度學(xué)習(xí)中使用。
2．詞向量
詞向量是在深度學(xué)習(xí)算法所解決的問題中，一種非常流行的用于表示文本數(shù)據(jù)的方式。詞向量提供了一種用浮點數(shù)填充的詞的密集表示。向量的維度根據(jù)詞表的大小而變化。通常使用維度大小為50、100、256、300，有時為1000的詞向量。這里的維度大小是在訓(xùn)練階段需要使用的超參數(shù)。
如果試圖用獨熱表示法來表示大小為20000的詞表，那么將得到20000×20000個數(shù)字，并且其中大部分都為0。同樣的詞表可以用詞向量表示為20000×維度大小，其中維度的大小可以是10、50、300等。
一種方法是為每個包含隨機(jī)數(shù)字的token從密集向量開始創(chuàng)建詞向量，然后訓(xùn)練諸如文檔分類器或情感分類器的模型。表示token的浮點數(shù)以一種可以使語義上更接近的單詞具有相似表示的方式進(jìn)行調(diào)整。為了理解這一點，我們來看看圖6.2，它畫出了基于5部電影的二維點圖的詞向量。

圖6.2
圖6.2顯示了如何調(diào)整密集向量，以使其在語義上相似的單詞具有較小的距離。由于Superman、Thor和Batman等電影都是基于漫畫的動作電影，所以這些電影的向量更為接近，而電影Titanic的向量離動作電影較遠(yuǎn)，離電影Notebook更近，因為它們都是浪漫型電影。
在數(shù)據(jù)太少時學(xué)習(xí)詞向量可能是行不通的，在這種情況下，可以使用由其他機(jī)器學(xué)習(xí)算法訓(xùn)練好的詞向量。由另一個任務(wù)生成的向量稱為預(yù)訓(xùn)練詞向量。下面將學(xué)習(xí)如何構(gòu)建自己的詞向量以及使用預(yù)訓(xùn)練詞向量。

審核編輯 黃昊宇