目 錄
第 1 部分 自然語(yǔ)言處理基礎(chǔ)
第 1 章 緒論 2
1.1 自然語(yǔ)言處理綜述 3
1.1.1 自然語(yǔ)言處理的基本概念 3
1.1.2 自然語(yǔ)言處理的發(fā)展歷程 4
1.1.3 自然語(yǔ)言處理的研究?jī)?nèi)容 5
1.1.4 自然語(yǔ)言處理的挑戰(zhàn)與發(fā)展趨勢(shì) 7
1.2 文本處理技能 9
1.2.1 字符串處理 9
1.2.2 中文分詞及案例實(shí)現(xiàn) 11
1.3 文本數(shù)據(jù)處理 13
1.3.1 文本操作基礎(chǔ) 13
1.3.2 案例實(shí)現(xiàn)——文本數(shù)據(jù)統(tǒng)計(jì) 15
1.3.3 案例實(shí)現(xiàn)——詞云生成 17
本章總結(jié) 19
作業(yè)與練習(xí) 19
第 2 章 詞向量技術(shù) 21
2.1 詞向量概述 22
2.1.1 詞向量基礎(chǔ) 22
2.1.2 詞向量表示的問(wèn)題 22
2.2 詞向量離散表示 23
2.2.1 獨(dú)熱編碼 23
2.2.2 詞袋模型 24
2.2.3 詞頻-逆文本頻率 25
2.2.4 案例實(shí)現(xiàn)——文本離散表示 25
2.3 詞向量分布表示 29
2.3.1 神經(jīng)網(wǎng)絡(luò)語(yǔ)言模型 29
2.3.2 Word2vec 模型 31
2.3.3 案例實(shí)現(xiàn)——中文詞向量訓(xùn)練 33
本章總結(jié) 39
作業(yè)與練習(xí) 39
第 3 章 關(guān)鍵詞提取 41
3.1 關(guān)鍵詞提取概述 42
3.1.1 關(guān)鍵詞提取基礎(chǔ) 42
3.1.2 基于 TF-IDF 的關(guān)鍵詞提取 42
3.1.3 基于 TextRank 的關(guān)鍵詞提取 43
3.1.4 基于 Word2vec 詞聚類(lèi)的關(guān)鍵詞提取 43
3.2 關(guān)鍵詞提取的實(shí)現(xiàn) 44
3.2.1 案例介紹 44
3.2.2 案例實(shí)現(xiàn)——關(guān)鍵詞提取綜合案例 45
本章總結(jié) 57
作業(yè)與練習(xí) 57
第 2 部分 自然語(yǔ)言處理核心技術(shù)
第 4 章 樸素貝葉斯中文分類(lèi) 60 4.1 樸素貝葉斯分類(lèi)算法概述 60
4.1.1 概率基礎(chǔ) 60
4.1.2 樸素貝葉斯分類(lèi)器 62
4.2 機(jī)器學(xué)習(xí)庫(kù) sklearn 64
4.2.1 sklearn 獲取數(shù)據(jù) 64
4.2.2 sklearn 數(shù)據(jù)預(yù)處理 64
4.2.3 sklearn 構(gòu)建模型 65
4.3 案例實(shí)現(xiàn)——樸素貝葉斯中文分類(lèi) 65
本章總結(jié) 71
作業(yè)與練習(xí) 72
第 5 章 N-gram 語(yǔ)言模型 73
5.1 N-gram 概述 73
5.1.1 N-gram 語(yǔ)言模型簡(jiǎn)介 73
5.1.2 N-gram 概率計(jì)算 74
5.1.3 案例——N-gram 的實(shí)現(xiàn) 75
5.2 案例實(shí)現(xiàn)——基于 N-gram 的新聞文本預(yù)測(cè) 77
本章總結(jié) 84
作業(yè)與練習(xí) 84
第 6 章 PyTorch 深度學(xué)習(xí)框架 85
6.1 PyTorch 基礎(chǔ) 85
6.1.1 PyTorch 的介紹與安裝 85
6.1.2 PyTorch 入門(mén)使用 87
6.1.3 梯度下降與反向傳播 92
6.1.4 案例——使用 PyTorch 實(shí)現(xiàn)線性回歸 95
6.2 PyTorch 數(shù)據(jù)加載 99
6.2.1 使用數(shù)據(jù)加載器的目的 99
6.2.2 DataSet 的使用方法 99
6.2.3 DataLoader 的使用方法 100
6.3 PyTorch 自帶數(shù)據(jù)集加載 101
本章總結(jié) 102
作業(yè)與練習(xí) 102
第 7 章 FastText 模型文本分類(lèi) 104
7.1 FastText 模型簡(jiǎn)介 104
7.1.1 FastText 模型原理 104
7.1.2 FastText 模型結(jié)構(gòu) 105
7.1.3 FastText 模型優(yōu)化 105
7.2 案例實(shí)現(xiàn)——FastText 模型文本分類(lèi) 106
本章總結(jié) 118
作業(yè)與練習(xí) 118
第 8 章 基于深度學(xué)習(xí)的文本分類(lèi) 119
8.1 基于 TextCNN 的文本分類(lèi) 119
8.1.1 卷積神經(jīng)網(wǎng)絡(luò) 119
8.1.2 TextCNN 的原理 121
8.2 基于 TextRNN 的文本分類(lèi) 122
8.2.1 LSTM 原理 122
8.2.2 LSTM 網(wǎng)絡(luò)結(jié)構(gòu) 123
8.3 基于 TextRCNN 的文本分類(lèi) 124
8.3.1 TextRCNN 原理 124
8.3.2 TextRCNN 網(wǎng)絡(luò)結(jié)構(gòu) 125
8.4 案例實(shí)現(xiàn)——基于深度學(xué)習(xí)的文本分類(lèi) 126
本章總結(jié) 146
作業(yè)與練習(xí) 146
第 3 部分 序列標(biāo)注
第 9 章 HMM 的詞性標(biāo)注 148
9.1 詞性標(biāo)注簡(jiǎn)介 149
9.1.1 詞性標(biāo)注的基本概念 149
9.1.2 中文詞性的分類(lèi)及作用 149
9.1.3 詞性標(biāo)注體系 150
9.2 HMM 詞性標(biāo)注的原理和基本問(wèn)題 151
9.2.1 HMM 詞性標(biāo)注的原理 151
9.2.2 HMM 的基本問(wèn)題 151
9.3 案例實(shí)現(xiàn)——HMM 的中文詞性標(biāo)注 152
本章總結(jié) 158
作業(yè)與練習(xí) 158
第 10 章 HMM 的命名實(shí)體識(shí)別 159
10.1 命名實(shí)體識(shí)別 160
10.1.1 命名實(shí)體識(shí)別的概念 160
10.1.2 NER 的標(biāo)注方法 160
10.2 NER 的 HMM 162
10.3 案例實(shí)現(xiàn)——HMM 的中文命名實(shí)體識(shí)別 162
本章總結(jié) 175
作業(yè)與練習(xí) 175
第 11 章 BiLSTM-CRF 的命名實(shí)體識(shí)別 176
11.1 CRF 簡(jiǎn)介 177
11.1.1 CRF 的基本概念 177
11.1.2 BiLSTM 的命名實(shí)體識(shí)別 177
11.1.3 CRF 的命名實(shí)體識(shí)別 178
11.2 BiLSTM-CRF 的原理 179
11.3 案例實(shí)現(xiàn)——BiLSTM-CRF 的中文命名實(shí)體識(shí)別 180
本章總結(jié) 189
作業(yè)與練習(xí) 189
第 4 部分 預(yù)訓(xùn)練模型
第 12 章 ALBERT 的命名實(shí)體識(shí)別 192
12.1 預(yù)訓(xùn)練模型簡(jiǎn)介 193
12.1.1 預(yù)訓(xùn)練模型的基本概念 193
12.1.2 經(jīng)典的預(yù)訓(xùn)練模型 193
12.2 預(yù)訓(xùn)練模型 Hugging Face 195
12.2.1 Hugging Face 簡(jiǎn)介 195
12.2.2 案例實(shí)現(xiàn)——使用 Hugging Face完成情感分析 196
12.3 案例實(shí)現(xiàn)——ALBERT 的中文命名實(shí)體識(shí)別 198
本章總結(jié) 207
作業(yè)與練習(xí) 207
第 13 章 Transformer 的文本分類(lèi) 209
13.1 Transformer 概述 210
13.1.1 Encoder-Decoder 模型 210
13.1.2 Transformer 簡(jiǎn)介 210
13.1.3 Transformer 總體結(jié)構(gòu) 211
13.2 Self-Attention 機(jī)制 213
13.2.1 Self-Attention 機(jī)制的原理 213
13.2.2 Self-Attention 的計(jì)算過(guò)程 214
13.2.3 位置編碼和 Layer Normalization 215
13.3 案例實(shí)現(xiàn)——Transformer 的文本分類(lèi) 217
本章總結(jié) 234
作業(yè)與練習(xí) 234
第 14 章 BERT 的文本相似度計(jì)算 236
14.1 文本相似度簡(jiǎn)介 237
14.1.1 文本相似度的應(yīng)用場(chǎng)景 237
14.1.2 文本相似度計(jì)算的方法 237
14.2 BERT 的文本相似度簡(jiǎn)介 238
14.3 案例實(shí)現(xiàn)——BERT 的文本相似度計(jì)算 239
本章總結(jié) 251
作業(yè)與練習(xí) 251
第 15 章 ERNIE 的情感分析 253
15.1 情感分析簡(jiǎn)介 254
15.1.1 情感分析的基本概念 254
15.1.2 情感分析的方法 254
15.2 ERNIE 簡(jiǎn)介 255
15.3 案例實(shí)現(xiàn)——ERNIE 的中文情感分析 257
本章總結(jié) 271
作業(yè)與練習(xí) 272