第 一部分 人工智能基礎(chǔ)
第 1 章 緒論 2
1.1 什么是人工智能 2
1.1.1 類(lèi)人行為：圖靈測(cè)試方法 3
1.1.2 類(lèi)人思考：認(rèn)知建模方法 3
1.1.3 理性思考：思維法則方法 4
1.1.4 理性行為：理性智能體方法 4
1.1.5 益機(jī) 5
1.2 人工智能的基礎(chǔ) 6
1.2.1 哲學(xué) 6
1.2.2 數(shù)學(xué) 8
1.2.3 經(jīng)濟(jì)學(xué) 9
1.2.4 神經(jīng)科學(xué) 10
1.2.5 心理學(xué) 12
1.2.6 計(jì)算機(jī)工程 13
1.2.7 控制理論與控制論 14
1.2.8 語(yǔ)言學(xué) 15
1.3 人工智能的歷史 16
1.3.1 人工智能的誕生（19431956） 16
1.3.2 早期熱情高漲，期望無(wú)限（19521969） 17
1.3.3 一些現(xiàn)實(shí)（19661973） 19
1.3.4 專家系統(tǒng)（19691986） 20
1.3.5 神經(jīng)網(wǎng)絡(luò)的回歸（1986現(xiàn)在） 22
1.3.6 概率推理和機(jī)器學(xué)習(xí)（1987現(xiàn)在） 22
1.3.7 大數(shù)據(jù)（2001現(xiàn)在） 23
1.3.8 深度學(xué)習(xí)（2011現(xiàn)在） 24
1.4 目前的先進(jìn)技術(shù) 24
1.5 人工智能的風(fēng)險(xiǎn)和收益 27
小結(jié) 30
參考文獻(xiàn)與歷史注釋 31
第 2 章 智能體 32
2.1 智能體和環(huán)境 32
2.2 良好行為：理性的概念 34
2.2.1 性能度量 34
2.2.2 理性 35
2.2.3 全知、學(xué)習(xí)和自主 36
2.3 環(huán)境的本質(zhì) 37
2.3.1 指定任務(wù)環(huán)境 37
2.3.2 任務(wù)環(huán)境的屬性 38
2.4 智能體的結(jié)構(gòu) 41
2.4.1 智能體程序 41
2.4.2 簡(jiǎn)單反射型智能體 42
2.4.3 基于模型的反射型智能體 44
2.4.4 基于目標(biāo)的智能體 45
2.4.5 基于效用的智能體 46
2.4.6 學(xué)習(xí)型智能體 47
2.4.7 智能體程序的組件如何工作 49
小結(jié) 50
參考文獻(xiàn)與歷史注釋 51
第二部分 問(wèn)題求解
第 3 章 通過(guò)搜索進(jìn)行問(wèn)題求解 54
3.1 問(wèn)題求解智能體 54
3.1.1 搜索問(wèn)題和解 55
3.1.2 問(wèn)題形式化 56
3.2 問(wèn)題示例 57
3.2.1 標(biāo)準(zhǔn)化問(wèn)題 57
3.2.2 真實(shí)世界問(wèn)題 59
3.3 搜索算法 61
3.3.1 最佳優(yōu)先搜索 62
3.3.2 搜索數(shù)據(jù)結(jié)構(gòu) 63
3.3.3 冗余路徑 64
3.3.4 問(wèn)題求解性能評(píng)估 65
3.4 無(wú)信息搜索策略 65
3.4.1 廣度優(yōu)先搜索 66
3.4.2 Dijkstra 算法或一致代價(jià)搜索 67
3.4.3 深度優(yōu)先搜索與內(nèi)存問(wèn)題 68
3.4.4 深度受限和迭代加深搜索 69
3.4.5 雙向搜索 712
3.4.6 無(wú)信息搜索算法對(duì)比 72
3.5 有信息（啟發(fā)式）搜索策略 73
3.5.1 貪心最佳優(yōu)先搜索 73
3.5.2 A* 搜索 75
3.5.3 搜索等值線 77
3.5.4 滿意搜索：不可容許的啟發(fā)式
函數(shù)與加權(quán) A* 搜索 79
3.5.5 內(nèi)存受限搜索 80
3.5.6 雙向啟發(fā)式搜索 83
3.6 啟發(fā)式函數(shù) 85
3.6.1 啟發(fā)式函數(shù)的準(zhǔn)確性對(duì)性能的影響 85
3.6.2 從松弛問(wèn)題出發(fā)生成啟發(fā)式函數(shù) 86
3.6.3 從子問(wèn)題出發(fā)生成啟發(fā)式函數(shù)：模式數(shù)據(jù)庫(kù) 87
3.6.4 使用地標(biāo)生成啟發(fā)式函數(shù) 88
3.6.5 學(xué)習(xí)以更好地搜索 90
3.6.6 從經(jīng)驗(yàn)中學(xué)習(xí)啟發(fā)式函數(shù) 90
小結(jié) 90
參考文獻(xiàn)與歷史注釋 92
第 4 章 復(fù)雜環(huán)境中的搜索 95
4.1 局部搜索和最優(yōu)化問(wèn)題 95
4.1.1 爬山搜索 96
4.1.2 模擬退火 98
4.1.3 局部束搜索 99
4.1.4 進(jìn)化算法 99
4.2 連續(xù)空間中的局部搜索 102
4.3 使用非確定性動(dòng)作的搜索 104
4.3.1 不穩(wěn)定的真空吸塵器世界 105
4.3.2 與或搜索樹(shù) 106
4.3.3 反復(fù)嘗試 107
4.4 部分可觀測(cè)環(huán)境中的搜索 108
4.4.1 無(wú)觀測(cè)信息的搜索 108
4.4.2 部分可觀測(cè)環(huán)境中的搜索 111
4.4.3 求解部分可觀測(cè)問(wèn)題 112
4.4.4 部分可觀測(cè)環(huán)境中的智能體 113
4.5 在線搜索智能體和未知環(huán)境 115
4.5.1 在線搜索問(wèn)題 115
4.5.2 在線搜索智能體 117
4.5.3 在線局部搜索 118
4.5.4 在線搜索中的學(xué)習(xí) 119
小結(jié) 120
參考文獻(xiàn)與歷史注釋 121
第 5 章 對(duì)抗搜索和博弈 124
5.1 博弈論 124
5.2 博弈中的優(yōu)化決策 126
5.2.1 極小化極大搜索算法 127
5.2.2 多人博弈中的最優(yōu)決策 128
5.2.3 - 剪枝 129
5.2.4 移動(dòng)順序 131
5.3 啟發(fā)式 - 樹(shù)搜索 132
5.3.1 評(píng)價(jià)函數(shù) 132
5.3.2 截?cái)嗨阉?134
5.3.3 前向剪枝 135
5.3.4 搜索和查表 136
5.4 蒙特卡羅樹(shù)搜索 136
5.5 隨機(jī)博弈 139
5.6 部分可觀測(cè)博弈 142
5.6.1 四國(guó)軍棋：部分可觀測(cè)的國(guó)際象棋 142
5.6.2 紙牌游戲 144
5.7 博弈搜索算法的局限性 146
小結(jié) 147
參考文獻(xiàn)與歷史注釋 148
第 6 章 約束滿足問(wèn)題 152
6.1 定義約束滿足問(wèn)題 152
6.1.1 問(wèn)題示例：地圖著色 153
6.1.2 問(wèn)題示例：車(chē)間作業(yè)調(diào)度 154
6.1.3 CSP 形式體系的變體 155
6.2 約束傳播：CSP 中的推斷 156
6.2.1 節(jié)點(diǎn)一致性 157
6.2.2 弧一致性 157
6.2.3 路徑一致性 158
6.2.4 k 一致性 158
6.2.5 全局約束 159
6.2.6 數(shù)獨(dú) 160
6.3 CSP 的回溯搜索 161
6.3.1 變量排序和值排序 163
6.3.2 交替進(jìn)行搜索和推理 164
6.3.3 智能回溯：向后看 164
6.3.4 約束學(xué)習(xí) 166
6.4 CSP 的局部搜索 166
6.5 問(wèn)題的結(jié)構(gòu) 168
6.5.1 割集調(diào)整 169
6.5.2 樹(shù)分解 170
6.5.3 值對(duì)稱 171
小結(jié) 171
參考文獻(xiàn)與歷史注釋 172
第三部分 知識(shí)、推理和規(guī)劃
第 7 章 邏輯智能體 176
7.1 基于知識(shí)的智能體 176
7.2 wumpus 世界 178
7.3 邏輯 180
7.4 命題邏輯：一種非常簡(jiǎn)單的邏輯 183
7.4.1 語(yǔ)法 183
7.4.2 語(yǔ)義 184
7.4.3 一個(gè)簡(jiǎn)單的知識(shí)庫(kù) 185
7.4.4 一個(gè)簡(jiǎn)單的推斷過(guò)程 186
7.5 命題定理證明 187
7.5.1 推斷與證明 188
7.5.2 通過(guò)歸結(jié)證明 190
7.5.3 霍恩子句與確定子句 194
7.5.4 前向鏈接與反向鏈接 194
7.6 高效命題模型檢驗(yàn) 196
7.6.1 完備的回溯算法 196
7.6.2 局部搜索算法 198
7.6.3 隨機(jī) SAT 問(wèn)題概覽 199
7.7 基于命題邏輯的智能體 200
7.7.1 世界的當(dāng)前狀態(tài) 200
7.7.2 混合智能體 203
7.7.3 邏輯狀態(tài)估計(jì) 204
7.7.4 用命題推斷進(jìn)行規(guī)劃 205
小結(jié) 207
參考文獻(xiàn)與歷史注釋 208
第 8 章 一階邏輯 211
8.1 回顧表示 211
8.1.1 思想的語(yǔ)言 212
8.1.2 結(jié)合形式語(yǔ)言和自然語(yǔ)言的優(yōu)點(diǎn) 213
8.2 一階邏輯的語(yǔ)法和語(yǔ)義 215
8.2.1 一階邏輯模型 215
8.2.2 符號(hào)與解釋 216
8.2.3 項(xiàng) 218
8.2.4 原子語(yǔ)句 218
8.2.5 復(fù)合語(yǔ)句 218
8.2.6 量詞 219
8.2.7 等詞 222
8.2.8 數(shù)據(jù)庫(kù)語(yǔ)義 222
8.3 使用一階邏輯 223
8.3.1 一階邏輯的斷言與查詢 223
8.3.2 親屬關(guān)系論域 224
8.3.3 數(shù)、集合與列表 225
8.3.4 wumpus 世界 227
8.4 一階邏輯中的知識(shí)工程 228
8.4.1 知識(shí)工程的過(guò)程 229
8.4.2 電子電路論域 230
小結(jié) 233
參考文獻(xiàn)與歷史注釋 234
第 9 章 一階邏輯中的推斷 236
9.1 命題推斷與一階推斷 236
9.2 合一與一階推斷 238
9.2.1 合一 239
9.2.2 存儲(chǔ)與檢索 240
9.3 前向鏈接 241
9.3.1 一階確定子句 242
9.3.2 簡(jiǎn)單的前向鏈接算法 242
9.3.3 高效前向鏈接 244
9.4 反向鏈接 247
9.4.1 反向鏈接算法 247
9.4.2 邏輯編程 248
9.4.3 冗余推斷和無(wú)限循環(huán) 249
9.4.4 Prolog 的數(shù)據(jù)庫(kù)語(yǔ)義 251
9.4.5 約束邏輯編程 251
9.5 歸結(jié) 252
9.5.1 一階邏輯的合取范式 252
9.5.2 歸結(jié)推斷規(guī)則 253
9.5.3 證明范例 254
9.5.4 歸結(jié)的完備性 256
9.5.5 等詞 258
9.5.6 歸結(jié)策略 260
小結(jié) 261
參考文獻(xiàn)與歷史注釋 262
第 10 章 知識(shí)表示 265
10.1 本體論工程 265
10.2 類(lèi)別與對(duì)象 267
10.2.1 物理組成 268
10.2.2 量度 269
10.2.3 對(duì)象：事物和物質(zhì) 271
10.3 事件 272
10.3.1 時(shí)間 273
10.3.2 流和對(duì)象 275
10.4 精神對(duì)象和模態(tài)邏輯 275
10.5 類(lèi)別的推理系統(tǒng) 278
10.5.1 語(yǔ)義網(wǎng)絡(luò) 278
10.5.2 描述邏輯 280
10.6 用缺省信息推理 281
10.6.1 限定與缺省邏輯 281
10.6.2 真值維護(hù)系統(tǒng) 283
小結(jié) 284
參考文獻(xiàn)與歷史注釋 285
第 11 章 自動(dòng)規(guī)劃 290
11.1 經(jīng)典規(guī)劃的定義 290
11.1.1 范例領(lǐng)域：航空貨物運(yùn)輸 291
11.1.2 范例領(lǐng)域：備用輪胎問(wèn)題 292
11.1.3 范例領(lǐng)域：積木世界 292
11.2 經(jīng)典規(guī)劃的算法 294
11.2.1 規(guī)劃的前向狀態(tài)空間搜索 294
11.2.2 規(guī)劃的反向狀態(tài)空間搜索 295
11.2.3 使用布爾可滿足性規(guī)劃 296
11.2.4 其他經(jīng)典規(guī)劃方法 296
11.3 規(guī)劃的啟發(fā)式方法 297
11.3.1 領(lǐng)域無(wú)關(guān)剪枝 299
11.3.2 規(guī)劃中的狀態(tài)抽象 300
11.4 分層規(guī)劃 300
11.4.1 高層動(dòng)作 301
11.4.2 搜索基元解 302
11.4.3 搜索抽象解 303
11.5 非確定性域的規(guī)劃和行動(dòng) 307
11.5.1 無(wú)傳感器規(guī)劃 309
11.5.2 應(yīng)變規(guī)劃 312
11.5.3 在線規(guī)劃 313
11.6 時(shí)間、調(diào)度和資源 315
11.6.1 時(shí)間約束和資源約束的表示 315
11.6.2 解決調(diào)度問(wèn)題 316
11.7 規(guī)劃方法分析 318
小結(jié) 319
參考文獻(xiàn)與歷史注釋 320
第四部分 不確定知識(shí)和不確定推理
第 12 章 不確定性的量化 326
12.1 不確定性下的動(dòng)作 326
12.1.1 不確定性概述 327
12.1.2 不確定性與理性決策 328
12.2 基本概率記號(hào) 329
12.2.1 概率是關(guān)于什么的 329
12.2.2 概率斷言中的命題語(yǔ)言 330
12.2.3 概率公理及其合理性 333
12.3 使用完全聯(lián)合分布進(jìn)行推斷 334
12.4 獨(dú)立性 336
12.5 貝葉斯法則及其應(yīng)用 337
12.5.1 應(yīng)用貝葉斯法則：簡(jiǎn)單實(shí)例 338
12.5.2 應(yīng)用貝葉斯法則：合并證據(jù) 339
12.6 樸素貝葉斯模型 340
12.7 重游 wumpus 世界 342
小結(jié) 344
參考文獻(xiàn)與歷史注釋 345
第 13 章 概率推理 348
13.1 不確定域的知識(shí)表示 348
13.2 貝葉斯網(wǎng)絡(luò)的語(yǔ)義 350
13.2.1 貝葉斯網(wǎng)絡(luò)中的條件獨(dú)立性關(guān)系 353
13.2.2 條件分布的高效表示 354
13.2.3 連續(xù)變量的貝葉斯網(wǎng)絡(luò) 356
13.2.4 案例研究：汽車(chē)保險(xiǎn) 358
13.3 貝葉斯網(wǎng)絡(luò)中的精確推斷 360
13.3.1 通過(guò)枚舉進(jìn)行推斷 361
13.3.2 變量消元算法 363
13.3.3 精確推斷的復(fù)雜性 365
13.3.4 聚類(lèi)算法 366
13.4 貝葉斯網(wǎng)絡(luò)中的近似推理 367
13.4.1 直接采樣方法 368
13.4.2 通過(guò)馬爾可夫鏈模擬進(jìn)行推斷 372
13.4.3 編譯近似推斷 378
13.5 因果網(wǎng)絡(luò) 379
13.5.1 表示動(dòng)作：do 操作 380
13.5.2 后門(mén)準(zhǔn)則 382
小結(jié) 382
參考文獻(xiàn)與歷史注釋 383
第 14 章 時(shí)間上的概率推理 388
14.1 時(shí)間與不確定性 388
14.1.1 狀態(tài)與觀測(cè) 389
14.1.2 轉(zhuǎn)移模型與傳感器模型 389
14.2 時(shí)序模型中的推斷 391
14.2.1 濾波與預(yù)測(cè) 392
14.2.2 平滑 394
14.2.3 尋找最可能序列 396
14.3 隱馬爾可夫模型 398
14.3.1 簡(jiǎn)化矩陣算法 398
14.3.2 隱馬爾可夫模型示例：定位 400
14.4 卡爾曼濾波器 403
14.4.1 更新高斯分布 403
14.4.2 簡(jiǎn)單的一維示例 404
14.4.3 一般情況 406
14.4.4 卡爾曼濾波的適用范圍 407
14.5 動(dòng)態(tài)貝葉斯網(wǎng)絡(luò) 408
14.5.1 構(gòu)建動(dòng)態(tài)貝葉斯網(wǎng)絡(luò) 409
14.5.2 動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)中的精確推斷 412
14.5.3 動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)中的近似推斷 413
小結(jié) 417
參考文獻(xiàn)與歷史注釋 418
第 15 章 概率編程 421
15.1 關(guān)系概率模型 421
15.1.1 語(yǔ)法與語(yǔ)義 423
15.1.2 實(shí)例：評(píng)定玩家的技能等級(jí) 425
15.1.3 關(guān)系概率模型中的推斷 426
15.2 開(kāi)宇宙概率模型 427
15.2.1 語(yǔ)義與語(yǔ)法 428
15.2.2 開(kāi)宇宙概率模型的推斷 429
15.2.3 示例 430
15.3 追蹤復(fù)雜世界 433
15.3.1 示例：多目標(biāo)跟蹤 433
15.3.2 示例：交通監(jiān)控 436
15.4 作為概率模型的程序 436
15.4.1 示例：文本閱讀 437
15.4.2 語(yǔ)法與語(yǔ)義 438
15.4.3 推斷結(jié)果 438
15.4.4 結(jié)合馬爾可夫模型改進(jìn)生成程序 439
15.4.5 生成程序的推斷 439
小結(jié) 440
參考文獻(xiàn)與歷史注釋 440
第 16 章 做簡(jiǎn)單決策 444
16.1 在不確定性下結(jié)合信念與愿望 444
16.2 效用理論基礎(chǔ) 445
16.2.1 理性偏好的約束 445
16.2.2 理性偏好導(dǎo)致效用 447
16.3 效用函數(shù) 448
16.3.1 效用評(píng)估和效用尺度 448
16.3.2 金錢(qián)的效用 449
16.3.3 期望效用與決策后失望 451
16.3.4 人類(lèi)判斷與非理性 452
16.4 多屬性效用函數(shù) 454
16.4.1 占優(yōu) 455
16.4.2 偏好結(jié)構(gòu)與多屬性效用 456
16.5 決策網(wǎng)絡(luò) 458
16.5.1 使用決策網(wǎng)絡(luò)表示決策問(wèn)題 458
16.5.2 評(píng)估決策網(wǎng)絡(luò) 460
16.6 信息價(jià)值 460
16.6.1 簡(jiǎn)單示例 460
16.6.2 完美信息的一般公式 461
16.6.3 價(jià)值信息的性質(zhì) 462
16.6.4 信息收集智能體的實(shí)現(xiàn) 463
16.6.5 非短視信息收集 463
16.6.6 敏感性分析與健壯決策 464
16.7 未知偏好 465
16.7.1 個(gè)人偏好的不確定性 466
16.7.2 順從人類(lèi) 467
小結(jié) 468
參考文獻(xiàn)與歷史注釋 469
第 17 章 做復(fù)雜決策 473
17.1 序貫決策問(wèn)題 473
17.1.1 時(shí)間上的效用 475
17.1.2 最優(yōu)策略與狀態(tài)效用 477
17.1.3 獎(jiǎng)勵(lì)規(guī)模 479
17.1.4 表示 MDP 480
17.2 MDP 的算法 482
17.2.1 價(jià)值迭代 482
17.2.2 策略迭代 485
17.2.3 線性規(guī)劃 487
17.2.4 MDP 的在線算法 487
17.3 老虎機(jī)問(wèn)題 489
17.3.1 計(jì)算基廷斯指數(shù) 491
17.3.2 伯努利老虎機(jī) 492
17.3.3 近似最優(yōu)老虎機(jī)策略 493
17.3.4 不可索引變體 493
17.4 部分可觀測(cè)MDP 495
17.5 求解POMDP 的算法 497
17.5.1 POMDP的價(jià)值迭代 497
17.5.2 POMDP的在線算法 500
小結(jié) 501
參考文獻(xiàn)與歷史注釋 502
第 18 章 多智能體決策 505
18.1 多智能體環(huán)境的特性 505
18.1.1 單個(gè)決策者 505
18.1.2 多決策者 506
18.1.3 多智能體規(guī)劃 507
18.1.4 多智能體規(guī)劃：合作與協(xié)調(diào) 509
18.2 非合作博弈論 510
18.2.1 單步博弈：正則形式博弈 510
18.2.2 社會(huì)福利 513
18.2.3 重復(fù)博弈 517
18.2.4 序貫博弈：擴(kuò)展形式 520
18.2.5 不確定收益與輔助博弈 525
18.3 合作博弈論 527
18.3.1 聯(lián)盟結(jié)構(gòu)與結(jié)果 528
18.3.2 合作博弈中的策略 529
18.3.3 合作博弈中的計(jì)算 531
18.4 制定集體決策 533
18.4.1 在合同網(wǎng)中分配任務(wù) 533
18.4.2 通過(guò)拍賣(mài)分配稀缺資源 535
18.4.3 投票 539
18.4.4 議價(jià) 541
小結(jié) 544
參考文獻(xiàn)與歷史注釋 545
第五部分 機(jī)器學(xué)習(xí)
第 19 章 樣例學(xué)習(xí) 550
19.1 學(xué)習(xí)的形式 550
19.2 監(jiān)督學(xué)習(xí) 552
19.3 決策樹(shù)學(xué)習(xí) 555
19.3.1 決策樹(shù)的表達(dá)能力 556
19.3.2 從樣例中學(xué)習(xí)決策樹(shù) 557
19.3.3 選擇測(cè)試屬性 559
19.3.4 泛化與過(guò)擬合 560
19.3.5 拓展決策樹(shù)的適用范圍 562
19.4 模型選擇與模型優(yōu)化 563
19.4.1 模型選擇 564
19.4.2 從錯(cuò)誤率到損失函數(shù) 566
19.4.3 正則化 567
19.4.4 超參數(shù)調(diào)整 568
19.5 學(xué)習(xí)理論 569
19.6 線性回歸與分類(lèi) 572
19.6.1 單變量線性回歸 572
19.6.2 梯度下降 574
19.6.3 多變量線性回歸 575
19.6.4 帶有硬閾值的線性分類(lèi)器 577
19.6.5 基于邏輯斯諦回歸的線性分類(lèi)器 579
19.7 非參數(shù)模型 581
19.7.1 最近鄰模型 581
19.7.2 使用 k-d 樹(shù)尋找最近鄰 583
19.7.3 局部敏感哈希 584
19.7.4 非參數(shù)回歸 585
19.7.5 支持向量機(jī) 586
19.7.6 核技巧 589
19.8 集成學(xué)習(xí) 589
19.8.1 自助聚合法 590
19.8.2 隨機(jī)森林法 590
19.8.3 堆疊法 591
19.8.4 自適應(yīng)提升法 592
19.8.5 梯度提升法 594
19.8.6 在線學(xué)習(xí) 595
19.9 開(kāi)發(fā)機(jī)器學(xué)習(xí)系統(tǒng) 596
19.9.1 問(wèn)題形式化 596
19.9.2 數(shù)據(jù)收集、評(píng)估和管理 597
19.9.3 模型選擇與訓(xùn)練 601
19.9.4 信任、可解釋性、可說(shuō)明性 601
19.9.5 操作、監(jiān)控和維護(hù) 603
小結(jié) 604
參考文獻(xiàn)與歷史注釋 605
第 20 章 概率模型學(xué)習(xí) 610
20.1 統(tǒng)計(jì)學(xué)習(xí) 610
20.2 完全數(shù)據(jù)學(xué)習(xí) 613
20.2.1 最大似然參數(shù)學(xué)習(xí)：離散模型 613
20.2.2 樸素貝葉斯模型 615
20.2.3 生成模型和判別模型 616
20.2.4 最大似然參數(shù)學(xué)習(xí)：連續(xù)模型 616
20.2.5 貝葉斯參數(shù)學(xué)習(xí) 618
20.2.6 貝葉斯線性回歸 620
20.2.7 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí) 622
20.2.8 非參數(shù)模型密度估計(jì) 623
20.3 隱變量學(xué)習(xí)：EM 算法 624
20.3.1 無(wú)監(jiān)督聚類(lèi)：學(xué)習(xí)混合高斯 625
20.3.2 學(xué)習(xí)帶隱變量的貝葉斯網(wǎng)絡(luò)參數(shù)值 627
20.3.3 學(xué)習(xí)隱馬爾可夫模型 630
20.3.4 EM 算法的一般形式 630
20.3.5 學(xué)習(xí)帶隱變量的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu) 631
小結(jié) 632
參考文獻(xiàn)與歷史注釋 632
第 21 章 深度學(xué)習(xí) 635
21.1 簡(jiǎn)單前饋網(wǎng)絡(luò) 636
21.1.1 網(wǎng)絡(luò)作為復(fù)雜函數(shù) 636
21.1.2 梯度與學(xué)習(xí) 639
21.2 深度學(xué)習(xí)的計(jì)算圖 640
21.2.1 輸入編碼 641
21.2.2 輸出層與損失函數(shù) 641
21.2.3 隱藏層 642
21.3 卷積網(wǎng)絡(luò) 643
21.3.1 池化與下采樣 646
21.3.2 卷積神經(jīng)網(wǎng)絡(luò)的張量運(yùn)算 646
21.3.3 殘差網(wǎng)絡(luò) 647
21.4 學(xué)習(xí)算法 648
21.4.1 計(jì)算圖中的梯度計(jì)算 649
21.4.2 批量歸一化 650
21.5 泛化 650
21.5.1 選擇正確的網(wǎng)絡(luò)架構(gòu) 651
21.5.2 神經(jīng)架構(gòu)搜索 652
21.5.3 權(quán)重衰減 653
21.5.4 暫退法 653
21.6 循環(huán)神經(jīng)網(wǎng)絡(luò) 654
21.6.1 訓(xùn)練基本的循環(huán)神經(jīng)網(wǎng)絡(luò) 655
21.6.2 長(zhǎng)短期記憶 RNN 656
21.7 無(wú)監(jiān)督學(xué)習(xí)與遷移學(xué)習(xí) 657
21.7.1 無(wú)監(jiān)督學(xué)習(xí) 657
21.7.2 遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí) 661
21.8 應(yīng)用 662
21.8.1 視覺(jué) 662
21.8.2 自然語(yǔ)言處理 663
21.8.3 強(qiáng)化學(xué)習(xí) 663
小結(jié) 664
參考文獻(xiàn)與歷史注釋 664
第 22 章 強(qiáng)化學(xué)習(xí) 668
22.1 從獎(jiǎng)勵(lì)中學(xué)習(xí) 668
22.2 被動(dòng)強(qiáng)化學(xué)習(xí) 670
22.2.1 直接效用估計(jì) 671
22.2.2 自適應(yīng)動(dòng)態(tài)規(guī)劃 671
22.2.3 時(shí)序差分學(xué)習(xí) 672
22.3 主動(dòng)強(qiáng)化學(xué)習(xí) 674
22.3.1 探索 675
22.3.2 安全探索 677
22.3.3 時(shí)序差分 Q 學(xué)習(xí) 678
22.4 強(qiáng)化學(xué)習(xí)中的泛化 680
22.4.1 近似直接效用估計(jì) 680
22.4.2 近似時(shí)序差分學(xué)習(xí) 681
22.4.3 深度強(qiáng)化學(xué)習(xí) 682
22.4.4 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì) 683
22.4.5 分層強(qiáng)化學(xué)習(xí) 683
22.5 策略搜索 686
22.6 學(xué)徒學(xué)習(xí)與逆強(qiáng)化學(xué)習(xí) 688
22.7 強(qiáng)化學(xué)習(xí)的應(yīng)用 690
22.7.1 在電子游戲中的應(yīng)用 690
22.7.2 在機(jī)器人控制中的應(yīng)用 691
小結(jié) 692
參考文獻(xiàn)與歷史注釋 693
第六部分 溝通、感知和行動(dòng)
第 23 章 自然語(yǔ)言處理 698
23.1 語(yǔ)言模型 698
23.1.1 詞袋模型 699
23.1.2 n 元單詞模型 700
23.1.3 其他 n 元模型 701
23.1.4 n 元模型的平滑 701
23.1.5 單詞表示 702
23.1.6 詞性標(biāo)注 703
23.1.7 語(yǔ)言模型的比較 706
23.2 文法 707
23.3 句法分析 709
23.3.1 依存分析 711
23.3.2 從樣例中學(xué)習(xí)句法分析器 712
23.4 擴(kuò)展文法 713
23.4.1 語(yǔ)義解釋 715
23.4.2 學(xué)習(xí)語(yǔ)義文法 717
23.5 真實(shí)自然語(yǔ)言的復(fù)雜性 717
23.6 自然語(yǔ)言任務(wù) 720
小結(jié) 722
參考文獻(xiàn)與歷史注釋 722
第 24 章 自然語(yǔ)言處理中的深度學(xué)習(xí) 727
24.1 詞嵌入 727
24.2 自然語(yǔ)言處理中的循環(huán)神經(jīng)網(wǎng)絡(luò) 730
24.2.1 使用循環(huán)神經(jīng)網(wǎng)絡(luò)的語(yǔ)言模型 730
24.2.2 用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行分類(lèi) 732
24.2.3 自然語(yǔ)言處理任務(wù)中的 LSTM模型 733
24.3 序列到序列模型 733
24.3.1 注意力 735
24.3.2 解碼 736
24.4 Transformer 架構(gòu) 737
24.4.1 自注意力 737
24.4.2 從自注意力到 Transformer 738
24.5 預(yù)訓(xùn)練和遷移學(xué)習(xí) 739
24.5.1 預(yù)訓(xùn)練詞嵌入 740
24.5.2 預(yù)訓(xùn)練上下文表示 741
24.5.3 掩碼語(yǔ)言模型 742
24.6 最高水平（SOTA） 742
小結(jié) 745
參考文獻(xiàn)與歷史注釋 745
第 25 章 計(jì)算機(jī)視覺(jué) 748
25.1 引言 748
25.2 圖像形成 749
25.2.1 無(wú)透鏡成像：針孔照相機(jī) 749
25.2.2 透鏡系統(tǒng) 751
25.2.3 縮放正交投影 752
25.2.4 光線與明暗 752
25.2.5 顏色 753
25.3 簡(jiǎn)單圖像特征 754
25.3.1 邊緣 755
25.3.2 紋理 757
25.3.3 光流 758
25.3.4 自然圖像分割 759
25.4 圖像分類(lèi) 760
25.4.1 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類(lèi) 761
25.4.2 卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像分類(lèi)問(wèn)題
有效的原因 762
25.5 物體檢測(cè) 763
25.6 三維世界 766
25.6.1 多個(gè)視圖下的三維線索 766
25.6.2 雙目立體視覺(jué) 766
25.6.3 移動(dòng)攝像機(jī)給出的三維線索 768
25.6.4 單個(gè)視圖的三維線索 769
25.7 計(jì)算機(jī)視覺(jué)的應(yīng)用 769
25.7.1 理解人類(lèi)行為 770
25.7.2 匹配圖片與文字 772
25.7.3 多視圖重建 773
25.7.4 單視圖中的幾何 774
25.7.5 生成圖片 775
25.7.6 利用視覺(jué)控制運(yùn)動(dòng) 778
小結(jié) 780
參考文獻(xiàn)與歷史注釋 781
第 26 章 機(jī)器人學(xué) 785
26.1 機(jī)器人 785
26.2 機(jī)器人硬件 786
26.2.1 機(jī)器人的硬件層面分類(lèi) 786
26.2.2 感知世界 787
26.2.3 產(chǎn)生運(yùn)動(dòng) 789
26.3 機(jī)器人學(xué)解決哪些問(wèn)題 789
26.4 機(jī)器人感知 790
26.4.1 定位與地圖構(gòu)建 791
26.4.2 其他感知類(lèi)型 795
26.4.3 機(jī)器人感知中的監(jiān)督學(xué)習(xí)與無(wú)監(jiān)督學(xué)習(xí) 795
26.5 規(guī)劃與控制 796
26.5.1 構(gòu)形空間 796
26.5.2 運(yùn)動(dòng)規(guī)劃 799
26.5.3 軌跡跟蹤控制 806
26.5.4 最優(yōu)控制 809
26.6 規(guī)劃不確定的運(yùn)動(dòng) 810
26.7 機(jī)器人學(xué)中的強(qiáng)化學(xué)習(xí) 812
26.7.1 利用模型 812
26.7.2 利用其他信息 813
26.8 人類(lèi)與機(jī)器人 814
26.8.1 協(xié)調(diào) 814
26.8.2 學(xué)習(xí)做人類(lèi)期望的事情 817
26.9 其他機(jī)器人框架 820
26.9.1 反應(yīng)式控制器 820
26.9.2 包容架構(gòu) 821
26.10 應(yīng)用領(lǐng)域 822
小結(jié) 825
參考文獻(xiàn)與歷史注釋 826
第七部分 總結(jié)
第 27 章 人工智能的哲學(xué)、倫理和安全性 832
27.1 人工智能的極限 832
27.1.1 由非形式化得出的論據(jù) 832
27.1.2 由能力缺陷得出的論據(jù) 833
27.1.3 數(shù)學(xué)異議 833
27.1.4 衡量人工智能 834
27.2 機(jī)器能真正地思考嗎 835
27.2.1 中文房間 835
27.2.2 意識(shí)與感質(zhì) 836
27.3 人工智能的倫理 836
27.3.1 致命性自主武器 837
27.3.2 監(jiān)控、安全與隱私 839
27.3.3 公平與偏見(jiàn) 841
27.3.4 信任與透明度 844
27.3.5 工作前景 845
27.3.6 機(jī)器人權(quán)利 847
27.3.7 人工智能安全性 848
小結(jié) 851
參考文獻(xiàn)與歷史注釋 852
第 28 章 人工智能的未來(lái) 857
28.1 人工智能組件 857
28.2 人工智能架構(gòu) 862
附錄 A 數(shù)學(xué)背景知識(shí) 865
附錄 B 關(guān)于語(yǔ)言與算法的說(shuō)明 871
參考文獻(xiàn) 873
索引 914