第 一部分 人工智能基礎(chǔ) 第 1 章 緒論 2 1.1 什么是人工智能 2 1.1.1 類人行為：圖靈測(cè)試方法 3 1.1.2 類人思考：認(rèn)知建模方法 3 1.1.3 理性思考：“思維法則”方法 4 1.1.4 理性行為：理性智能體方法 4 1.1.5 益機(jī) 5 1.2 人工智能的基礎(chǔ) 6 1.2.1 哲學(xué) 6 1.2.2 數(shù)學(xué) 8 1.2.3 經(jīng)濟(jì)學(xué) 9 1.2.4 神經(jīng)科學(xué) 10 1.2.5 心理學(xué) 12 1.2.6 計(jì)算機(jī)工程 13 1.2.7 控制理論與控制論 14 1.2.8 語言學(xué) 15 1.3 人工智能的歷史 16 1.3.1 人工智能的誕生（1943—1956） 16 1.3.2 早期熱情高漲，期望無限（1952—1969） 17 1.3.3 一些現(xiàn)實(shí)（1966—1973） 19 1.3.4 專家系統(tǒng)（1969—1986） 20 1.3.5 神經(jīng)網(wǎng)絡(luò)的回歸（1986—現(xiàn)在） 22 1.3.6 概率推理和機(jī)器學(xué)習(xí)（1987—現(xiàn)在） 22 1.3.7 大數(shù)據(jù)（2001—現(xiàn)在） 23 1.3.8 深度學(xué)習(xí)（2011—現(xiàn)在） 24 1.4 目前的先進(jìn)技術(shù) 24 1.5 人工智能的風(fēng)險(xiǎn)和收益 27 小結(jié) 30 參考文獻(xiàn)與歷史注釋 31 第 2 章 智能體 32 2.1 智能體和環(huán)境 32 2.2 良好行為：理性的概念 34 2.2.1 性能度量 34 2.2.2 理性 35 2.2.3 全知、學(xué)習(xí)和自主 36 2.3 環(huán)境的本質(zhì) 37 2.3.1 指定任務(wù)環(huán)境 37 2.3.2 任務(wù)環(huán)境的屬性 38 2.4 智能體的結(jié)構(gòu) 41 2.4.1 智能體程序 41 2.4.2 簡單反射型智能體 42 2.4.3 基于模型的反射型智能體 44 2.4.4 基于目標(biāo)的智能體 45 2.4.5 基于效用的智能體 46 2.4.6 學(xué)習(xí)型智能體 47 2.4.7 智能體程序的組件如何工作 49 小結(jié) 50 參考文獻(xiàn)與歷史注釋 51 第二部分 問題求解 第 3 章 通過搜索進(jìn)行問題求解 54 3.1 問題求解智能體 54 3.1.1 搜索問題和解 55 3.1.2 問題形式化 56 3.2 問題示例 57 3.2.1 標(biāo)準(zhǔn)化問題 57 3.2.2 真實(shí)世界問題 59 3.3 搜索算法 61 3.3.1 最佳優(yōu)先搜索 62 3.3.2 搜索數(shù)據(jù)結(jié)構(gòu) 63 3.3.3 冗余路徑 64 3.3.4 問題求解性能評(píng)估 65 3.4 無信息搜索策略 65 3.4.1 廣度優(yōu)先搜索 66 3.4.2 Dijkstra 算法或一致代價(jià)搜索 67 3.4.3 深度優(yōu)先搜索與內(nèi)存問題 68 3.4.4 深度受限和迭代加深搜索 69 3.4.5 雙向搜索 712 3.4.6 無信息搜索算法對(duì)比 72 3.5 有信息（啟發(fā)式）搜索策略 73 3.5.1 貪心最佳優(yōu)先搜索 73 3.5.2 A* 搜索 75 3.5.3 搜索等值線 77 3.5.4 滿意搜索：不可容許的啟發(fā)式 函數(shù)與加權(quán) A* 搜索 79 3.5.5 內(nèi)存受限搜索 80 3.5.6 雙向啟發(fā)式搜索 83 3.6 啟發(fā)式函數(shù) 85 3.6.1 啟發(fā)式函數(shù)的準(zhǔn)確性對(duì)性能的影響 85 3.6.2 從松弛問題出發(fā)生成啟發(fā)式函數(shù) 86 3.6.3 從子問題出發(fā)生成啟發(fā)式函數(shù)：模式數(shù)據(jù)庫 87 3.6.4 使用地標(biāo)生成啟發(fā)式函數(shù) 88 3.6.5 學(xué)習(xí)以更好地搜索 90 3.6.6 從經(jīng)驗(yàn)中學(xué)習(xí)啟發(fā)式函數(shù) 90 小結(jié) 90 參考文獻(xiàn)與歷史注釋 92 第 4 章 復(fù)雜環(huán)境中的搜索 95 4.1 局部搜索和最優(yōu)化問題 95 4.1.1 爬山搜索 96 4.1.2 模擬退火 98 4.1.3 局部束搜索 99 4.1.4 進(jìn)化算法 99 4.2 連續(xù)空間中的局部搜索 102 4.3 使用非確定性動(dòng)作的搜索 104 4.3.1 不穩(wěn)定的真空吸塵器世界 105 4.3.2 與或搜索樹 106 4.3.3 反復(fù)嘗試 107 4.4 部分可觀測(cè)環(huán)境中的搜索 108 4.4.1 無觀測(cè)信息的搜索 108 4.4.2 部分可觀測(cè)環(huán)境中的搜索 111 4.4.3 求解部分可觀測(cè)問題 112 4.4.4 部分可觀測(cè)環(huán)境中的智能體 113 4.5 在線搜索智能體和未知環(huán)境 115 4.5.1 在線搜索問題 115 4.5.2 在線搜索智能體 117 4.5.3 在線局部搜索 118 4.5.4 在線搜索中的學(xué)習(xí) 119 小結(jié) 120 參考文獻(xiàn)與歷史注釋 121 第 5 章 對(duì)抗搜索和博弈 124 5.1 博弈論 124 5.2 博弈中的優(yōu)化決策 126 5.2.1 極小化極大搜索算法 127 5.2.2 多人博弈中的最優(yōu)決策 128 5.2.3 α-β 剪枝 129 5.2.4 移動(dòng)順序 131 5.3 啟發(fā)式 α-β 樹搜索 132 5.3.1 評(píng)價(jià)函數(shù) 132 5.3.2 截?cái)嗨阉? 134 5.3.3 前向剪枝 135 5.3.4 搜索和查表 136 5.4 蒙特卡羅樹搜索 136 5.5 隨機(jī)博弈 139 5.6 部分可觀測(cè)博弈 142 5.6.1 四國軍棋：部分可觀測(cè)的國際象棋 142 5.6.2 紙牌游戲 144 5.7 博弈搜索算法的局限性 146 小結(jié) 147 參考文獻(xiàn)與歷史注釋 148 第 6 章 約束滿足問題 152 6.1 定義約束滿足問題 152 6.1.1 問題示例：地圖著色 153 6.1.2 問題示例：車間作業(yè)調(diào)度 154 6.1.3 CSP 形式體系的變體 155 6.2 約束傳播：CSP 中的推斷 156 6.2.1 節(jié)點(diǎn)一致性 157 6.2.2 弧一致性 157 6.2.3 路徑一致性 158 6.2.4 k 一致性 158 6.2.5 全局約束 159 6.2.6 數(shù)獨(dú) 160 6.3 CSP 的回溯搜索 161 6.3.1 變量排序和值排序 163 6.3.2 交替進(jìn)行搜索和推理 164 6.3.3 智能回溯：向后看 164 6.3.4 約束學(xué)習(xí) 166 6.4 CSP 的局部搜索 166 6.5 問題的結(jié)構(gòu) 168 6.5.1 割集調(diào)整 169 6.5.2 樹分解 170 6.5.3 值對(duì)稱 171 小結(jié) 171 參考文獻(xiàn)與歷史注釋 172 第三部分 知識(shí)、推理和規(guī)劃 第 7 章 邏輯智能體 176 7.1 基于知識(shí)的智能體 176 7.2 wumpus 世界 178 7.3 邏輯 180 7.4 命題邏輯：一種非常簡單的邏輯 183 7.4.1 語法 183 7.4.2 語義 184 7.4.3 一個(gè)簡單的知識(shí)庫 185 7.4.4 一個(gè)簡單的推斷過程 186 7.5 命題定理證明 187 7.5.1 推斷與證明 188 7.5.2 通過歸結(jié)證明 190 7.5.3 霍恩子句與確定子句 194 7.5.4 前向鏈接與反向鏈接 194 7.6 高效命題模型檢驗(yàn) 196 7.6.1 完備的回溯算法 196 7.6.2 局部搜索算法 198 7.6.3 隨機(jī) SAT 問題概覽 199 7.7 基于命題邏輯的智能體 200 7.7.1 世界的當(dāng)前狀態(tài) 200 7.7.2 混合智能體 203 7.7.3 邏輯狀態(tài)估計(jì) 204 7.7.4 用命題推斷進(jìn)行規(guī)劃 205 小結(jié) 207 參考文獻(xiàn)與歷史注釋 208 第 8 章 一階邏輯 211 8.1 回顧表示 211 8.1.1 思想的語言 212 8.1.2 結(jié)合形式語言和自然語言的優(yōu)點(diǎn) 213 8.2 一階邏輯的語法和語義 215 8.2.1 一階邏輯模型 215 8.2.2 符號(hào)與解釋 216 8.2.3 項(xiàng) 218 8.2.4 原子語句 218 8.2.5 復(fù)合語句 218 8.2.6 量詞 219 8.2.7 等詞 222 8.2.8 數(shù)據(jù)庫語義 222 8.3 使用一階邏輯 223 8.3.1 一階邏輯的斷言與查詢 223 8.3.2 親屬關(guān)系論域 224 8.3.3 數(shù)、集合與列表 225 8.3.4 wumpus 世界 227 8.4 一階邏輯中的知識(shí)工程 228 8.4.1 知識(shí)工程的過程 229 8.4.2 電子電路論域 230 小結(jié) 233 參考文獻(xiàn)與歷史注釋 234 第 9 章 一階邏輯中的推斷 236 9.1 命題推斷與一階推斷 236 9.2 合一與一階推斷 238 9.2.1 合一 239 9.2.2 存儲(chǔ)與檢索 240 9.3 前向鏈接 241 9.3.1 一階確定子句 242 9.3.2 簡單的前向鏈接算法 242 9.3.3 高效前向鏈接 244 9.4 反向鏈接 247 9.4.1 反向鏈接算法 247 9.4.2 邏輯編程 248 9.4.3 冗余推斷和無限循環(huán) 249 9.4.4 Prolog 的數(shù)據(jù)庫語義 251 9.4.5 約束邏輯編程 251 9.5 歸結(jié) 252 9.5.1 一階邏輯的合取范式 252 9.5.2 歸結(jié)推斷規(guī)則 253 9.5.3 證明范例 254 9.5.4 歸結(jié)的完備性 256 9.5.5 等詞 258 9.5.6 歸結(jié)策略 260 小結(jié) 261 參考文獻(xiàn)與歷史注釋 262 第 10 章 知識(shí)表示 265 10.1 本體論工程 265 10.2 類別與對(duì)象 267 10.2.1 物理組成 268 10.2.2 量度 269 10.2.3 對(duì)象：事物和物質(zhì) 271 10.3 事件 272 10.3.1 時(shí)間 273 10.3.2 流和對(duì)象 275 10.4 精神對(duì)象和模態(tài)邏輯 275 10.5 類別的推理系統(tǒng) 278 10.5.1 語義網(wǎng)絡(luò) 278 10.5.2 描述邏輯 280 10.6 用缺省信息推理 281 10.6.1 限定與缺省邏輯 281 10.6.2 真值維護(hù)系統(tǒng) 283 小結(jié) 284 參考文獻(xiàn)與歷史注釋 285 第 11 章 自動(dòng)規(guī)劃 290 11.1 經(jīng)典規(guī)劃的定義 290 11.1.1 范例領(lǐng)域：航空貨物運(yùn)輸 291 11.1.2 范例領(lǐng)域：備用輪胎問題 292 11.1.3 范例領(lǐng)域：積木世界 292 11.2 經(jīng)典規(guī)劃的算法 294 11.2.1 規(guī)劃的前向狀態(tài)空間搜索 294 11.2.2 規(guī)劃的反向狀態(tài)空間搜索 295 11.2.3 使用布爾可滿足性規(guī)劃 296 11.2.4 其他經(jīng)典規(guī)劃方法 296 11.3 規(guī)劃的啟發(fā)式方法 297 11.3.1 領(lǐng)域無關(guān)剪枝 299 11.3.2 規(guī)劃中的狀態(tài)抽象 300 11.4 分層規(guī)劃 300 11.4.1 高層動(dòng)作 301 11.4.2 搜索基元解 302 11.4.3 搜索抽象解 303 11.5 非確定性域的規(guī)劃和行動(dòng) 307 11.5.1 無傳感器規(guī)劃 309 11.5.2 應(yīng)變規(guī)劃 312 11.5.3 在線規(guī)劃 313 11.6 時(shí)間、調(diào)度和資源 315 11.6.1 時(shí)間約束和資源約束的表示 315 11.6.2 解決調(diào)度問題 316 11.7 規(guī)劃方法分析 318 小結(jié) 319 參考文獻(xiàn)與歷史注釋 320 第四部分 不確定知識(shí)和不確定推理 第 12 章 不確定性的量化 326 12.1 不確定性下的動(dòng)作 326 12.1.1 不確定性概述 327 12.1.2 不確定性與理性決策 328 12.2 基本概率記號(hào) 329 12.2.1 概率是關(guān)于什么的 329 12.2.2 概率斷言中的命題語言 330 12.2.3 概率公理及其合理性 333 12.3 使用完全聯(lián)合分布進(jìn)行推斷 334 12.4 獨(dú)立性 336 12.5 貝葉斯法則及其應(yīng)用 337 12.5.1 應(yīng)用貝葉斯法則：簡單實(shí)例 338 12.5.2 應(yīng)用貝葉斯法則：合并證據(jù) 339 12.6 樸素貝葉斯模型 340 12.7 重游 wumpus 世界 342 小結(jié) 344 參考文獻(xiàn)與歷史注釋 345 第 13 章 概率推理 348 13.1 不確定域的知識(shí)表示 348 13.2 貝葉斯網(wǎng)絡(luò)的語義 350 13.2.1 貝葉斯網(wǎng)絡(luò)中的條件獨(dú)立性關(guān)系 353 13.2.2 條件分布的高效表示 354 13.2.3 連續(xù)變量的貝葉斯網(wǎng)絡(luò) 356 13.2.4 案例研究：汽車保險(xiǎn) 358 13.3 貝葉斯網(wǎng)絡(luò)中的精確推斷 360 13.3.1 通過枚舉進(jìn)行推斷 361 13.3.2 變量消元算法 363 13.3.3 精確推斷的復(fù)雜性 365 13.3.4 聚類算法 366 13.4 貝葉斯網(wǎng)絡(luò)中的近似推理 367 13.4.1 直接采樣方法 368 13.4.2 通過馬爾可夫鏈模擬進(jìn)行推斷 372 13.4.3 編譯近似推斷 378 13.5 因果網(wǎng)絡(luò) 379 13.5.1 表示動(dòng)作：do 操作 380 13.5.2 后門準(zhǔn)則 382 小結(jié) 382 參考文獻(xiàn)與歷史注釋 383 第 14 章 時(shí)間上的概率推理 388 14.1 時(shí)間與不確定性 388 14.1.1 狀態(tài)與觀測(cè) 389 14.1.2 轉(zhuǎn)移模型與傳感器模型 389 14.2 時(shí)序模型中的推斷 391 14.2.1 濾波與預(yù)測(cè) 392 14.2.2 平滑 394 14.2.3 尋找最可能序列 396 14.3 隱馬爾可夫模型 398 14.3.1 簡化矩陣算法 398 14.3.2 隱馬爾可夫模型示例：定位 400 14.4 卡爾曼濾波器 403 14.4.1 更新高斯分布 403 14.4.2 簡單的一維示例 404 14.4.3 一般情況 406 14.4.4 卡爾曼濾波的適用范圍 407 14.5 動(dòng)態(tài)貝葉斯網(wǎng)絡(luò) 408 14.5.1 構(gòu)建動(dòng)態(tài)貝葉斯網(wǎng)絡(luò) 409 14.5.2 動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)中的精確推斷 412 14.5.3 動(dòng)態(tài)貝葉斯網(wǎng)絡(luò)中的近似推斷 413 小結(jié) 417 參考文獻(xiàn)與歷史注釋 418 第 15 章 概率編程 421 15.1 關(guān)系概率模型 421 15.1.1 語法與語義 423 15.1.2 實(shí)例：評(píng)定玩家的技能等級(jí) 425 15.1.3 關(guān)系概率模型中的推斷 426 15.2 開宇宙概率模型 427 15.2.1 語義與語法 428 15.2.2 開宇宙概率模型的推斷 429 15.2.3 示例 430 15.3 追蹤復(fù)雜世界 433 15.3.1 示例：多目標(biāo)跟蹤 433 15.3.2 示例：交通監(jiān)控 436 15.4 作為概率模型的程序 436 15.4.1 示例：文本閱讀 437 15.4.2 語法與語義 438 15.4.3 推斷結(jié)果 438 15.4.4 結(jié)合馬爾可夫模型改進(jìn)生成程序 439 15.4.5 生成程序的推斷 439 小結(jié) 440 參考文獻(xiàn)與歷史注釋 440 第 16 章 做簡單決策 444 16.1 在不確定性下結(jié)合信念與愿望 444 16.2 效用理論基礎(chǔ) 445 16.2.1 理性偏好的約束 445 16.2.2 理性偏好導(dǎo)致效用 447 16.3 效用函數(shù) 448 16.3.1 效用評(píng)估和效用尺度 448 16.3.2 金錢的效用 449 16.3.3 期望效用與決策后失望 451 16.3.4 人類判斷與非理性 452 16.4 多屬性效用函數(shù) 454 16.4.1 占優(yōu) 455 16.4.2 偏好結(jié)構(gòu)與多屬性效用 456 16.5 決策網(wǎng)絡(luò) 458 16.5.1 使用決策網(wǎng)絡(luò)表示決策問題 458 16.5.2 評(píng)估決策網(wǎng)絡(luò) 460 16.6 信息價(jià)值 460 16.6.1 簡單示例 460 16.6.2 完美信息的一般公式 461 16.6.3 價(jià)值信息的性質(zhì) 462 16.6.4 信息收集智能體的實(shí)現(xiàn) 463 16.6.5 非短視信息收集 463 16.6.6 敏感性分析與健壯決策 464 16.7 未知偏好 465 16.7.1 個(gè)人偏好的不確定性 466 16.7.2 順從人類 467 小結(jié) 468 參考文獻(xiàn)與歷史注釋 469 第 17 章 做復(fù)雜決策 473 17.1 序貫決策問題 473 17.1.1 時(shí)間上的效用 475 17.1.2 最優(yōu)策略與狀態(tài)效用 477 17.1.3 獎(jiǎng)勵(lì)規(guī)模 479 17.1.4 表示 MDP 480 17.2 MDP 的算法 482 17.2.1 價(jià)值迭代 482 17.2.2 策略迭代 485 17.2.3 線性規(guī)劃 487 17.2.4 MDP 的在線算法 487 17.3 老虎機(jī)問題 489 17.3.1 計(jì)算基廷斯指數(shù) 491 17.3.2 伯努利老虎機(jī) 492 17.3.3 近似最優(yōu)老虎機(jī)策略 493 17.3.4 不可索引變體 493 17.4 部分可觀測(cè)MDP 495 17.5 求解POMDP 的算法 497 17.5.1 POMDP的價(jià)值迭代 497 17.5.2 POMDP的在線算法 500 小結(jié) 501 參考文獻(xiàn)與歷史注釋 502 第 18 章 多智能體決策 505 18.1 多智能體環(huán)境的特性 505 18.1.1 單個(gè)決策者 505 18.1.2 多決策者 506 18.1.3 多智能體規(guī)劃 507 18.1.4 多智能體規(guī)劃：合作與協(xié)調(diào) 509 18.2 非合作博弈論 510 18.2.1 單步博弈：正則形式博弈 510 18.2.2 社會(huì)福利 513 18.2.3 重復(fù)博弈 517 18.2.4 序貫博弈：擴(kuò)展形式 520 18.2.5 不確定收益與輔助博弈 525 18.3 合作博弈論 527 18.3.1 聯(lián)盟結(jié)構(gòu)與結(jié)果 528 18.3.2 合作博弈中的策略 529 18.3.3 合作博弈中的計(jì)算 531 18.4 制定集體決策 533 18.4.1 在合同網(wǎng)中分配任務(wù) 533 18.4.2 通過拍賣分配稀缺資源 535 18.4.3 投票 539 18.4.4 議價(jià) 541 小結(jié) 544 參考文獻(xiàn)與歷史注釋 545 第五部分 機(jī)器學(xué)習(xí) 第 19 章 樣例學(xué)習(xí) 550 19.1 學(xué)習(xí)的形式 550 19.2 監(jiān)督學(xué)習(xí) 552 19.3 決策樹學(xué)習(xí) 555 19.3.1 決策樹的表達(dá)能力 556 19.3.2 從樣例中學(xué)習(xí)決策樹 557 19.3.3 選擇測(cè)試屬性 559 19.3.4 泛化與過擬合 560 19.3.5 拓展決策樹的適用范圍 562 19.4 模型選擇與模型優(yōu)化 563 19.4.1 模型選擇 564 19.4.2 從錯(cuò)誤率到損失函數(shù) 566 19.4.3 正則化 567 19.4.4 超參數(shù)調(diào)整 568 19.5 學(xué)習(xí)理論 569 19.6 線性回歸與分類 572 19.6.1 單變量線性回歸 572 19.6.2 梯度下降 574 19.6.3 多變量線性回歸 575 19.6.4 帶有硬閾值的線性分類器 577 19.6.5 基于邏輯斯諦回歸的線性分類器 579 19.7 非參數(shù)模型 581 19.7.1 最近鄰模型 581 19.7.2 使用 k-d 樹尋找最近鄰 583 19.7.3 局部敏感哈希 584 19.7.4 非參數(shù)回歸 585 19.7.5 支持向量機(jī) 586 19.7.6 核技巧 589 19.8 集成學(xué)習(xí) 589 19.8.1 自助聚合法 590 19.8.2 隨機(jī)森林法 590 19.8.3 堆疊法 591 19.8.4 自適應(yīng)提升法 592 19.8.5 梯度提升法 594 19.8.6 在線學(xué)習(xí) 595 19.9 開發(fā)機(jī)器學(xué)習(xí)系統(tǒng) 596 19.9.1 問題形式化 596 19.9.2 數(shù)據(jù)收集、評(píng)估和管理 597 19.9.3 模型選擇與訓(xùn)練 601 19.9.4 信任、可解釋性、可說明性 601 19.9.5 操作、監(jiān)控和維護(hù) 603 小結(jié) 604 參考文獻(xiàn)與歷史注釋 605 第 20 章 概率模型學(xué)習(xí) 610 20.1 統(tǒng)計(jì)學(xué)習(xí) 610 20.2 完全數(shù)據(jù)學(xué)習(xí) 613 20.2.1 最大似然參數(shù)學(xué)習(xí)：離散模型 613 20.2.2 樸素貝葉斯模型 615 20.2.3 生成模型和判別模型 616 20.2.4 最大似然參數(shù)學(xué)習(xí)：連續(xù)模型 616 20.2.5 貝葉斯參數(shù)學(xué)習(xí) 618 20.2.6 貝葉斯線性回歸 620 20.2.7 貝葉斯網(wǎng)絡(luò)結(jié)構(gòu)學(xué)習(xí) 622 20.2.8 非參數(shù)模型密度估計(jì) 623 20.3 隱變量學(xué)習(xí)：EM 算法 624 20.3.1 無監(jiān)督聚類：學(xué)習(xí)混合高斯 625 20.3.2 學(xué)習(xí)帶隱變量的貝葉斯網(wǎng)絡(luò)參數(shù)值 627 20.3.3 學(xué)習(xí)隱馬爾可夫模型 630 20.3.4 EM 算法的一般形式 630 20.3.5 學(xué)習(xí)帶隱變量的貝葉斯網(wǎng)絡(luò)結(jié)構(gòu) 631 小結(jié) 632 參考文獻(xiàn)與歷史注釋 632 第 21 章 深度學(xué)習(xí) 635 21.1 簡單前饋網(wǎng)絡(luò) 636 21.1.1 網(wǎng)絡(luò)作為復(fù)雜函數(shù) 636 21.1.2 梯度與學(xué)習(xí) 639 21.2 深度學(xué)習(xí)的計(jì)算圖 640 21.2.1 輸入編碼 641 21.2.2 輸出層與損失函數(shù) 641 21.2.3 隱藏層 642 21.3 卷積網(wǎng)絡(luò) 643 21.3.1 池化與下采樣 646 21.3.2 卷積神經(jīng)網(wǎng)絡(luò)的張量運(yùn)算 646 21.3.3 殘差網(wǎng)絡(luò) 647 21.4 學(xué)習(xí)算法 648 21.4.1 計(jì)算圖中的梯度計(jì)算 649 21.4.2 批量歸一化 650 21.5 泛化 650 21.5.1 選擇正確的網(wǎng)絡(luò)架構(gòu) 651 21.5.2 神經(jīng)架構(gòu)搜索 652 21.5.3 權(quán)重衰減 653 21.5.4 暫退法 653 21.6 循環(huán)神經(jīng)網(wǎng)絡(luò) 654 21.6.1 訓(xùn)練基本的循環(huán)神經(jīng)網(wǎng)絡(luò) 655 21.6.2 長短期記憶 RNN 656 21.7 無監(jiān)督學(xué)習(xí)與遷移學(xué)習(xí) 657 21.7.1 無監(jiān)督學(xué)習(xí) 657 21.7.2 遷移學(xué)習(xí)和多任務(wù)學(xué)習(xí) 661 21.8 應(yīng)用 662 21.8.1 視覺 662 21.8.2 自然語言處理 663 21.8.3 強(qiáng)化學(xué)習(xí) 663 小結(jié) 664 參考文獻(xiàn)與歷史注釋 664 第 22 章 強(qiáng)化學(xué)習(xí) 668 22.1 從獎(jiǎng)勵(lì)中學(xué)習(xí) 668 22.2 被動(dòng)強(qiáng)化學(xué)習(xí) 670 22.2.1 直接效用估計(jì) 671 22.2.2 自適應(yīng)動(dòng)態(tài)規(guī)劃 671 22.2.3 時(shí)序差分學(xué)習(xí) 672 22.3 主動(dòng)強(qiáng)化學(xué)習(xí) 674 22.3.1 探索 675 22.3.2 安全探索 677 22.3.3 時(shí)序差分 Q 學(xué)習(xí) 678 22.4 強(qiáng)化學(xué)習(xí)中的泛化 680 22.4.1 近似直接效用估計(jì) 680 22.4.2 近似時(shí)序差分學(xué)習(xí) 681 22.4.3 深度強(qiáng)化學(xué)習(xí) 682 22.4.4 獎(jiǎng)勵(lì)函數(shù)設(shè)計(jì) 683 22.4.5 分層強(qiáng)化學(xué)習(xí) 683 22.5 策略搜索 686 22.6 學(xué)徒學(xué)習(xí)與逆強(qiáng)化學(xué)習(xí) 688 22.7 強(qiáng)化學(xué)習(xí)的應(yīng)用 690 22.7.1 在電子游戲中的應(yīng)用 690 22.7.2 在機(jī)器人控制中的應(yīng)用 691 小結(jié) 692 參考文獻(xiàn)與歷史注釋 693 第六部分 溝通、感知和行動(dòng) 第 23 章 自然語言處理 698 23.1 語言模型 698 23.1.1 詞袋模型 699 23.1.2 n 元單詞模型 700 23.1.3 其他 n 元模型 701 23.1.4 n 元模型的平滑 701 23.1.5 單詞表示 702 23.1.6 詞性標(biāo)注 703 23.1.7 語言模型的比較 706 23.2 文法 707 23.3 句法分析 709 23.3.1 依存分析 711 23.3.2 從樣例中學(xué)習(xí)句法分析器 712 23.4 擴(kuò)展文法 713 23.4.1 語義解釋 715 23.4.2 學(xué)習(xí)語義文法 717 23.5 真實(shí)自然語言的復(fù)雜性 717 23.6 自然語言任務(wù) 720 小結(jié) 722 參考文獻(xiàn)與歷史注釋 722 第 24 章 自然語言處理中的深度學(xué)習(xí) 727 24.1 詞嵌入 727 24.2 自然語言處理中的循環(huán)神經(jīng)網(wǎng)絡(luò) 730 24.2.1 使用循環(huán)神經(jīng)網(wǎng)絡(luò)的語言模型 730 24.2.2 用循環(huán)神經(jīng)網(wǎng)絡(luò)進(jìn)行分類 732 24.2.3 自然語言處理任務(wù)中的 LSTM模型 733 24.3 序列到序列模型 733 24.3.1 注意力 735 24.3.2 解碼 736 24.4 Transformer 架構(gòu) 737 24.4.1 自注意力 737 24.4.2 從自注意力到 Transformer 738 24.5 預(yù)訓(xùn)練和遷移學(xué)習(xí) 739 24.5.1 預(yù)訓(xùn)練詞嵌入 740 24.5.2 預(yù)訓(xùn)練上下文表示 741 24.5.3 掩碼語言模型 742 24.6 最高水平（SOTA） 742 小結(jié) 745 參考文獻(xiàn)與歷史注釋 745 第 25 章 計(jì)算機(jī)視覺 748 25.1 引言 748 25.2 圖像形成 749 25.2.1 無透鏡成像：針孔照相機(jī) 749 25.2.2 透鏡系統(tǒng) 751 25.2.3 縮放正交投影 752 25.2.4 光線與明暗 752 25.2.5 顏色 753 25.3 簡單圖像特征 754 25.3.1 邊緣 755 25.3.2 紋理 757 25.3.3 光流 758 25.3.4 自然圖像分割 759 25.4 圖像分類 760 25.4.1 基于卷積神經(jīng)網(wǎng)絡(luò)的圖像分類 761 25.4.2 卷積神經(jīng)網(wǎng)絡(luò)對(duì)圖像分類問題 有效的原因 762 25.5 物體檢測(cè) 763 25.6 三維世界 766 25.6.1 多個(gè)視圖下的三維線索 766 25.6.2 雙目立體視覺 766 25.6.3 移動(dòng)攝像機(jī)給出的三維線索 768 25.6.4 單個(gè)視圖的三維線索 769 25.7 計(jì)算機(jī)視覺的應(yīng)用 769 25.7.1 理解人類行為 770 25.7.2 匹配圖片與文字 772 25.7.3 多視圖重建 773 25.7.4 單視圖中的幾何 774 25.7.5 生成圖片 775 25.7.6 利用視覺控制運(yùn)動(dòng) 778 小結(jié) 780 參考文獻(xiàn)與歷史注釋 781 第 26 章 機(jī)器人學(xué) 785 26.1 機(jī)器人 785 26.2 機(jī)器人硬件 786 26.2.1 機(jī)器人的硬件層面分類 786 26.2.2 感知世界 787 26.2.3 產(chǎn)生運(yùn)動(dòng) 789 26.3 機(jī)器人學(xué)解決哪些問題 789 26.4 機(jī)器人感知 790 26.4.1 定位與地圖構(gòu)建 791 26.4.2 其他感知類型 795 26.4.3 機(jī)器人感知中的監(jiān)督學(xué)習(xí)與無監(jiān)督學(xué)習(xí) 795 26.5 規(guī)劃與控制 796 26.5.1 構(gòu)形空間 796 26.5.2 運(yùn)動(dòng)規(guī)劃 799 26.5.3 軌跡跟蹤控制 806 26.5.4 最優(yōu)控制 809 26.6 規(guī)劃不確定的運(yùn)動(dòng) 810 26.7 機(jī)器人學(xué)中的強(qiáng)化學(xué)習(xí) 812 26.7.1 利用模型 812 26.7.2 利用其他信息 813 26.8 人類與機(jī)器人 814 26.8.1 協(xié)調(diào) 814 26.8.2 學(xué)習(xí)做人類期望的事情 817 26.9 其他機(jī)器人框架 820 26.9.1 反應(yīng)式控制器 820 26.9.2 包容架構(gòu) 821 26.10 應(yīng)用領(lǐng)域 822 小結(jié) 825 參考文獻(xiàn)與歷史注釋 826 第七部分 總結(jié) 第 27 章 人工智能的哲學(xué)、倫理和安全性 832 27.1 人工智能的極限 832 27.1.1 由非形式化得出的論據(jù) 832 27.1.2 由能力缺陷得出的論據(jù) 833 27.1.3 數(shù)學(xué)異議 833 27.1.4 衡量人工智能 834 27.2 機(jī)器能真正地思考嗎 835 27.2.1 中文房間 835 27.2.2 意識(shí)與感質(zhì) 836 27.3 人工智能的倫理 836 27.3.1 致命性自主武器 837 27.3.2 監(jiān)控、安全與隱私 839 27.3.3 公平與偏見 841 27.3.4 信任與透明度 844 27.3.5 工作前景 845 27.3.6 機(jī)器人權(quán)利 847 27.3.7 人工智能安全性 848 小結(jié) 851 參考文獻(xiàn)與歷史注釋 852 第 28 章 人工智能的未來 857 28.1 人工智能組件 857 28.2 人工智能架構(gòu) 862 附錄 A 數(shù)學(xué)背景知識(shí) 865 附錄 B 關(guān)于語言與算法的說明 871 參考文獻(xiàn) 873