為了適應(yīng)和持續(xù)推動人工智能學(xué)科和多學(xué)科交叉領(lǐng)域的新發(fā)展，本書遵循“理論化—典型化—應(yīng)用化”的思路，秉持以理論學(xué)習(xí)和工程應(yīng)用為主要背景論述深度學(xué)習(xí)基礎(chǔ)理論、方法和應(yīng)用的宗旨，結(jié)合團隊多年領(lǐng)域研究和課堂教學(xué)實踐，從深度神經(jīng)網(wǎng)絡(luò)的核心結(jié)構(gòu)和原理出發(fā)，闡述了典型神經(jīng)網(wǎng)絡(luò)及其實際應(yīng)用。
全書分為四部分，共16章。其中，深度學(xué)習(xí)理論概述部分(第1章)分析了人工智能的歷史、發(fā)展與現(xiàn)狀；深度學(xué)習(xí)模型基礎(chǔ)部分（第2~8章)從神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)出發(fā)，討論了人工神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)、原理、性質(zhì)與典型應(yīng)用，并依序詳細回顧了反向傳播算法、卷積神經(jīng)網(wǎng)絡(luò)、自編碼網(wǎng)絡(luò)、Hopfield神經(jīng)網(wǎng)絡(luò)、循環(huán)神經(jīng)網(wǎng)絡(luò)等幾類基本網(wǎng)絡(luò)的功能、結(jié)構(gòu)、算法與典型應(yīng)用； 深度學(xué)習(xí)進階部分（第9~14章)分別對殘差網(wǎng)絡(luò)、生成式對抗網(wǎng)絡(luò)、深度強化學(xué)習(xí)、圖神經(jīng)網(wǎng)絡(luò)、多尺度深度幾何網(wǎng)絡(luò)、Transformer網(wǎng)絡(luò)進行了介紹；
深度學(xué)習(xí)實戰(zhàn)和展望部分（第15和16章)簡述了幾種深度學(xué)習(xí)實驗平臺、工具的實例與方法，并在深度學(xué)習(xí)總結(jié)與展望中對深度學(xué)習(xí)的發(fā)展歷程進行了回顧，展望了深度學(xué)習(xí)未來的發(fā)展方向。
本書可用于人工智能、智能科學(xué)與技術(shù)、大數(shù)據(jù)科學(xué)與技術(shù)、智能機器人、電子科學(xué)與技術(shù)、人工智能技術(shù)服務(wù)等領(lǐng)域相關(guān)專業(yè)本科生或研究生的實踐教學(xué)，也可供相關(guān)專業(yè)技術(shù)人員參考。
受生物神經(jīng)網(wǎng)絡(luò)的啟發(fā)，人工神經(jīng)網(wǎng)絡(luò)通過模擬人腦工作的分布式協(xié)同并行機制來處理復(fù)雜任務(wù)，成為人工智能領(lǐng)域重要的研究方向。為了提升神經(jīng)網(wǎng)絡(luò)的“智力水平”，將神經(jīng)網(wǎng)絡(luò)由“淺”做“深”，網(wǎng)絡(luò)的結(jié)構(gòu)設(shè)計成為領(lǐng)域中重要的研究課題。卷積神經(jīng)網(wǎng)絡(luò)通過局部連接、權(quán)值共享等思想約減參數(shù)量，擴展了網(wǎng)絡(luò)深度，開啟了“深度學(xué)習(xí)時代”�，F(xiàn)在，深度學(xué)習(xí)指使用深度神經(jīng)網(wǎng)絡(luò)， 通過訓(xùn)練從大量數(shù)據(jù)中學(xué)習(xí)知識，它是人工智能領(lǐng)域最熱門的研究方向。
深度神經(jīng)網(wǎng)絡(luò)設(shè)計范式中，一方面， 通過多通路、并行化的網(wǎng)絡(luò)設(shè)計來削弱單純增加“深度”帶來的種種問題，將塔式結(jié)構(gòu)、對稱性等融入網(wǎng)絡(luò)的設(shè)計過程中；另一方面， 深度生成模型(如生成式對抗網(wǎng)絡(luò)和變分自編碼器等)可以通過生成訓(xùn)練數(shù)據(jù)集的概率密度函數(shù)來實現(xiàn)數(shù)據(jù)擴充。深度學(xué)習(xí)與強化學(xué)習(xí)優(yōu)勢互補，形成了更接近人類思維方式的深度強化學(xué)習(xí)，為復(fù)雜系統(tǒng)的感知決策問題提供了解決思路。圖域信息處理中的圖神經(jīng)網(wǎng)絡(luò)對于非歐幾里得數(shù)據(jù)的圖譜結(jié)構(gòu)數(shù)據(jù)能夠很好地進行表示，同時具有較好的性能與可解釋性，也走向了和深度學(xué)習(xí)的融合之路。
在人工智能領(lǐng)域的深度學(xué)習(xí)研究如火如荼展開的同時，它在交叉領(lǐng)域也得到了廣泛應(yīng)用：深度神經(jīng)網(wǎng)絡(luò)在物理、醫(yī)學(xué)、天文、航空航天等學(xué)科中成為新的研究工具，并催生了一批新方法和新成果。從未有如此多領(lǐng)域的研究人員和行業(yè)從業(yè)人員都涉獵神經(jīng)網(wǎng)絡(luò)的拓展應(yīng)用，從未有如此多的年輕學(xué)生對神經(jīng)網(wǎng)絡(luò)投入學(xué)習(xí)熱情。
為了適應(yīng)和持續(xù)推動學(xué)科和領(lǐng)域的新發(fā)展，本團隊秉持以理論學(xué)習(xí)和工程應(yīng)用為主要背景論述深度學(xué)習(xí)基礎(chǔ)理論、方法和應(yīng)用的宗旨，結(jié)合團隊多年領(lǐng)域研究和課堂教學(xué)實踐，編寫了本書。本書從深度學(xué)習(xí)的模型基礎(chǔ)出發(fā)， 闡述了深度學(xué)習(xí)的范疇、基本原理等內(nèi)容， 匯集了一批經(jīng)典的、目前仍在神經(jīng)科學(xué)研究領(lǐng)域中得到廣泛應(yīng)用的技術(shù)方法，以及一些當(dāng)前正在興起的、已處于應(yīng)用階段或正待完善的新的研究技術(shù)。本書的編寫遵循“理論化—典型化—應(yīng)用化”的思路，章節(jié)安排都從深度神經(jīng)網(wǎng)絡(luò)的核心結(jié)構(gòu)和原理出發(fā)，引出典型神經(jīng)網(wǎng)絡(luò)，最后給出實際應(yīng)用。
本書的出版離不開團隊多位老師和研究生的支持與幫助，感謝團隊中侯彪、劉靜、公茂果、王爽、張向榮、吳建設(shè)、緱水平、梁雪峰、尚榮華、劉波、劉若辰等教授以及馬晶晶、馬文萍、白靜、朱虎明、田小林、張小華、曹向海等副教授對我們的關(guān)心支持與辛勤付出。感謝張丹、唐旭、任博、劉旭、馮志璽等老師在學(xué)術(shù)交流過程中無私地付出。
感謝西安電子科技大學(xué)智能感知與圖像理解教育部重點實驗室、智能感知與計算國際合作聯(lián)合實驗室、 智能感知與計算國際聯(lián)合研究中心、教育部創(chuàng)新團隊和國家“111”創(chuàng)新引智基地的支持；同時，我們的工作也得到了國家自然科學(xué)基金創(chuàng)新研究群體基金（61621005）、國家自然科學(xué)基金重點項目（61836009）、國家自然科學(xué)基金重大研究計劃（91438201）、國防科技173計劃項目、國家自然科學(xué)基金（62076192、61902298、61906150、62006177）、教育部規(guī)劃項目、教育部“111”引智計劃（B07048）、教育部長江學(xué)者創(chuàng)新研究團隊計劃（IRT 15R53）、陜西省創(chuàng)新團隊（2020TD017）、陜西省重點研發(fā)計劃（2019ZDLGY0306）等科研項目的支持，特此感謝。還要特別感謝西安電子科技大學(xué)出版社的大力支持和幫助，衷心感謝毛紅兵老師、 高維岳老師及其他編輯老師付出的辛勤勞動與努力， 還要感謝書中所有被引用文獻的作者。
20世紀(jì)90年代初我們出版了《神經(jīng)網(wǎng)絡(luò)系統(tǒng)理論》《神經(jīng)網(wǎng)絡(luò)計算》《神經(jīng)網(wǎng)絡(luò)的應(yīng)用與實現(xiàn)》等系列專著。三十多年來人工神經(jīng)網(wǎng)絡(luò)已經(jīng)取得了長足的進步，本書在之前的研究基礎(chǔ)上對近年來神經(jīng)網(wǎng)絡(luò)的發(fā)展現(xiàn)狀及研究趨勢進行概括和闡述，取材和安排完全源于作者的偏好。由于水平有限，書中不妥之處在所難免，懇請廣大讀者批評指正。
作 者
2023年8月于西安電子科技大學(xué)
第1章 緒論 1
1.1 人工智能 1
1.1.1 人工智能 1
1.1.2 人工神經(jīng)網(wǎng)絡(luò)與人工智能的區(qū)別 8
1.1.3 人工神經(jīng)網(wǎng)絡(luò)與人工智能的互補性 9
1.2 機器學(xué)習(xí) 10
1.2.1 第一次研究高潮 10
1.2.2 第二次研究高潮 15
1.2.3 神經(jīng)網(wǎng)絡(luò): 最近30年 18
1.3 深度學(xué)習(xí) 23
本章參考文獻 23
第2章 神經(jīng)網(wǎng)絡(luò)基礎(chǔ) 26
2.1 神經(jīng)元 26
2.1.1 生物神經(jīng)元 26
2.1.2 McCullochPitts神經(jīng)元 27
2.2 卷積層 33
2.3 池化層 36
2.4 正則化 38
2.5 梯度下降法 38
2.5.1 線性單元的梯度下降法 38
2.5.2 隨機梯度下降法 41
本章參考文獻 42
第3章 反向傳播算法 43
3.1 反向傳播機制 43
3.2 反向傳播算法性能分析 47
3.3 改進的反向傳播算法 48
3.3.1 帶動量項自適應(yīng)變步長BP算法(ABPM) 48
3.3.2 同倫BP算法(HBP) 49
3.3.3 LMBP算法 49
3.4 反向傳播算法實現(xiàn)的幾點說明 50
本章參考文獻 51
第4章 卷積神經(jīng)網(wǎng)絡(luò)（一） 52
4.1 結(jié)構(gòu)和學(xué)習(xí)算法 52
4.1.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 52
4.1.2 卷積神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法 54
4.2 兩種經(jīng)典的卷積神經(jīng)網(wǎng)絡(luò) 55
4.2.1 LeNet 55
4.2.2 AlexNet 56
4.3 案例與實踐 57
4.3.1 圖像語義分割 57
4.3.2 目標(biāo)檢測 59
4.3.3 目標(biāo)跟蹤 61
本章參考文獻 63
第5章 卷積神經(jīng)網(wǎng)絡(luò)（二） 64
5.1 卷積神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)和原理 64
5.1.1 卷積運算 64
5.1.2 池化操作 65
5.1.3 激活函數(shù) 66
5.1.4 損失函數(shù) 66
5.2 幾種經(jīng)典的深度卷積神經(jīng)網(wǎng)絡(luò) 66
5.2.1 VGG 66
5.2.2 GoogLeNet 68
5.3 案例與實踐 71
5.3.1 圖像分類 71
5.3.2 圖像分割 72
5.3.3 目標(biāo)檢測 73
本章參考文獻 76
第6章 自編碼網(wǎng)絡(luò) 77
6.1 自編碼網(wǎng)絡(luò)的結(jié)構(gòu) 77
6.2 自編碼網(wǎng)絡(luò)的原理 78
6.3 幾種經(jīng)典的自編碼網(wǎng)絡(luò) 79
6.3.1 稀疏自編碼(SAE) 79
6.3.2 收縮自編碼(CAE) 80
6.3.3 棧式自編碼(SA) 81
6.4 案例與實踐 82
6.4.1 圖像分類 82
6.4.2 目標(biāo)檢測 84
6.4.3 目標(biāo)跟蹤 86
本章參考文獻 87
第7章 Hopfield神經(jīng)網(wǎng)絡(luò) 89
7.1 Hopfield神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 89
7.2 Hopfield反饋神經(jīng)網(wǎng)絡(luò)的原理 91
7.3 Hopfield反饋神經(jīng)網(wǎng)絡(luò)的非線性動力學(xué) 95
7.3.1 狀態(tài)軌跡為網(wǎng)絡(luò)的穩(wěn)定點 96
7.3.2 狀態(tài)軌跡為極限環(huán) 97
7.3.3 狀態(tài)軌跡為混沌狀態(tài) 98
7.3.4 狀態(tài)軌跡發(fā)散 98
7.4 案例與實踐 98
7.4.1 TSP問題 98
7.4.2 圖像分割 100
7.4.3 人臉識別 101
本章參考文獻 104
第8章 循環(huán)神經(jīng)網(wǎng)絡(luò) 106
8.1 循環(huán)神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 106
8.2 循環(huán)神經(jīng)網(wǎng)絡(luò)的原理 108
8.3 幾種經(jīng)典的循環(huán)神經(jīng)網(wǎng)絡(luò) 109
8.3.1 長短時記憶網(wǎng)絡(luò)(LSTM) 109
8.3.2 雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(BiRNN) 110
8.3.3 深度雙向循環(huán)神經(jīng)網(wǎng)絡(luò)(Deep BiRNN) 111
8.4 案例與實踐 112
8.4.1 自動問答 112
8.4.2 文本摘要生成 114
8.4.3 目標(biāo)跟蹤 117
本章參考文獻 119
第9章 殘差網(wǎng)絡(luò) 121
9.1 結(jié)構(gòu)和原理 121
9.1.1 殘差網(wǎng)絡(luò)的結(jié)構(gòu) 121
9.1.2 殘差網(wǎng)絡(luò)的原理 123
9.2 幾種經(jīng)典的殘差網(wǎng)絡(luò) 124
9.2.1 寬剩余網(wǎng)絡(luò) 124
9.2.2 深度殘差金字塔網(wǎng)絡(luò) 127
9.2.3 空洞殘差網(wǎng)絡(luò) 131
9.3 案例與實踐 133
9.3.1 圖像分類 133
9.3.2 圖像分割 135
9.3.3 目標(biāo)檢測 138
本章參考文獻 139
第10章 生成式對抗網(wǎng)絡(luò) 141
10.1 結(jié)構(gòu)和原理 141
10.1.1 生成式對抗網(wǎng)絡(luò)的原理 141
10.1.2 生成式對抗網(wǎng)絡(luò)的結(jié)構(gòu) 141
10.2 幾種經(jīng)典的生成式對抗網(wǎng)絡(luò) 145
10.2.1 信息最大化生成對抗網(wǎng)絡(luò)(InfoGAN) 145
10.2.2 條件生成對抗網(wǎng)絡(luò)(CGAN) 146
10.2.3 深度卷積生成對抗網(wǎng)絡(luò)(DCGAN) 146
10.2.4 循環(huán)一致性生成對抗網(wǎng)絡(luò)(CycleGAN) 147
10.3 案例與實踐 149
10.3.1 數(shù)據(jù)增強 149
10.3.2 圖像補全(修復(fù)) 150
10.3.3 文本翻譯成圖像 152
本章參考文獻 154
第11章 深度強化學(xué)習(xí) 156
11.1 結(jié)構(gòu)和原理 156
11.1.1 深度強化學(xué)習(xí)的結(jié)構(gòu) 156
11.1.2 深度強化學(xué)習(xí)的原理 157
11.2 幾種經(jīng)典的深度強化學(xué)習(xí)網(wǎng)絡(luò) 160
11.2.1 基于卷積神經(jīng)網(wǎng)絡(luò)的深度強化學(xué)習(xí) 160
11.2.2 基于遞歸神經(jīng)網(wǎng)絡(luò)的深度強化學(xué)習(xí) 162
11.3 案例與實踐 164
11.3.1 玩Atari游戲 164
11.3.2 目標(biāo)檢測 165
11.3.3 目標(biāo)跟蹤 167
本章參考文獻 171
第12章 圖神經(jīng)網(wǎng)絡(luò) 172
12.1 結(jié)構(gòu)和原理 172
12.1.1 圖神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu) 172
12.1.2 圖神經(jīng)網(wǎng)絡(luò)的原理 173
12.2 幾種經(jīng)典的圖神經(jīng)網(wǎng)絡(luò) 176
12.2.1 基于空間域的圖卷積神經(jīng)網(wǎng)絡(luò) 177
12.2.2 基于譜域的圖卷積神經(jīng)網(wǎng)絡(luò) 181
12.2.3 圖注意力網(wǎng)絡(luò) 182
12.3 案例與實踐 184
12.3.1 圖像分類 184
12.3.2 目標(biāo)檢測 187
12.3.3 語義分割 190
本章參考文獻 191
第13章 多尺度深度幾何網(wǎng)絡(luò) 194
13.1 多尺度分析 194
13.1.1 小波神經(jīng)網(wǎng)絡(luò) 195
13.1.2 多小波網(wǎng)絡(luò) 196
13.2 多尺度幾何網(wǎng)絡(luò) 201
13.2.1 方向多分辨脊波網(wǎng)絡(luò) 202
13.2.2 深度曲線波散射網(wǎng)絡(luò) 209
13.2.3 輪廓波卷積神經(jīng)網(wǎng)絡(luò) 211
13.3 案例與實踐 213
13.3.1 極化SAR圖像分類 213
13.3.2 SAR圖像目標(biāo)檢測 216
本章參考文獻 218
第14章 Transformer網(wǎng)絡(luò) 221
14.1 Transformer基礎(chǔ)知識 221
14.1.1 Transformer的介紹 221
14.1.2 Transformer的結(jié)構(gòu)和原理 221
14.2 常見的Transformer變體 225
14.2.1 基于模型架構(gòu)的改進 226
14.2.2 基于其他模塊級的改進 227
14.3 案例與實踐 228
14.3.1 圖像分類 228
14.3.2 圖像分割 229
14.3.3 目標(biāo)檢測 232
本章參考文獻 233
第15章 深度學(xué)習(xí)實驗平臺 235
15.1 Pytorch 235
15.1.1 平臺介紹與應(yīng)用優(yōu)勢 235
15.1.2 常用的工具包 236
15.1.3 編碼實例 236
15.2 Tensorflow 239
15.2.1 平臺介紹與應(yīng)用優(yōu)勢 239
15.2.2 編碼實例 240
15.2.3 Keras API接口實例 242
第16章 總結(jié)與展望 244
16.1 深度學(xué)習(xí)的發(fā)展歷程 244
16.2 深度學(xué)習(xí)的未來方向 246
本章參考文獻 247
書單推薦
