第1章 緒論 1
1.1　什么是人工神經(jīng)網(wǎng)絡 1
1.2　發(fā)展歷史 2
1.3　人腦 4
1.4　Hebb法則 7
1.5　神經(jīng)元模型 7
1.6　神經(jīng)網(wǎng)絡的拓撲結(jié)構(gòu) 9
1.7　知識表示 11
1.8　神經(jīng)網(wǎng)絡的學習算法 15
1.9　神經(jīng)網(wǎng)絡的學習任務 17
1.10　小結(jié) 20
參考文獻 21
第2章 感知機 22
2.1　引言 22
2.2　實例引入 22
2.3　Rosenblatt感知機 23
2.3.1 感知機的結(jié)構(gòu) 23
2.3.2 單層感知機與多層感知機 23
2.3.3 感知機的學習 27
2.4　最小均方誤差 27
2.4.1 線性回歸問題引入 27
2.4.2 最小均方算法 28
2.5　實戰(zhàn)Iris模式分類 30
2.6　小結(jié) 31
參考文獻 32
習題 32
第3章 多層前饋神經(jīng)網(wǎng)絡 33
3.1　引言 33
3.2　多層前饋神經(jīng)網(wǎng)絡模型結(jié)構(gòu) 33
3.3　BP神經(jīng)網(wǎng)絡 35
3.3.1 BP神經(jīng)網(wǎng)絡的介紹 35
3.3.2 BP算法 35
3.3.3 編程實戰(zhàn) 38
3.4　RBF神經(jīng)網(wǎng)絡 41
3.4.1 什么是RBF神經(jīng)網(wǎng)絡 41
3.4.2 RBF神經(jīng)網(wǎng)絡的學習過程 42
3.4.3 RBF神經(jīng)網(wǎng)絡與BP神經(jīng)網(wǎng)絡的區(qū)別 42
3.5　泛化能力 43
3.5.1 什么是泛化 43
3.5.2 如何提高泛化能力 44
3.6　函數(shù)逼近 46
3.6.1 通用逼近定理 46
3.6.2 逼近誤差的邊界 46
3.6.3 維數(shù)災難 47
3.7　BP算法的優(yōu)點和缺點 48
3.7.1 BP算法的優(yōu)點 48
3.7.2 BP算法的缺點 49
3.8　人臉識別應用 50
3.8.1 人臉圖像的小波變換 52
3.8.2 BP神經(jīng)網(wǎng)絡的分類識別 53
3.8.3 RBF神經(jīng)網(wǎng)絡的分類識別 53
3.8.4 實驗結(jié)果 54
3.9　小結(jié) 55
參考文獻 55
習題 56
第4章 正則化理論 57
4.1　引言 57
4.2　良態(tài)問題的Hadamard條件 58
4.3　正則化理論 58
4.4　正則化網(wǎng)絡 66
4.5　廣義RBF神經(jīng)網(wǎng)絡 66
4.6　正則化最小二乘估計 69
4.7　半監(jiān)督學習 71
4.8　正則化參數(shù)估計 71
4.9　流形正則化 75
4.10　廣義正則化理論 76
4.11　用半監(jiān)督學習對模式分類的
實驗 77
4.12　小結(jié) 79
參考文獻 80
習題 81
第5章 極限學習機模型及應用 84
5.1　引言 84
5.2　預備知識 84
5.2.1 核方法 84
5.2.2 支持向量機 86
5.3　極限學習機模型 91
5.4　核極限學習機 94
5.5　正則極限學習機 95
5.6　基于正則極限學習機的圖像復原 97
5.7　基于正規(guī)方程式的核極限學習機 99
5.7.1 模型結(jié)構(gòu)與算法 99
5.7.2 基于NE-KELM的模式識別實驗 101
5.8　基于共軛梯度的核極限學習機 103
5.8.1 共軛梯度法 104
5.8.2 模型結(jié)構(gòu)與算法 104
5.8.3 基于CG-KELM的圖像復原實驗 105
5.9　流形正則化核極限學習機 107
5.9.1 流形正則化核極限學習機的模型結(jié)構(gòu)與算法 107
5.9.2 基于MR-KELM的糖尿病檢測實驗 107
5.10　基于核極限學習機的醫(yī)療診斷系統(tǒng) 108
5.10.1 PL-KELM的流程 108
5.10.2 基于PL-KELM的模式識別實驗 110
5.10.3 腫瘤細胞識別系統(tǒng) 111
5.11　小結(jié) 112
參考文獻 113
習題 114
第6章 形態(tài)神經(jīng)網(wǎng)絡 115
6.1　引言 115
6.2　形態(tài)學算法基礎 115
6.2.1 數(shù)學形態(tài)學的定義 115
6.2.2 數(shù)學形態(tài)濾波 116
6.3　形態(tài)神經(jīng)網(wǎng)絡模型 117
6.4　形態(tài)聯(lián)想記憶神經(jīng)網(wǎng)絡模型及其攝動魯棒性 118
6.4.1 MAM神經(jīng)網(wǎng)絡的數(shù)學基礎與相關(guān)定義 118
6.4.2 兩種MAM神經(jīng)網(wǎng)絡的攝動魯棒性 119
6.5　進化形態(tài)神經(jīng)網(wǎng)絡 123
6.5.1 進化形態(tài)神經(jīng)網(wǎng)絡的學習算法 124
6.5.2 基于進化形態(tài)神經(jīng)網(wǎng)絡的圖像復原 125
6.6　小結(jié) 127
參考文獻 127
習題 129
第7章 自組織映射 130
7.1　引言 130
7.2　兩個基本的特征映射模型 131
7.3　SOM概述 132
7.4　特征映射的性質(zhì) 137
7.5　核SOM概述 142
7.6　小結(jié) 148
參考文獻 149
習題 149
第8章 卷積神經(jīng)網(wǎng)絡模型及應用 151
8.1　引言 151
8.2　卷積神經(jīng)網(wǎng)絡模型 152
8.2.1 卷積神經(jīng)網(wǎng)絡的基本結(jié)構(gòu)和原理 152
8.2.2 LeNet-5 159
8.2.3 AlexNet 160
8.2.4 VGGNet 167
8.2.5 Inception 170
8.2.6 ResNet 179
8.2.7 Inception-ResNet 188
8.3　基于卷積神經(jīng)網(wǎng)絡的白細胞分類 190
8.3.1 白細胞圖像去噪 191
8.3.2 基于k-Means顏色聚類算法的顯微白細胞圖像分割 194
8.3.3 基于改進卷積神經(jīng)網(wǎng)絡的顯微
白細胞圖像識別 195
8.4　結(jié)合卷積神經(jīng)網(wǎng)絡和極限學習機的人臉識別 200
8.4.1 卷積神經(jīng)網(wǎng)絡參數(shù)訓練 201
8.4.2 正則極限學習機進行圖像分類 202
8.4.3 基于CNN-RELM的人臉識別模型實驗與對比分析 203
8.5　基于深度遷移學習的腫瘤細胞圖像識別 206
8.5.1 引言 206
8.5.2 正則化與遷移學習 207
8.5.3 基于深度遷移學習的腫瘤細胞圖像識別 208
8.6 小結(jié) 212
參考文獻 212
習題 213
第9章 生成對抗網(wǎng)絡模型 214
9.1　引言 214
9.2　預備知識 214
9.2.1 GAN基礎模型 215
9.2.2 GAN訓練 216
9.2.3 平衡狀態(tài) 216
9.2.4 為什么學習GAN 217
9.2.5 GAN概述 218
9.2.6 顯式密度模型 218
9.2.7 隱式密度模型 218
9.2.8 GAN與其他生成算法比較 218
9.3　GAN的基礎理論 219
9.3.1 GAN的基礎——對抗訓練 219
9.3.2 損失函數(shù) 220
9.3.3 訓練過程 220
9.3.4 生成器和鑒別器 221
9.3.5 目標沖突 222
9.3.6 混淆矩陣 222
9.3.7 GAN訓練算法 223
9.4　訓練和常見挑戰(zhàn) 223
9.4.1 評價 223
9.4.2 評價框架 224
9.4.3 Inception Score 225
9.4.4 Frechet Inception Distance（FID） 225
9.4.5 訓練挑戰(zhàn) 226
9.4.6 增加網(wǎng)絡深度 226
9.4.7 各種GAN游戲設置 227
9.4.8 什么時候停止訓練 230
9.5　訓練技巧 231
9.5.1 輸入標準化 231
9.5.2 批量標準化 231
9.5.3 理解標準化 231
9.5.4 計算BN 232
9.5.5 梯度懲罰 232
9.5.6 多訓練鑒別器 232
9.5.7 避免稀疏梯度 233
9.5.8 使用軟標簽和帶噪聲的標簽 233
9.6　自注意生成對抗網(wǎng)絡 233
9.6.1 注意力 233
9.6.2 自注意力 235
9.6.3 核心代碼 236
9.7　進化生成對抗網(wǎng)絡 237
9.7.1 基本介紹 237
9.7.2 動機 237
9.7.3 進化算法 238
9.7.4 生成的圖像 240
9.8　生成對抗網(wǎng)絡和遷移學習 240
9.8.1 遷移學習的概念 240
9.8.2 為什么要遷移學習 241
9.8.3 遷移學習的基本形式 242
9.8.4 GAN和遷移學習的聯(lián)系 243
9.9　對抗領(lǐng)域自適應用于腫瘤圖像診斷 243
9.9.1 對抗領(lǐng)域自適應網(wǎng)絡模型 244
9.9.2 特征提取器 245
9.9.3 數(shù)據(jù)集和實驗設置 246
9.9.4 結(jié)果分析與討論 246
9.9.5 探討 247
9.10　小結(jié) 247
參考文獻 247
習題 249
第10章 長短時記憶網(wǎng)絡 250
10.1　引言 250
10.2　RNN 250
10.2.1 RNN的結(jié)構(gòu)模型 250
10.2.2 RNN模型的優(yōu)缺點 251
10.3　LSTM的結(jié)構(gòu)模型與實現(xiàn) 252
10.4　LSTM的學習算法 253
10.5　LSTM的網(wǎng)絡方程 255
10.6　LSTM的實際應用 257
10.6.1 數(shù)據(jù)預處理 257
10.6.2 建立模型與訓練 258
10.6.3 結(jié)果展示 259
10.7　小結(jié) 259
參考文獻 260
習題 260
第11章 模糊神經(jīng)網(wǎng)絡 261
11.1　緒論 261
11.1.1 模糊集合、模糊邏輯理論及其運算 261
11.1.2 模糊邏輯推理 264
11.1.3 FNN概述 267
11.2　訓練模式對的攝動對MFNN的影響 271
11.2.1 FNN中的攝動魯棒性 271
11.2.2 MFNN及其學習算法 273
11.2.3 分析訓練模式對的攝動對MFNN的影響 275
11.3　折線FNN的泛逼近性 279
11.3.1 相關(guān)記號與術(shù)語 279
11.3.2 折線模糊數(shù) 280
11.3.3 三層前饋折線FNN 282
11.3.4 折線FNN對模糊函數(shù)的通用逼近性 285
11.3.5 輸入為一般模糊數(shù)的折線FNN的通用逼近性 291
11.3.6 一般折線FNN的通用逼近性分析 296
11.4　模糊化神經(jīng)網(wǎng)絡的學習算法 301
11.4.1 折線FNN的學習算法 302
11.4.2 折線FNN的模糊學習算法 305
11.4.3 正則FNN的學習算法 312
11.5　小結(jié) 317
參考文獻 318
習題 319