第一部分 機(jī)器學(xué)習(xí)基礎(chǔ)

第1章 數(shù)學(xué)預(yù)備知識 2
1.1 度量空間 2
1.2 向量空間 3
1.3 巴拿赫空間與希爾伯特空間 4
1.4 概率空間 7
1.5 矩陣代數(shù) 8
1.5.1 Kronecker積 10
1.5.2 矩陣與向量微積分 11
1.6 凸優(yōu)化基礎(chǔ) 12
1.6.1 基本概念 12
1.6.2 凸集與凸函數(shù) 14
1.6.3 次微分 15
1.6.4 凸共軛 16
1.6.5 拉格朗日對偶公式 18
1.7 習(xí)題 20
第2章 線性與核分類器 22
2.1 引言 22
2.2 硬間隔線性分類器 23
2.2.1 可分離情況的最大間隔
分類器 23
2.2.2 對偶公式 25
2.2.3 KKT條件與支持向量 26
2.3 軟間隔線性分類器 27
2.4 采用核SVM的非線性
分類器 29
2.4.1 特征空間中的線性
分類器 29
2.4.2 核技巧 30
2.5 圖像分類的經(jīng)典方法 31
2.6 習(xí)題 32
第3章 線性回歸、邏輯回歸與
核回歸 34
3.1 引言 34
3.2 線性回歸 34
3.3 邏輯回歸 36
3.3.1 對數(shù)概率與線性回歸 36
3.3.2 使用邏輯回歸進(jìn)行
多分類 37
3.4 嶺回歸 38
3.5 核回歸 39
3.6 回歸中的偏差-方差權(quán)衡 41
3.7 習(xí)題 43
第4章 再生核希爾伯特空間與
表示定理 44
4.1 引言 44
4.2 再生核希爾伯特空間 45
4.2.1 特征映射和核 46
4.2.2 再生核希爾伯特空間的
定義 47
4.3 表示定理 49
4.4 表示定理的應(yīng)用 50
4.4.1 核嶺回歸 50
4.4.2 核SVM 51
4.5 核機(jī)器的優(yōu)缺點(diǎn) 53
4.6 習(xí)題 53
第二部分 深度學(xué)習(xí)的構(gòu)成要素

第5章 生物神經(jīng)網(wǎng)絡(luò) 56
5.1 引言 56
5.2 神經(jīng)元 56
5.2.1 神經(jīng)元解剖 56
5.2.2 信號傳輸機(jī)制 57
5.2.3 突觸可塑性 58
5.3 生物神經(jīng)網(wǎng)絡(luò) 59
5.3.1 視覺系統(tǒng) 60
5.3.2 Hubel-Wiesel模型 60
5.3.3 Jennifer Aniston細(xì)胞 61
5.4 習(xí)題 62
第6章 人工神經(jīng)網(wǎng)絡(luò)與反向傳播 64
6.1 引言 64
6.2 人工神經(jīng)網(wǎng)絡(luò) 64
6.2.1 符號約定 64
6.2.2 單個神經(jīng)元建模 65
6.2.3 多層前饋神經(jīng)網(wǎng)絡(luò) 67
6.3 人工神經(jīng)網(wǎng)絡(luò)訓(xùn)練 68
6.3.1 問題描述 68
6.3.2 優(yōu)化器 69
6.4 反向傳播算法 72
6.4.1 反向傳播算法的推導(dǎo) 72
6.4.2 反向傳播算法的幾何
解釋 75
6.4.3 反向傳播算法的變分
解釋 75
6.4.4 局部變分公式 77
6.5 習(xí)題 78
第7章 卷積神經(jīng)網(wǎng)絡(luò) 80
7.1 引言 80
7.2 現(xiàn)代卷積神經(jīng)網(wǎng)絡(luò)發(fā)展
簡史 81
7.2.1 AlexNet 81
7.2.2 GoogLeNet 81
7.2.3 VGGNet 83
7.2.4 ResNet 83
7.2.5 DenseNet 84
7.2.6 U-Net 84
7.3 卷積神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)構(gòu)件 85
7.3.1 卷積 85
7.3.2 池化與反池化 87
7.3.3 跳躍連接 89
7.4 訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò) 90
7.4.1 損失函數(shù) 90
7.4.2 數(shù)據(jù)劃分 90
7.4.3 正則化 91
7.5 卷積神經(jīng)網(wǎng)絡(luò)可視化 92
7.6 卷積神經(jīng)網(wǎng)絡(luò)的應(yīng)用 94
7.7 習(xí)題 95
第8章 圖神經(jīng)網(wǎng)絡(luò) 98
8.1 引言 98
8.2 數(shù)學(xué)基礎(chǔ) 100
8.2.1 定義 100
8.2.2 圖同構(gòu) 100
8.2.3 圖著色 101
8.3 相關(guān)工作 102
8.3.1 詞嵌入 102
8.3.2 損失函數(shù) 105
8.4 圖嵌入 105
8.4.1 矩陣分解方法 106
8.4.2 隨機(jī)游走方法 106
8.4.3 神經(jīng)網(wǎng)絡(luò)方法 107
8.5 WL同構(gòu)測試與圖神經(jīng)
網(wǎng)絡(luò) 109
8.5.1 WL同構(gòu)測試 109
8.5.2 圖神經(jīng)網(wǎng)絡(luò)作為WL
測試 110
8.6 總結(jié)和展望 111
8.7 習(xí)題 111
第9章 歸一化和注意力 113
9.1 引言 113
9.2 歸一化 115
9.2.1 批量歸一化 115
9.2.2 逐層和實(shí)例歸一化 116
9.2.3 自適應(yīng)實(shí)例歸一化 117
9.2.4 白化與著色變換 119
9.3 注意力 120
9.3.1 代謝型受體：生物學(xué)
類比 120
9.3.2 空間注意力的數(shù)學(xué)建模 121
9.3.3 通道注意力 123
9.4 應(yīng)用 124
9.4.1 StyleGAN 124
9.4.2 自注意力GAN 125
9.4.3 注意力GAN 126
9.4.4 圖注意力網(wǎng)絡(luò) 127
9.4.5 Transformer 128
9.4.6 BERT 130
9.4.7 GPT 133
9.4.8 視覺Transformer 135
9.5 歸一化與注意力的數(shù)學(xué)
分析 136
9.6 習(xí)題 138

第三部分 深度學(xué)習(xí)的高級主題

第10章 深度神經(jīng)網(wǎng)絡(luò)幾何學(xué) 141
10.1 引言 141
10.2 實(shí)例探究 142
10.2.1 單隱層感知器 142
10.2.2 框架表示 143
10.3 卷積小波框架 146
10.3.1 卷積與Hankel矩陣 146
10.3.2 卷積小波框架展開 148
10.3.3 與卷積神經(jīng)網(wǎng)絡(luò)的
聯(lián)系 148
10.3.4 深度卷積小波框架 150
10.4 卷積神經(jīng)網(wǎng)絡(luò)的幾何學(xué) 152
10.4.1 非線性的作用 152
10.4.2 非線性是歸納學(xué)習(xí)的
關(guān)鍵 153
10.4.3 表達(dá)能力 153
10.4.4 特征的幾何意義 154
10.4.5 自編碼器的幾何理解 159
10.4.6 分類器的幾何理解 161
10.5 尚待解決的問題 161
10.6 習(xí)題 163
第11章 深度學(xué)習(xí)優(yōu)化 164
11.1 引言 164
11.2 問題描述 164
11.3 Polyak-?ojasiewicz型收斂性
分析 165
11.4 Lyapunov型收斂性分析 169
11.4.1 神經(jīng)正切核 171
11.4.2 無限寬極限的神經(jīng)正
切核 172
11.4.3 一般損失函數(shù)的神經(jīng)正
切核 173
11.5 習(xí)題 174
第12章 深度學(xué)習(xí)的泛化能力 175
12.1 引言 175
12.2 數(shù)學(xué)基礎(chǔ) 175
12.2.1 Vapnik-Chervonenkis界 178
12.2.2 Rademacher復(fù)雜度界 180
12.2.3 PAC貝葉斯界 183
12.3 利用雙下降模型協(xié)調(diào)泛化
?鴻溝 184
12.4 歸納偏置優(yōu)化 187
12.5 基于算法魯棒性的泛化界 188
12.6 習(xí)題 190
第13章 生成模型與無監(jiān)督學(xué)習(xí) 192
13.1 引言 192
13.2 數(shù)學(xué)基礎(chǔ) 193
13.3 統(tǒng)計(jì)距離 196
13.3.1 f散度 196
13.3.2 Wasserstein度量 197
13.4 最優(yōu)傳輸 199
13.4.1 Monge原始公式 199
13.4.2 Kantorovich公式 200
13.4.3 熵正則化 202
13.5 生成對抗網(wǎng)絡(luò) 203
13.5.1 GAN的最初形式 203
13.5.2 f–GAN 205
13.5.3 Wasserstein GAN 207
13.5.4 StyleGAN 208
13.6 自編碼器型生成模型 208
13.6.1 ELBO 209
13.6.2 變分自編碼器 209
13.6.3 β–VAE 212
13.6.4 歸一化流與可逆流 213
13.7 通過圖像翻譯進(jìn)行無監(jiān)督
?學(xué)習(xí) 216
13.7.1 Pix2pix 216
13.7.2 CycleGAN 217
13.7.3 StarGAN 219
13.7.4 協(xié)同GAN 222
13.8 總結(jié)與展望 224
13.9 習(xí)題 224
第14章 總結(jié)與展望 226
附錄A 專業(yè)術(shù)語中英文對照表 228
參考文獻(xiàn) 234