第1章 計(jì)算機(jī)視覺及目標(biāo)檢測(cè) 1
1.1 計(jì)算機(jī)視覺原理 1
1.1.1 人類視覺與計(jì)算機(jī)視覺比較 1
1.1.2 計(jì)算機(jī)視覺應(yīng)用展現(xiàn) 2
1.2 目標(biāo)檢測(cè)概述 9
1.2.1 計(jì)算機(jī)視覺三大主要任務(wù) 9
1.2.2 目標(biāo)檢測(cè)的應(yīng)用 11
1.2.3 目標(biāo)檢測(cè)面臨的挑戰(zhàn) 12
1.2.4 目標(biāo)檢測(cè)方法 13
第2章 計(jì)算機(jī)視覺數(shù)學(xué)、編程基礎(chǔ) 15
2.1 向量、矩陣和卷積 15
2.1.1 向量 15
2.1.2 矩陣 16
2.1.3 卷積 16
2.2 函數(shù)極值理論與非極大值抑制 18
2.2.1 函數(shù)極值理論 19
2.2.2 非極大值抑制 21
2.3 跨平臺(tái)計(jì)算機(jī)視覺和機(jī)器學(xué)習(xí)軟件庫OpenCV 基礎(chǔ) 24
2.3.1 OpenCV的歷史起源 24
2.3.2 安裝OpenCV 24
2.3.3 OpenCV圖像和視頻的讀/寫 24
2.3.4 OpenCV基本操作 28
2.3.5 OpenCV顏色空間轉(zhuǎn)換 29
2.3.6 OpenCV幾何變換 31
2.3.7 OpenCV圖像簡(jiǎn)單閾值處理 34
2.3.8 OpenCV形態(tài)學(xué)轉(zhuǎn)換 40
2.3.9 OpenCV圖像梯度 43
2.4 PyTorch基礎(chǔ) 46
2.4.1 PyTorch簡(jiǎn)介 46
2.4.2 PyTorch安裝 47
2.4.3 張量 47
2.4.4 基本代碼操作 49
2.4.5 PIL圖像格式轉(zhuǎn)換 51
2.4.6 PyTorch自動(dòng)求導(dǎo)機(jī)制 52
2.4.7 PyTorch的神經(jīng)網(wǎng)絡(luò)nn包 55
第3章 OpenCV目標(biāo)檢測(cè)實(shí)戰(zhàn) 60
3.1 Haar特征與積分圖像構(gòu)建算法 60
3.1.1 Haar特征 60
3.1.2 積分圖像構(gòu)建算法 65
3.2 AdaBoost應(yīng)用于Haar人臉特征分類 66
3.3 AdaBoost級(jí)聯(lián)應(yīng)用于Haar特征人臉檢測(cè) 70
3.4 利用OpenCV進(jìn)行基于Haar特征的人臉檢測(cè)實(shí)戰(zhàn) 73
第4章 深度學(xué)習(xí)引入及圖像分類實(shí)戰(zhàn) 75
4.1 卷積神經(jīng)網(wǎng)絡(luò)的重要概念 75
4.2 卷積神經(jīng)網(wǎng)絡(luò)訓(xùn)練技巧及經(jīng)典架構(gòu) 79
4.3 設(shè)計(jì)卷積神經(jīng)網(wǎng)絡(luò)進(jìn)行圖像分類 82
4.4 選擇卷積神經(jīng)網(wǎng)絡(luò)損失函數(shù)及優(yōu)化器 85
4.5 改進(jìn)卷積神經(jīng)網(wǎng)絡(luò)以提高圖像分類準(zhǔn)確率 88
第5章 目標(biāo)檢測(cè)的兩階段深度學(xué)習(xí)方法 90
5.1 R-CNN目標(biāo)檢測(cè)思想 90
5.1.1 目標(biāo)檢測(cè)數(shù)據(jù)集 91
5.1.2 從滑動(dòng)窗口到選擇搜索 91
5.1.3 R-CNN網(wǎng)絡(luò)架構(gòu)及訓(xùn)練過程 93
5.2 目標(biāo)檢測(cè)指標(biāo)——二分類器 97
5.3 R-CNN目標(biāo)檢測(cè)模型評(píng)估結(jié)果 100
5.3.1 R-CNN用于細(xì)粒度類別檢測(cè) 108
5.3.2 R-CNN用于目標(biāo)檢測(cè)與分割 109
5.4 R-CNN的缺陷和Fast R-CNN的改進(jìn) 110
5.4.1 R-CNN的缺陷 110
5.4.2 感興趣區(qū)域池化 111
5.4.3 Fast R-CNN創(chuàng)新?lián)p失函數(shù)設(shè)計(jì) 113
5.5 Fast R-CNN網(wǎng)絡(luò)架構(gòu)和模型評(píng)估 115
5.5.1 Fast R-CNN模型工作流程 115
5.5.2 Fast R-CNN網(wǎng)絡(luò)架構(gòu) 116
5.5.3 RoI池化反向傳播方法 116
5.5.4 Fast R-CNN結(jié)果評(píng)估 117
5.6 Fast R-CNN的創(chuàng)新 118
5.6.1 Faster R-CNN的創(chuàng)新思想 118
5.6.2 替代選擇搜索的錨框 119
5.6.3 區(qū)域建議網(wǎng)絡(luò) 120
5.7 深入剖析Faster R-CNN中邊界框回歸 123
5.7.1 為什么使用邊界框回歸 124
5.7.2 邊界框回歸的數(shù)學(xué)支撐 125
5.8 Faster R-CNN的全景架構(gòu)和損失函數(shù) 127
5.9 Faster R-CNN的訓(xùn)練步驟及測(cè)試步驟 129
5.9.1 Faster R-CNN的訓(xùn)練步驟 129
5.9.2 Faster R-CNN的測(cè)試步驟 131
5.10 詳細(xì)講解Faster R-CNN關(guān)鍵部分RoI代碼 132
第6章 目標(biāo)檢測(cè)的一階段學(xué)習(xí)方法 134
6.1 YOLO目標(biāo)檢測(cè)思想 135
6.1.1 改進(jìn)思想 136
6.1.2 網(wǎng)格單元 137
6.1.3 YOLO創(chuàng)新細(xì)節(jié) 138
6.2 YOLO的網(wǎng)絡(luò)結(jié)構(gòu)、網(wǎng)絡(luò)與損失函數(shù) 140
6.2.1 YOLO的網(wǎng)絡(luò)結(jié)構(gòu) 140
6.2.2 YOLO的網(wǎng)絡(luò)訓(xùn)練與損失函數(shù) 142
6.3 YOLO模型評(píng)估、優(yōu)劣勢(shì)分析 144
6.3.1 YOLO數(shù)據(jù)集 145
6.3.2 YOLO模型評(píng)估 145
6.3.3 YOLO模型優(yōu)缺點(diǎn) 146
6.4 YOLOv2實(shí)現(xiàn)更好、更快、更強(qiáng) 149
6.5 YOLOv2改進(jìn)YOLOv1——更好 149
6.5.1 批歸一化 150
6.5.2 高分辨率分類器 150
6.5.3 預(yù)設(shè)錨框并采用全卷積 150
6.5.4 框聚類 151
6.5.5 約束邊框位置 153
6.5.6 細(xì)粒度特征 154
6.5.7 多尺度訓(xùn)練 154
6.5.8 實(shí)驗(yàn)對(duì)比 156
6.6 YOLOv2 使用Darknet-19——更快 158
6.6.1 Darknet-19 158
6.6.2 三階段訓(xùn)練 159
6.6.3 YOLOv2的損失函數(shù) 161
6.7 使用WordTree的YOLO9000——更強(qiáng) 164
6.7.1 組合兩種數(shù)據(jù)集的必要性 164
6.7.2 構(gòu)建WordTree進(jìn)行分層分類 165
6.7.3 在組合數(shù)據(jù)集上訓(xùn)練YOLO9000 167
第7章 YOLOv3創(chuàng)新思想及整體架構(gòu) 170
7.1 YOLOv3的創(chuàng)新改進(jìn) 170
7.2 YOLOv3的關(guān)鍵創(chuàng)新點(diǎn) 171
7.2.1 106層的Darknet-53主干網(wǎng)絡(luò)架構(gòu) 171
7.2.2 三級(jí)檢測(cè) 176
7.2.3 更擅長(zhǎng)檢測(cè)較小的物體 177
7.2.4 更多的錨框 177
7.2.5 損失函數(shù) 178
7.3 YOLOv3的三級(jí)檢測(cè)輸出過程 179
7.4 YOLOv3的非極大值抑制 183
7.5 YOLOv3的檢測(cè)效果 184
7.6 SSD多尺度特征圖目標(biāo)檢測(cè)思想 185
7.7 SSD網(wǎng)絡(luò)架構(gòu) 191
7.7.1 SSD網(wǎng)絡(luò)基礎(chǔ)架構(gòu) 191
7.7.2 擴(kuò)張卷積 192
7.7.3 SSD與YOLOv3 193
7.7.4 SSD網(wǎng)絡(luò)檢測(cè)物體方法 193
7.8 SSD網(wǎng)絡(luò)損失函數(shù) 194
7.8.1 默認(rèn)框匹配策略 194
7.8.2 損失函數(shù) 195
7.9 SSD較YOLOv3的劣勢(shì) 196
第8章 構(gòu)建Darknet-53網(wǎng)絡(luò)實(shí)踐 198
8.1 Darknet-53網(wǎng)絡(luò)工程結(jié)構(gòu)和配置 198
8.2 實(shí)踐代碼 200
8.3 構(gòu)建Darknet-53網(wǎng)絡(luò)前向傳遞過程 203
8.3.1 構(gòu)建Darknet-53的模塊 203
8.3.2 Darknet-53的模塊詳解 205
8.4 YOLOv3 實(shí)現(xiàn)檢測(cè)層特征圖到邊界的預(yù)測(cè)值轉(zhuǎn)變 209
8.4.1 參數(shù)講解 209
8.4.2 實(shí)現(xiàn)步驟和代碼 210
8.5 YOLOv3 演示邊框生成過程 212
8.6 YOLOv3 處理低閾值邊框 214
8.6.1 思路講解 215
8.6.2 代碼實(shí)踐 215
8.7 YOLOv3 非極大值抑制過程 218
8.7.1 延續(xù)上一節(jié)代碼講解NMS過程 219
8.7.2 NMS后的整理 220
8.8 YOLOv3演示NMS過程找到最優(yōu)框 220
8.8.1 運(yùn)行檢測(cè)代碼演示 220
8.8.2 運(yùn)行結(jié)果分析 221
8.9 YOLOv3實(shí)現(xiàn)工業(yè)工具檢測(cè) 224
8.9.1 YOLOv3工業(yè)實(shí)踐需求分析及目標(biāo)分析 225
8.9.2 數(shù)據(jù)采集標(biāo)注與數(shù)據(jù)預(yù)處理部分 226
8.9.3 模型訓(xùn)練部分 230
8.9.4 模型優(yōu)化部分 239
第9章 YOLOv4目標(biāo)檢測(cè)方法 240
9.1 YOLOv4目標(biāo)檢測(cè)創(chuàng)新路徑及技巧體系 240
9.1.1 速度與精度雙提升 240
9.1.2 YOLOv4技巧匯總 240
9.2 YOLOv4大型網(wǎng)絡(luò)架構(gòu)及其主要?jiǎng)?chuàng)新改進(jìn) 246
9.2.1 空間金字塔結(jié)構(gòu) 246
9.2.2 路徑增強(qiáng)網(wǎng)絡(luò) 247
9.2.3 使用YOLOv4的網(wǎng)絡(luò)詳情 248
9.2.4 CSPDarknet-53網(wǎng)絡(luò) 254
9.2.5 YOLOv4網(wǎng)絡(luò)全景關(guān)系 255
9.3 YOLOv4中的激活函數(shù) 256
9.3.1 各激活函數(shù)的比較 256
9.3.2 keras實(shí)現(xiàn)三種激活函數(shù)性能比較 260
9.4 YOLOv4中的損失函數(shù)C-IoU 263
9.4.1 L1和L2損失的缺陷 264
9.4.2 IoU和IoU損失 264
9.4.3 G-IoU、D-IoU和C-IoU 265
9.5 YOLOv4中的新型批標(biāo)準(zhǔn)化 268
9.5.1 各種批標(biāo)準(zhǔn)化 268
9.5.2 跨迭代標(biāo)準(zhǔn)化 270
第10章 EfficientDet目標(biāo)檢測(cè)方法 272
10.1 復(fù)合縮放 272
10.2 雙向特征金字塔網(wǎng)絡(luò) 274
10.3 EfficientDet體系結(jié)構(gòu) 276
10.3.1 輸入圖像分辨率縮放 276
10.3.2 BiFPN縮放 277
10.3.3 框/類預(yù)測(cè)網(wǎng)絡(luò)縮放 277
10.3.4 主干網(wǎng) 277
10.4 EfficientDet推理效果和不足之處 279
10.4.1 EfficientDet推理效果 279
10.4.2 EfficientDet不足之處 282
參考文獻(xiàn) 284