計算機視覺是目前研究最為活躍的領域之一,很多新的技術和方法在計算機視覺中得到了成功的應用。本書以計算機視覺相關技術和模型為主線,討論當前這個領域的傳統(tǒng)技術和方法。全書共分9章。第1章介紹了人類視覺系統(tǒng)及其計算模型、JND模型和顯著性模型。第2章介紹了圖像的基本表示,以及底層特征,包括邊緣、角點、幾何形狀的檢測。第3章介紹了基本的色度學及顏色模型,并對圖像形成過程進行了詳細介紹。隨后介紹了齊次坐標及坐標變換相關的知識,最后介紹了相機位置、方向和姿態(tài)估計。后幾章分別對運動場與光流相關的基礎和算法、應用進行了論述。第4章介紹了從圖像序列中估計2D和3D運動。第5章介紹了差分運動分析及基于核函數(shù)的視覺跟蹤。第6章介紹了蒙特卡洛羅運動分析。第7章介紹了鉸鏈運動分析及人體姿態(tài)估計。第8章介紹了多目標跟蹤算法。 計算機視覺相關技術在實際生活中有著廣泛的應用,并在最近幾年取得巨大進展,尤其是深度學習技術的發(fā)展使更多人對計算機視覺領域產(chǎn)生了興趣。本書可供計算機科學與技術、軟件工程、多媒體處理和信號處理等領域中關注計算機視覺、圖像處理、模式識別及其應用的工程技術人員和科研教學人員閱讀,也可以作為研究生和大學高年級學生學習的教材和參考書。
劉紹輝副教授分別于1999年、2001年和2007年獲得哈爾濱工業(yè)大學計算數(shù)學及其應用軟件開發(fā)專業(yè)理學學士學位、計算數(shù)學理學碩士學位和計算機應用技術專業(yè)工學博士學位。是中國計算機學會高級會員。曾作為訪問教授和CSC國家公派訪問學者分別于2012年和2013年訪問韓國世宗大學和美國密蘇里哥倫比亞大學。主持/參與多項國家自然科學基金、863、973等項目的研究。發(fā)表國內(nèi)外刊物和會議學術論文100余篇,論文他引1000余次。曾獲ICWAA2003國際會議最優(yōu)論文獎,2016年軍隊科技進步二等獎。擔任國家自然科學基金通訊評審人、IEEE Trans. Multimedia、CSVT、CVIU等十余種國際期刊和會議審稿人或副編輯。講授數(shù)字圖像處理、多媒體技術、計算機視覺、計算機視覺專題講座、現(xiàn)代密碼學原理與實踐、信息安全新進展、最優(yōu)化方法、信息論原理等研究生與本科生課程。參與哈工大“與國際高水平學者共建研究生課程”計算機視覺課程的建設。先后指導及協(xié)助指導碩士研究生30余名,并獲2017搜狐圖文匹配大賽全國總冠軍,以及多項藍橋杯全國軟件與信息技術專業(yè)人才大賽獎項和哈工大年度科技創(chuàng)新獎項。
目 錄
第1章 人類視覺系統(tǒng)及其建模 1
1.1 人類視覺系統(tǒng)概述 1
1.2 人眼基本視覺特性 4
1.2.1 色彩空間 4
1.2.2 多通道特性 5
1.2.3 亮度自適應 5
1.2.4 對比度敏感度函數(shù)(CSF) 5
1.2.5 視覺掩蓋效應 6
1.3 立體視覺的形成過程 7
1.3.1 立體視覺系統(tǒng)的生理特性 7
1.3.2 立體視覺系統(tǒng)的心理特性 9
1.3.3 立體視覺生理特性與心理特性的關系 9
1.4 JND模型與顯著性模型 10
1.4.1 JND模型 10
1.4.2 顯著性模型 18
1.5 本章小結(jié) 19
參考文獻 19
第2章 圖像邊緣、角點檢測 20
2.1 圖像 20
2.2 灰度位圖圖像和彩色位圖圖像 21
2.3 GIF圖像格式和JPEG壓縮 24
2.3.1 GIF圖像 25
2.3.2 JPEG圖像 25
2.4 圖像邊緣及其檢測 31
2.4.1 邊緣類型 32
2.4.2 邊緣檢測的三個階段 33
2.4.3 濾波操作及雙邊濾波器 33
2.4.4 差分操作 36
2.4.5 邊緣檢測操作 37
2.4.6 非極大值抑制操作 37
2.4.7 幾種典型的邊緣檢測算法 38
2.5 圖像角點檢測 41
2.5.1 圖像角點檢測基本原理及Harris角點檢測 41
2.5.2 FAST角點檢測 44
2.6 形狀檢測 44
2.6.1 標準Hough變換及圓形Hough變換 44
2.6.2 廣義Hough變換 46
2.6.3 三種常見Hough變換的區(qū)別 47
2.7 直線段檢測 47
本章小結(jié) 49
參考文獻 50
第3章 圖像形成與相機幾何 51
3.1 引言 51
3.1.1 色度學 51
3.1.2 三色視覺原理 52
3.2 圖像的形成 53
3.2.1 取景透鏡 54
3.2.2 抗混淆濾波器 57
3.2.3 紅外截止濾波器和保護玻璃 59
3.2.4 圖像傳感器 59
3.3 齊次坐標 64
3.4 小孔成像 65
3.5 圖像坐標系、相機坐標系和世界坐標系 67
3.5.1 圖像坐標系 67
3.5.2 相機坐標系 68
3.5.3 世界坐標系 68
3.6 坐標平移、伸縮和旋轉(zhuǎn) 68
3.6.1 坐標平移 68
3.6.2 坐標伸縮 69
3.6.3 坐標旋轉(zhuǎn) 69
3.6.4 繞任意軸旋轉(zhuǎn)的矩陣表示 71
3.6.5 羅德里格斯公式 74
3.6.6 四元數(shù) 75
3.6.7 旋轉(zhuǎn)矩陣與旋轉(zhuǎn)角的關系 76
3.6.8 矩陣與運動的對應關系 77
3.6.9 世界坐標系到圖像坐標系的變換 78
3.6.10 透視相機模型 80
3.7 相機標定 80
3.7.1 相機畸變 83
3.7.2 相機標定 84
3.8 相機位置和方向 84
3.9 姿態(tài)估計 86
本章小結(jié) 88
習題3 88
參考文獻 88
第4章 從圖像序列中估計2D和3D運動 89
4.1 運動場與光流場 89
4.2 光流計算 91
4.2.1 光流方程 91
4.2.2 經(jīng)典光流計算方法 92
4.2.3 光流算法的改進 94
4.3 光流技術的研究難點及策略 100
4.3.1 魯棒的光流估計 101
4.3.2 壓縮感知及基于稀疏模型的光流估計 103
4.3.3 光流分布信息的統(tǒng)計研究 105
4.4 3D運動恢復 107
4.4.1 透視投影成像的幾何模型 107
4.4.2 3D運動場 109
4.4.3 3D運動場到2D速度場的投影轉(zhuǎn)換模型 111
4.4.4 2D速度場的局部擬合及三維運動參數(shù)估計 112
參考文獻 114
第5章 差分運動分析及基于核函數(shù)的視覺跟蹤 120
5.1 基于差分方法的光流計算 120
5.1.1 光流通用模型 120
5.1.2 模型數(shù)據(jù)項 121
5.1.3 HS模型的計算方法 126
5.2 視覺跟蹤概述 128
5.2.1 視覺跟蹤的分類 129
5.2.2 視頻目標跟蹤算法的組成 130
5.3 核函數(shù)跟蹤算法 130
5.3.1 核函數(shù)跟蹤算法的問題及發(fā)展 131
5.3.2 目標及候選圖像區(qū)域表達 131
5.3.3 相似性度量 132
5.3.4 概率密度估計 133
5.3.5 Mean Shift 136
5.3.6 誤差平方和測度及牛頓迭代 140
5.3.7 多極值點問題 141
5.4 本章小結(jié) 142
參考文獻 142
第6章 蒙特卡羅運動分析 145
6.1 跟蹤問題的形式化表示 145
6.1.1 Markov性假設 145
6.1.2 三個基本模型 145
6.1.3 推測過程 146
6.2 卡爾曼濾波與廣義卡爾曼濾波 146
6.2.1 狀態(tài)空間表示法和參數(shù)估計 146
6.2.2 標準卡爾曼濾波 147
6.2.3 廣義卡爾曼濾波 148
6.3 特征表示與提取 149
6.3.1 顏色直方圖 149
6.3.2 形狀特征 150
6.3.3 尺度不變輪廓特征的表示 150
6.4 目標跟蹤方法評價指標 152
6.5 序列Monte Carlo方法研究 153
6.5.1 Monte Carlo方法 153
6.5.2 重要性采樣 156
6.5.3 序列重要性采樣 158
6.5.4 退化問題 160
6.5.5 粒子濾波的改進方法 164
6.5.6 粒子濾波的收斂性 170
6.6 本章小結(jié) 174
參考文獻 175
第7章 鉸鏈運動分析及人體姿態(tài)估計 180
7.1 人體模型及觀測似然函數(shù) 180
7.1.1 人體模型 180
7.1.2 觀測似然函數(shù) 181
7.2 模擬退火的粒子濾波算法 181
7.2.1 粒子濾波算法 181
7.2.2 模擬退火 182
7.2.3 模擬退火的粒子濾波 183
7.3 非參數(shù)置信傳播算法 183
7.4 人體運動估計 184
7.4.1 條件隨機場理論 185
7.4.2 人體與外觀模型 190
7.5 本章小結(jié) 192
參考文獻 192
第8章 多目標跟蹤算法 194
8.1 多目標跟蹤概述 194
8.1.1 目標運動模型 195
8.2 數(shù)據(jù)關聯(lián)算法 197
8.2.1 最近鄰域法 197
8.2.2 概率數(shù)據(jù)關聯(lián)算法 197
8.2.3 聯(lián)合概率數(shù)據(jù)互聯(lián)算法 199
8.2.4 其他的經(jīng)典算法 201
8.3 基于圖模型的多目標跟蹤算法 202
8.3.1 概率圖模型分析 203
8.3.2 概率圖模型推理方法 213
8.4 本章小結(jié) 224
參考文獻 225