計(jì)算機(jī)視覺是目前研究最為活躍的領(lǐng)域之一,很多新的技術(shù)和方法在計(jì)算機(jī)視覺中得到了成功的應(yīng)用。本書以計(jì)算機(jī)視覺相關(guān)技術(shù)和模型為主線,討論當(dāng)前這個(gè)領(lǐng)域的傳統(tǒng)技術(shù)和方法。全書共分9章。第1章介紹了人類視覺系統(tǒng)及其計(jì)算模型、JND模型和顯著性模型。第2章介紹了圖像的基本表示,以及底層特征,包括邊緣、角點(diǎn)、幾何形狀的檢測(cè)。第3章介紹了基本的色度學(xué)及顏色模型,并對(duì)圖像形成過(guò)程進(jìn)行了詳細(xì)介紹。隨后介紹了齊次坐標(biāo)及坐標(biāo)變換相關(guān)的知識(shí),最后介紹了相機(jī)位置、方向和姿態(tài)估計(jì)。后幾章分別對(duì)運(yùn)動(dòng)場(chǎng)與光流相關(guān)的基礎(chǔ)和算法、應(yīng)用進(jìn)行了論述。第4章介紹了從圖像序列中估計(jì)2D和3D運(yùn)動(dòng)。第5章介紹了差分運(yùn)動(dòng)分析及基于核函數(shù)的視覺跟蹤。第6章介紹了蒙特卡洛羅運(yùn)動(dòng)分析。第7章介紹了鉸鏈運(yùn)動(dòng)分析及人體姿態(tài)估計(jì)。第8章介紹了多目標(biāo)跟蹤算法。 計(jì)算機(jī)視覺相關(guān)技術(shù)在實(shí)際生活中有著廣泛的應(yīng)用,并在最近幾年取得巨大進(jìn)展,尤其是深度學(xué)習(xí)技術(shù)的發(fā)展使更多人對(duì)計(jì)算機(jī)視覺領(lǐng)域產(chǎn)生了興趣。本書可供計(jì)算機(jī)科學(xué)與技術(shù)、軟件工程、多媒體處理和信號(hào)處理等領(lǐng)域中關(guān)注計(jì)算機(jī)視覺、圖像處理、模式識(shí)別及其應(yīng)用的工程技術(shù)人員和科研教學(xué)人員閱讀,也可以作為研究生和大學(xué)高年級(jí)學(xué)生學(xué)習(xí)的教材和參考書。
劉紹輝副教授分別于1999年、2001年和2007年獲得哈爾濱工業(yè)大學(xué)計(jì)算數(shù)學(xué)及其應(yīng)用軟件開發(fā)專業(yè)理學(xué)學(xué)士學(xué)位、計(jì)算數(shù)學(xué)理學(xué)碩士學(xué)位和計(jì)算機(jī)應(yīng)用技術(shù)專業(yè)工學(xué)博士學(xué)位。是中國(guó)計(jì)算機(jī)學(xué)會(huì)高級(jí)會(huì)員。曾作為訪問教授和CSC國(guó)家公派訪問學(xué)者分別于2012年和2013年訪問韓國(guó)世宗大學(xué)和美國(guó)密蘇里哥倫比亞大學(xué)。主持/參與多項(xiàng)國(guó)家自然科學(xué)基金、863、973等項(xiàng)目的研究。發(fā)表國(guó)內(nèi)外刊物和會(huì)議學(xué)術(shù)論文100余篇,論文他引1000余次。曾獲ICWAA2003國(guó)際會(huì)議最優(yōu)論文獎(jiǎng),2016年軍隊(duì)科技進(jìn)步二等獎(jiǎng)。擔(dān)任國(guó)家自然科學(xué)基金通訊評(píng)審人、IEEE Trans. Multimedia、CSVT、CVIU等十余種國(guó)際期刊和會(huì)議審稿人或副編輯。講授數(shù)字圖像處理、多媒體技術(shù)、計(jì)算機(jī)視覺、計(jì)算機(jī)視覺專題講座、現(xiàn)代密碼學(xué)原理與實(shí)踐、信息安全新進(jìn)展、最優(yōu)化方法、信息論原理等研究生與本科生課程。參與哈工大“與國(guó)際高水平學(xué)者共建研究生課程”計(jì)算機(jī)視覺課程的建設(shè)。先后指導(dǎo)及協(xié)助指導(dǎo)碩士研究生30余名,并獲2017搜狐圖文匹配大賽全國(guó)總冠軍,以及多項(xiàng)藍(lán)橋杯全國(guó)軟件與信息技術(shù)專業(yè)人才大賽獎(jiǎng)項(xiàng)和哈工大年度科技創(chuàng)新獎(jiǎng)項(xiàng)。
目 錄
第1章 人類視覺系統(tǒng)及其建模 1
1.1 人類視覺系統(tǒng)概述 1
1.2 人眼基本視覺特性 4
1.2.1 色彩空間 4
1.2.2 多通道特性 5
1.2.3 亮度自適應(yīng) 5
1.2.4 對(duì)比度敏感度函數(shù)(CSF) 5
1.2.5 視覺掩蓋效應(yīng) 6
1.3 立體視覺的形成過(guò)程 7
1.3.1 立體視覺系統(tǒng)的生理特性 7
1.3.2 立體視覺系統(tǒng)的心理特性 9
1.3.3 立體視覺生理特性與心理特性的關(guān)系 9
1.4 JND模型與顯著性模型 10
1.4.1 JND模型 10
1.4.2 顯著性模型 18
1.5 本章小結(jié) 19
參考文獻(xiàn) 19
第2章 圖像邊緣、角點(diǎn)檢測(cè) 20
2.1 圖像 20
2.2 灰度位圖圖像和彩色位圖圖像 21
2.3 GIF圖像格式和JPEG壓縮 24
2.3.1 GIF圖像 25
2.3.2 JPEG圖像 25
2.4 圖像邊緣及其檢測(cè) 31
2.4.1 邊緣類型 32
2.4.2 邊緣檢測(cè)的三個(gè)階段 33
2.4.3 濾波操作及雙邊濾波器 33
2.4.4 差分操作 36
2.4.5 邊緣檢測(cè)操作 37
2.4.6 非極大值抑制操作 37
2.4.7 幾種典型的邊緣檢測(cè)算法 38
2.5 圖像角點(diǎn)檢測(cè) 41
2.5.1 圖像角點(diǎn)檢測(cè)基本原理及Harris角點(diǎn)檢測(cè) 41
2.5.2 FAST角點(diǎn)檢測(cè) 44
2.6 形狀檢測(cè) 44
2.6.1 標(biāo)準(zhǔn)Hough變換及圓形Hough變換 44
2.6.2 廣義Hough變換 46
2.6.3 三種常見Hough變換的區(qū)別 47
2.7 直線段檢測(cè) 47
本章小結(jié) 49
參考文獻(xiàn) 50
第3章 圖像形成與相機(jī)幾何 51
3.1 引言 51
3.1.1 色度學(xué) 51
3.1.2 三色視覺原理 52
3.2 圖像的形成 53
3.2.1 取景透鏡 54
3.2.2 抗混淆濾波器 57
3.2.3 紅外截止濾波器和保護(hù)玻璃 59
3.2.4 圖像傳感器 59
3.3 齊次坐標(biāo) 64
3.4 小孔成像 65
3.5 圖像坐標(biāo)系、相機(jī)坐標(biāo)系和世界坐標(biāo)系 67
3.5.1 圖像坐標(biāo)系 67
3.5.2 相機(jī)坐標(biāo)系 68
3.5.3 世界坐標(biāo)系 68
3.6 坐標(biāo)平移、伸縮和旋轉(zhuǎn) 68
3.6.1 坐標(biāo)平移 68
3.6.2 坐標(biāo)伸縮 69
3.6.3 坐標(biāo)旋轉(zhuǎn) 69
3.6.4 繞任意軸旋轉(zhuǎn)的矩陣表示 71
3.6.5 羅德里格斯公式 74
3.6.6 四元數(shù) 75
3.6.7 旋轉(zhuǎn)矩陣與旋轉(zhuǎn)角的關(guān)系 76
3.6.8 矩陣與運(yùn)動(dòng)的對(duì)應(yīng)關(guān)系 77
3.6.9 世界坐標(biāo)系到圖像坐標(biāo)系的變換 78
3.6.10 透視相機(jī)模型 80
3.7 相機(jī)標(biāo)定 80
3.7.1 相機(jī)畸變 83
3.7.2 相機(jī)標(biāo)定 84
3.8 相機(jī)位置和方向 84
3.9 姿態(tài)估計(jì) 86
本章小結(jié) 88
習(xí)題3 88
參考文獻(xiàn) 88
第4章 從圖像序列中估計(jì)2D和3D運(yùn)動(dòng) 89
4.1 運(yùn)動(dòng)場(chǎng)與光流場(chǎng) 89
4.2 光流計(jì)算 91
4.2.1 光流方程 91
4.2.2 經(jīng)典光流計(jì)算方法 92
4.2.3 光流算法的改進(jìn) 94
4.3 光流技術(shù)的研究難點(diǎn)及策略 100
4.3.1 魯棒的光流估計(jì) 101
4.3.2 壓縮感知及基于稀疏模型的光流估計(jì) 103
4.3.3 光流分布信息的統(tǒng)計(jì)研究 105
4.4 3D運(yùn)動(dòng)恢復(fù) 107
4.4.1 透視投影成像的幾何模型 107
4.4.2 3D運(yùn)動(dòng)場(chǎng) 109
4.4.3 3D運(yùn)動(dòng)場(chǎng)到2D速度場(chǎng)的投影轉(zhuǎn)換模型 111
4.4.4 2D速度場(chǎng)的局部擬合及三維運(yùn)動(dòng)參數(shù)估計(jì) 112
參考文獻(xiàn) 114
第5章 差分運(yùn)動(dòng)分析及基于核函數(shù)的視覺跟蹤 120
5.1 基于差分方法的光流計(jì)算 120
5.1.1 光流通用模型 120
5.1.2 模型數(shù)據(jù)項(xiàng) 121
5.1.3 HS模型的計(jì)算方法 126
5.2 視覺跟蹤概述 128
5.2.1 視覺跟蹤的分類 129
5.2.2 視頻目標(biāo)跟蹤算法的組成 130
5.3 核函數(shù)跟蹤算法 130
5.3.1 核函數(shù)跟蹤算法的問題及發(fā)展 131
5.3.2 目標(biāo)及候選圖像區(qū)域表達(dá) 131
5.3.3 相似性度量 132
5.3.4 概率密度估計(jì) 133
5.3.5 Mean Shift 136
5.3.6 誤差平方和測(cè)度及牛頓迭代 140
5.3.7 多極值點(diǎn)問題 141
5.4 本章小結(jié) 142
參考文獻(xiàn) 142
第6章 蒙特卡羅運(yùn)動(dòng)分析 145
6.1 跟蹤問題的形式化表示 145
6.1.1 Markov性假設(shè) 145
6.1.2 三個(gè)基本模型 145
6.1.3 推測(cè)過(guò)程 146
6.2 卡爾曼濾波與廣義卡爾曼濾波 146
6.2.1 狀態(tài)空間表示法和參數(shù)估計(jì) 146
6.2.2 標(biāo)準(zhǔn)卡爾曼濾波 147
6.2.3 廣義卡爾曼濾波 148
6.3 特征表示與提取 149
6.3.1 顏色直方圖 149
6.3.2 形狀特征 150
6.3.3 尺度不變輪廓特征的表示 150
6.4 目標(biāo)跟蹤方法評(píng)價(jià)指標(biāo) 152
6.5 序列Monte Carlo方法研究 153
6.5.1 Monte Carlo方法 153
6.5.2 重要性采樣 156
6.5.3 序列重要性采樣 158
6.5.4 退化問題 160
6.5.5 粒子濾波的改進(jìn)方法 164
6.5.6 粒子濾波的收斂性 170
6.6 本章小結(jié) 174
參考文獻(xiàn) 175
第7章 鉸鏈運(yùn)動(dòng)分析及人體姿態(tài)估計(jì) 180
7.1 人體模型及觀測(cè)似然函數(shù) 180
7.1.1 人體模型 180
7.1.2 觀測(cè)似然函數(shù) 181
7.2 模擬退火的粒子濾波算法 181
7.2.1 粒子濾波算法 181
7.2.2 模擬退火 182
7.2.3 模擬退火的粒子濾波 183
7.3 非參數(shù)置信傳播算法 183
7.4 人體運(yùn)動(dòng)估計(jì) 184
7.4.1 條件隨機(jī)場(chǎng)理論 185
7.4.2 人體與外觀模型 190
7.5 本章小結(jié) 192
參考文獻(xiàn) 192
第8章 多目標(biāo)跟蹤算法 194
8.1 多目標(biāo)跟蹤概述 194
8.1.1 目標(biāo)運(yùn)動(dòng)模型 195
8.2 數(shù)據(jù)關(guān)聯(lián)算法 197
8.2.1 最近鄰域法 197
8.2.2 概率數(shù)據(jù)關(guān)聯(lián)算法 197
8.2.3 聯(lián)合概率數(shù)據(jù)互聯(lián)算法 199
8.2.4 其他的經(jīng)典算法 201
8.3 基于圖模型的多目標(biāo)跟蹤算法 202
8.3.1 概率圖模型分析 203
8.3.2 概率圖模型推理方法 213
8.4 本章小結(jié) 224
參考文獻(xiàn) 225