機(jī)器視覺(jué)技術(shù)與應(yīng)用實(shí)戰(zhàn)
機(jī)器視覺(jué)技術(shù)作為當(dāng)前的熱門(mén)技術(shù)之一,在智能制造領(lǐng)域得到了廣泛的應(yīng)用。
本書(shū)從機(jī)器視覺(jué)的基本概念到機(jī)器視覺(jué)算法,從機(jī)器視覺(jué)核心部件到可配置的純嵌入式視覺(jué)系統(tǒng),從2D視覺(jué)技術(shù)到3D視覺(jué)技術(shù),從黑白視覺(jué)技術(shù)到彩色視覺(jué)技術(shù),從傳統(tǒng)視覺(jué)技術(shù)到深度學(xué)習(xí)技術(shù),從視覺(jué)系統(tǒng)設(shè)計(jì)方案到各行業(yè)的應(yīng)用場(chǎng)景,從視覺(jué)檢測(cè)、測(cè)量、定位、讀碼與識(shí)別四大需求到實(shí)際應(yīng)用案例都分別進(jìn)行了詳細(xì)介紹。
本書(shū)可作為普通本科、高職高專院校機(jī)器視覺(jué)課程的教學(xué)用書(shū),也可供從事相關(guān)行業(yè)的工程技術(shù)人員、研發(fā)人員參考。
本書(shū)特色:系統(tǒng)全面、超值實(shí)用,實(shí)例演示、快速上手。
本書(shū)側(cè)重于工業(yè)機(jī)器視覺(jué)的應(yīng)用,與同類教材相比,本書(shū)的所用應(yīng)用都是真實(shí)的案例,且與行業(yè)的工藝相結(jié)合,從項(xiàng)目的需求到如何硬件選型,從項(xiàng)目難點(diǎn)到解決思路,再到軟件的操作應(yīng)用,都有非常詳細(xì)的介紹。讀者遇到同類型項(xiàng)目可直接借鑒與參考,乃至直接使用。
現(xiàn)階段機(jī)器視覺(jué)應(yīng)用類的書(shū)籍不多,與競(jìng)爭(zhēng)圖書(shū)相比內(nèi)容上更系統(tǒng)、更全面、也更貼合實(shí)際。所有的應(yīng)用案例都是真實(shí)的,且與行業(yè)的工藝相結(jié)合,應(yīng)用案例涉及各行各業(yè),所有的軟硬件都是國(guó)內(nèi)外知名的視覺(jué)品牌產(chǎn)品。
丁少華,深圳市視覺(jué)龍科技有限公司董事長(zhǎng)兼總經(jīng)理,江蘇省“創(chuàng)新創(chuàng)業(yè)”人才,江蘇省機(jī)器人與智能裝備技術(shù)委員會(huì)專家,深圳國(guó)家高技術(shù)產(chǎn)業(yè)創(chuàng)新中心專家?guī)斐蓡T,中國(guó)機(jī)器視覺(jué)產(chǎn)業(yè)聯(lián)盟(CMVU)首任主席。 曾先后就讀于武漢理工大學(xué)和華中科技大學(xué),分別獲得碩士和博士學(xué)位,博士期間師從楊叔子院士、段正澄院士和李培根院士,在專家系統(tǒng)、神經(jīng)網(wǎng)絡(luò)的理論基應(yīng)用方面具有較高的造詣。之后作為博士后研究員在英國(guó)杜倫大學(xué)(Durham University)從事人工智能領(lǐng)域?qū)<蚁到y(tǒng)應(yīng)用及軟件開(kāi)發(fā)。 有7年海外工作經(jīng)驗(yàn),其中4年國(guó)外院校教學(xué)經(jīng)驗(yàn),曾先后任職新加坡EC-Asia International CTO, 新加坡MOSS Labs CTO,香港上市公司日東集團(tuán)主任工程師等重要職位。2002年回國(guó)后創(chuàng)辦了“視覺(jué)龍”品牌,直專注機(jī)器視覺(jué)領(lǐng)域的研發(fā)及產(chǎn)業(yè)化工作17年,主導(dǎo)研發(fā)項(xiàng)目超過(guò)50項(xiàng),獲得知識(shí)產(chǎn)權(quán)50余項(xiàng),發(fā)表論文20余篇。
李雄軍,深圳大學(xué)物理與光電工程學(xué)院副教授,碩士生導(dǎo)師。華中科技大學(xué)工業(yè)自動(dòng)化專業(yè)學(xué)士、機(jī)械制造專業(yè)碩士和博士學(xué)位。武漢水利電力大學(xué)博士后,在香港城市大學(xué)、英國(guó)Huddersfield大學(xué)、香港大學(xué)進(jìn)行過(guò)學(xué)術(shù)訪問(wèn)。主要研究興趣包括機(jī)器視覺(jué)、模式識(shí)別與人工智能、深度學(xué)習(xí)、智能控制與檢測(cè)技術(shù)、嵌入式系統(tǒng)設(shè)計(jì)與開(kāi)發(fā)、機(jī)器人。在國(guó)內(nèi)外權(quán)威期刊發(fā)篇論文30余篇,授權(quán)國(guó)家發(fā)明專利1項(xiàng),申請(qǐng)國(guó)家發(fā)明專利2項(xiàng)。主持或參加完成國(guó)家自然科學(xué)基金、市科技基金多項(xiàng),主持在研國(guó)家自然科學(xué)基金重大儀器專項(xiàng)子課題1項(xiàng)。2007年獲深圳大學(xué)學(xué)術(shù)創(chuàng)新獎(jiǎng),近年來(lái)指導(dǎo)學(xué)生獲得學(xué)科競(jìng)賽3項(xiàng)全國(guó)一等獎(jiǎng),1項(xiàng)全國(guó)二等獎(jiǎng),1項(xiàng)省級(jí)特等獎(jiǎng)等多個(gè)獎(jiǎng)項(xiàng),曾獲深圳大學(xué)優(yōu)秀本科教學(xué)獎(jiǎng)、“騰訊優(yōu)秀教師獎(jiǎng)”、藍(lán)橋杯全國(guó)大賽“優(yōu)秀指導(dǎo)教師獎(jiǎng)”。
第 1篇 基礎(chǔ)篇
第 1章 機(jī)器視覺(jué)基礎(chǔ) 2
1.1 機(jī)器視覺(jué)基本概念 2
1.1.1 機(jī)器視覺(jué)與計(jì)算機(jī)視覺(jué)的關(guān)系 2
1.1.2 機(jī)器視覺(jué)的特點(diǎn)與優(yōu)勢(shì) 3
1.1.3 機(jī)器視覺(jué)系統(tǒng) 4
1.2 機(jī)器視覺(jué)系統(tǒng)分類 6
1.2.1 按操作方式分類 6
1.2.2 按性能分類 8
1.3 機(jī)器視覺(jué)發(fā)展史 10
1.3.1 國(guó)外機(jī)器視覺(jué)發(fā)展史 10
1.3.2 國(guó)內(nèi)機(jī)器視覺(jué)發(fā)展史 11
1.4 機(jī)器視覺(jué)市場(chǎng)分析 13
1.4.1 銷售額分析 13
1.4.2 專利分析 14
1.4.3 企業(yè)分析 14
1.5 機(jī)器視覺(jué)應(yīng)用場(chǎng)景 16
1.5.1 機(jī)器視覺(jué)典型應(yīng)用 16
1.5.2 機(jī)器視覺(jué)應(yīng)用行業(yè) 19
1.6 小結(jié) 23
習(xí)題與思考 23
第 2章 機(jī)器視覺(jué)算法基礎(chǔ) 25
2.1 圖像生成與表示 25
2.1.1 物體成像 25
2.1.2 圖像量化 26
2.1.3 數(shù)字圖像格式 27
2.2 圖像的基本變換 31
2.2.1 線性變換 31
2.2.2 灰度直方圖 32
2.2.3 圖像二值化 33
2.2.4 灰度的窗口變換 33
2.2.5 圖像的幾何變換 34
2.3 圖像濾波與增強(qiáng) 40
2.3.1 圖像灰度修正 40
2.3.2 圖像平滑 41
2.3.3 中值濾波 41
2.3.4 傅里葉變換 41
2.3.5 頻率域?yàn)V波 44
2.4 圖像形態(tài)學(xué)及常見(jiàn)的圖像處理工具 46
2.4.1 腐蝕與膨脹 46
2.4.2 開(kāi)運(yùn)算與閉運(yùn)算 47
2.4.3 細(xì)化 47
2.4.4 其他常見(jiàn)的圖像處理工具 48
2.5 BLOB分析 54
2.5.1 BLOB分析的主要功能 54
2.5.2 BLOB分析其他基礎(chǔ)及結(jié)果 55
2.6 2D圖像匹配 61
2.6.1 圖像標(biāo)定 61
2.6.2 相關(guān)性分析方法 64
2.6.3 幾何特征匹配 66
2.7 3D感知與目標(biāo)識(shí)別 68
2.7.1 從2D圖像中得到3D信息 68
2.7.2 采用單目和透視縮放技術(shù)獲取深度信息 69
2.7.3 3D感知和匹配的理論基礎(chǔ) 74
2.7.4 3D模板和匹配 75
2.8 小結(jié) 78
習(xí)題與思考 78
第 2篇 機(jī)器視覺(jué)系統(tǒng)核心部件
第3章 工業(yè)相機(jī) 80
3.1 工業(yè)相機(jī)基礎(chǔ)知識(shí) 80
3.1.1 CCD和CMOS傳感器芯片 80
3.1.2 相機(jī)的靶面尺寸和分辨率 82
3.1.3 相機(jī)的幀率/行頻 82
3.1.4 相機(jī)的快門(mén)速度和曝光方式 82
3.1.5 相機(jī)的增益和白平衡 83
3.1.6 相機(jī)的觸發(fā)模式 83
3.1.7 相機(jī)的接口 83
3.1.8 相機(jī)的取圖協(xié)議 84
3.1.9 相機(jī)選型 85
3.1.10 不同品牌相機(jī)介紹 86
3.1.11 相機(jī)文檔/手冊(cè)解讀 86
3.1.12 圖像采集卡 88
3.2 面陣相機(jī) 88
3.2.1 面陣相機(jī)概述 89
3.2.2 面陣相機(jī)工作原理 89
3.3 線陣相機(jī) 90
3.3.1 線陣相機(jī)概述 90
3.3.2 線陣相機(jī)工作原理 90
3.4 三維視覺(jué)傳感器 93
3.4.1 三維視覺(jué)傳感器的分類 93
3.4.2 三維視覺(jué)傳感器產(chǎn)品介紹 94
3.5 小結(jié) 97
習(xí)題與思考 97
第4章 工業(yè)鏡頭 98
4.1 鏡頭的基礎(chǔ)知識(shí) 98
4.1.1 鏡頭的焦距 98
4.1.2 鏡頭的光圈 98
4.1.3 鏡頭的景深 99
4.1.4 鏡頭的工作距離和視野 99
4.1.5 視覺(jué)檢測(cè)像素精度的計(jì)算公式 100
4.1.6 鏡頭的畸變及畸變校正 100
4.1.7 鏡頭接口 100
4.1.8 鏡頭選型 101
4.1.9 鏡頭對(duì)照表 101
4.2 FA鏡頭 103
4.3 遠(yuǎn)心鏡頭 104
4.3.1 常見(jiàn)的遠(yuǎn)心鏡頭類型 104
4.3.2 遠(yuǎn)心鏡頭的應(yīng)用場(chǎng)合 105
4.4 線掃描鏡頭 106
4.5 特種鏡頭 107
4.5.1 短波紅外鏡頭 107
4.5.2 長(zhǎng)波紅外鏡頭 107
4.5.3 微距鏡頭 107
4.5.4 360°鏡頭 108
4.5.5 內(nèi)側(cè)360°鏡頭 108
4.6 小結(jié) 109
習(xí)題與思考 109
第5章 機(jī)器視覺(jué)光源 110
5.1 光源在視覺(jué)系統(tǒng)中的重要性 110
5.2 光源的基礎(chǔ)知識(shí) 110
5.2.1 LED光源特點(diǎn) 110
5.2.2 直射光和漫射光 111
5.2.3 鏡面反射和漫反射 111
5.2.4 明視野和暗視野 112
5.2.5 色彩的互補(bǔ)色和增強(qiáng)色 113
5.3 常用光源、定制光源及光源控制器 114
5.3.1 常用光源 114
5.3.2 定制光源 118
5.3.3 光源控制器 119
5.4 光源選型和照明方式 120
5.4.1 現(xiàn)場(chǎng)需求 120
5.4.2 實(shí)物測(cè)試 120
5.5 光源實(shí)驗(yàn)臺(tái)架 122
5.6 小結(jié) 122
習(xí)題與思考 123
第6章 視覺(jué)傳感器 124
6.1 視覺(jué)傳感器概述 124
6.2 視覺(jué)傳感器的特點(diǎn) 125
6.2.1 VDSR視覺(jué)傳感器介紹 125
6.2.2 功能特點(diǎn) 126
6.2.3 VDSR視覺(jué)傳感器的參數(shù) 126
6.2.4 VDSR視覺(jué)傳感器接口介紹 126
6.3 視覺(jué)傳感器軟件介紹 127
6.3.1 VDSR視覺(jué)傳感器軟件主界面 127
6.3.2 檢測(cè)工具介紹 128
6.4 視覺(jué)傳感器軟件的多工具聯(lián)合使用方法 136
6.4.1 VDSR視覺(jué)傳感器軟件的邏輯工具 137
6.4.2 VDSR視覺(jué)傳感器軟件脫機(jī)配置輸出 138
6.4.3 VDSR視覺(jué)傳感器通信 138
6.5 小結(jié) 139
習(xí)題與思考 139
第7章 智能相機(jī) 140
7.1 智能相機(jī)的系統(tǒng)組成 140
7.1.1 處理器及操作系統(tǒng) 141
7.1.2 相機(jī) 141
7.1.3 視覺(jué)軟件 141
7.1.4 系統(tǒng)連接 141
7.2 功能特點(diǎn)和系列介紹 141
7.2.1 功能特點(diǎn) 141
7.2.2 智能相機(jī)系列介紹 142
7.3 智能相機(jī)軟件介紹 142
7.3.1 配置保存 143
7.3.2 圖像管理 143
7.3.3 任務(wù)管理 144
7.3.4 工具管理 144
7.4 相機(jī)工具 145
7.4.1 相機(jī)設(shè)置工具 145
7.4.2 圖像保存工具 146
7.4.3 預(yù)處理工具 146
7.5 標(biāo)定校準(zhǔn) 147
7.5.1 相機(jī)標(biāo)定校準(zhǔn) 147
7.5.2 標(biāo)定校準(zhǔn)工具 147
7.6 視覺(jué)工具 148
7.6.1 幾何定位 149
7.6.2 斑塊定位 151
7.6.3 圓弧工具 155
7.6.4 直線工具 157
7.6.5 直線卡尺 159
7.6.6 顏色識(shí)別 161
7.6.7 輪廓缺陷 164
7.7 邏輯控制 165
7.7.1 條件執(zhí)行 165
7.7.2 條件分支 166
7.7.3 循環(huán)工具 167
7.8 系統(tǒng)工具 168
7.8.2 生成文本 169
7.8.3 保存數(shù)據(jù) 170
7.8.4 接收文本 171
7.8.5 輸出數(shù)據(jù) 171
7.8.6 I/O工具 172
7.8.7 ModbusTCP 174
7.8.8 TCP客戶端 174
7.8.9 串口通信 175
7.8.10 與華數(shù)機(jī)器人的接口 176
7.8.11 三菱MX通信 178
7.9 小結(jié) 180
習(xí)題與思考 180
第3篇 機(jī)器視覺(jué)高級(jí)技術(shù)與工業(yè)應(yīng)用案例
第8章 機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)方法 182
8.1 性能指標(biāo)定義與計(jì)算方法 182
8.1.1 相機(jī)分辨率 182
8.1.2 像素分辨率 182
8.1.3 缺陷分辨率 182
8.1.4 軟件測(cè)量分辨率 182
8.1.5 系統(tǒng)測(cè)量分辨率 183
8.2 精度分析方法 183
8.2.1 測(cè)量精度與重復(fù)精度 183
8.2.2 影響系統(tǒng)重復(fù)性的因素 185
8.3 機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)的難點(diǎn) 186
8.4 機(jī)器視覺(jué)系統(tǒng)設(shè)計(jì)流程 187
8.5 小結(jié) 190
習(xí)題與思考 190
第9章 視覺(jué)定位與對(duì)位 191
9.1 鋰電池視覺(jué)定位案例 191
9.1.1 案例背景 191
9.1.2 視覺(jué)定位需求 191
9.1.3 視覺(jué)系統(tǒng)總體實(shí)施方案 192
9.1.4 硬件選型與安裝 192
9.1.5 軟件實(shí)現(xiàn) 194
9.1.6 其他案例 197
9.2 手機(jī)攝像頭對(duì)位貼合案例 197
9.2.1 案例背景 197
9.2.2 視覺(jué)對(duì)位需求 197
9.2.3 視覺(jué)系統(tǒng)總體實(shí)施方案 198
9.2.4 硬件選型與安裝 198
9.2.5 軟件應(yīng)用 199
9.2.6 結(jié)果數(shù)據(jù)輸出 206
9.2.7 其他案例 206
9.3 小結(jié) 207
習(xí)題與思考 207
第 10章 機(jī)器人視覺(jué)引導(dǎo) 208
10.1 機(jī)器人視覺(jué)引導(dǎo)基礎(chǔ) 208
10.1.1 機(jī)器人2D視覺(jué)引導(dǎo) 208
10.1.2 機(jī)器人3D視覺(jué)引導(dǎo) 210
10.2 螺絲機(jī)視覺(jué)定位引導(dǎo)案例 215
10.2.1 案例背景 215
10.2.2 視覺(jué)檢測(cè)需求 215
10.2.3 視覺(jué)系統(tǒng)總體實(shí)施方案 215
10.2.4 硬件選型與安裝 216
10.2.5 軟件應(yīng)用 217
10.2.6 結(jié)果數(shù)據(jù)輸出 221
10.2.7 其他案例 223
10.3 金屬工件單目3D定位引導(dǎo)案例 224
10.3.1 案例背景 224
10.3.2 視覺(jué)檢測(cè)需求 224
10.3.3 硬件選型與安裝 224
10.3.4 軟件應(yīng)用 225
10.3.5 其他案例 230
10.4 小結(jié) 230
習(xí)題與思考 230
第 11章 視覺(jué)測(cè)量 231
11.1 測(cè)量算法 231
11.1.1 尺寸測(cè)量 231
11.1.2 形狀分析 232
11.2 手機(jī)攝像頭底座金屬框2D尺寸測(cè)量案例 233
11.2.1 案例背景 233
11.2.3 視覺(jué)系統(tǒng)總體實(shí)施方案 234
11.2.4 硬件選型與安裝 234
11.2.5 軟件應(yīng)用 235
11.2.6 結(jié)果數(shù)據(jù)輸出 239
11.3 金屬標(biāo)定塊平面度檢測(cè)案例 240
11.3.1 案例背景 240
11.3.2 視覺(jué)檢測(cè)需求 241
11.3.3 視覺(jué)系統(tǒng)總體實(shí)施方案 241
11.3.4 硬件選型 241
11.3.5 軟件應(yīng)用 241
11.3.6 結(jié)果數(shù)據(jù)輸出 248
11.3.7 其他案例 248
11.4 小結(jié) 248
習(xí)題與思考 248
第 12章 視覺(jué)讀碼與識(shí)別 249
12.1 電池視覺(jué)條碼讀取案例 249
12.1.1 案例背景 249
12.1.2 視覺(jué)檢測(cè)需求 249
12.1.3 硬件選型與安裝 249
12.1.4 軟件應(yīng)用 250
12.1.5 一維碼讀取案例配置 251
12.1.6 二維碼讀取案例配置 255
12.1.7 其他案例 258
12.2 小結(jié) 258
習(xí)題與思考 259
第 13章 視覺(jué)檢測(cè) 260
13.1 背光模組外觀缺陷檢測(cè)案例 260
13.1.1 案例背景 260
13.1.2 視覺(jué)檢測(cè)需求 260
13.1.3 視覺(jué)應(yīng)用優(yōu)勢(shì) 261
13.1.4 硬件選型 261
13.1.5 案例場(chǎng)景 261
13.1.6 方案檢測(cè)流程 262
13.1.7 結(jié)果數(shù)據(jù)輸出 265
13.1.8 其他案例 265
13.2 模具保護(hù)器案例 265
13.2.1 案例背景 265
13.2.2 視覺(jué)檢測(cè)需求 266
13.2.3 視覺(jué)應(yīng)用優(yōu)勢(shì) 266
13.2.4 硬件選型 267
13.2.5 軟件應(yīng)用 267
13.2.6 結(jié)果數(shù)據(jù)輸出 273
13.2.7 其他應(yīng)用案例 274
13.3 小結(jié) 274
習(xí)題與思考 274
第 14章 顏色分析 275
14.1 色彩系統(tǒng) 275
14.1.1 RGB色彩系統(tǒng) 275
14.1.2 CMY色彩系統(tǒng) 276
14.1.3 HIS色彩系統(tǒng) 277
14.1.4 電視信號(hào)的YIQ與YUV系統(tǒng) 279
14.1.5 普通機(jī)器視覺(jué)系統(tǒng)的顏色支持和功能 279
14.2 色差測(cè)量的原理 284
14.2.1 色差定義 285
14.2.2 顏色的混色系統(tǒng)表示 285
14.2.3 CIE1931顏色空間 285
14.2.4 CIE1976均勻顏色空間 285
14.2.5 色差公式 286
14.3 圓餅玩具色差檢測(cè)案例 288
14.3.1 案例背景 288
14.3.2 視覺(jué)檢測(cè)需求 289
14.3.3 硬件選型 289
14.3.4 軟件應(yīng)用 290
14.3.5 結(jié)果數(shù)據(jù)輸出 294
14.4 色度與亮度測(cè)量的原理 294
14.5 鍵盤(pán)色度與亮度檢測(cè)案例 296
14.5.1 視覺(jué)檢測(cè)需求 296
14.5.2 技術(shù)指標(biāo) 296
14.5.3 案例總體方案 296
14.5.4 其他案例 301
14.6 小結(jié) 301
習(xí)題與思考 301
第 15章 深度學(xué)習(xí)技術(shù)及應(yīng)用 302
15.1 引言 302
15.1.1 基本概念與相互關(guān)系 302
15.1.2 機(jī)器學(xué)習(xí)的步驟與模型評(píng)價(jià)指標(biāo) 303
15.2 深度學(xué)習(xí)模型介紹 305
15.2.1 深度學(xué)習(xí)的起源——生物神經(jīng)網(wǎng)絡(luò) 305
15.2.2 神經(jīng)元模型 306
15.2.3 人工神經(jīng)網(wǎng)絡(luò) 307
15.2.4 深度神經(jīng)網(wǎng)絡(luò) 309
15.3 BP神經(jīng)網(wǎng)絡(luò)與梯度下降法 310
15.3.1 手寫(xiě)數(shù)字識(shí)別BP神經(jīng)網(wǎng)絡(luò) 310
15.3.2 前向傳播計(jì)算 312
15.4 卷積神經(jīng)網(wǎng)絡(luò)及LeNet-5網(wǎng)絡(luò) 314
15.4.1 卷積神經(jīng)網(wǎng)絡(luò) 314
15.4.2 手寫(xiě)體數(shù)字識(shí)別模型LeNet-5網(wǎng)絡(luò) 315
15.4.3 網(wǎng)絡(luò)訓(xùn)練與測(cè)試 318
15.5 深度學(xué)習(xí)框架 319
15.6 深度學(xué)習(xí)在機(jī)器視覺(jué)中的應(yīng)用 319
15.6.1 視覺(jué)智能的任務(wù)與挑戰(zhàn) 319
15.6.2 深度學(xué)習(xí)與視覺(jué)智能 320
15.6.3 深度學(xué)習(xí)在機(jī)器視覺(jué)領(lǐng)域的應(yīng)用概述 321
15.7 基于深度學(xué)習(xí)的鋼管缺陷檢測(cè)案例 323
15.7.1 案例背景 323
15.7.2 鋼管外觀缺陷檢測(cè)需求 324
15.7.3 視覺(jué)系統(tǒng)總體實(shí)施方案 325
15.7.4 硬件選型 325
15.7.5 模型訓(xùn)練與控制軟件配置 326
15.7.6 結(jié)果數(shù)據(jù)輸出 333
15.8 小結(jié) 333
習(xí)題與思考 333
參考文獻(xiàn) 334