本書著重機器機視覺的基本理論和技術,介紹各種智能圖像處理與機器視覺技術的相關應用;具備解決智能化檢測與識別、控制等應用問題的初步能力,為以后從事模式識別與智能控制、機器人技術、智能制造等領域的研究與開發(fā)工作打下扎實的基礎。
機器視覺是一項綜合技術,其內容涉及數字信號處理、機械工程技術、控制與光源照明技術、傳感器技術、計算機軟件技術和人機接口技術等。典型的機器視覺應用系統包括圖像捕捉模塊、光源模塊、圖像數字化模塊、數字圖像處理模塊、智能判斷決策模塊和機械控制執(zhí)行模塊。因此,機器視覺就是為智能設備安裝的眼睛。機器視覺系統的魯棒性、實時性、高速度和高精度是其實用性的重要指標。近年來,計算機的運算速度逐年提高,人們的生活消費方式、生產制造方式有了很大的變化,這給機器視覺應用技術帶來了新的需求和挑戰(zhàn)。
上海交通大學的機器視覺與應用課程開始于2001年,早是面向該校機械工程學院機械電子工程專業(yè)研究生開設的選修課,是作為機器人學配套課程出現的。該課程主要在圖像處理的基礎上重點介紹機器視覺理論與算法,如圖像預處理、立體視覺建模、運動視覺(或稱為序列圖像分析)、由圖像灰度恢復三維物體形狀、物體建模與識別方法,以及距離圖像分析方法等。本書規(guī)避了圖像處理涉及的大量數學公式,而是從應用案例入手,幫助讀者掌握機器視覺技術并解決實際問題。
20年來,機器視覺應用技術一直在向更深、更高層次發(fā)展,特別是2010年以來深度學習解決了圖像識別的一系列瓶頸問題,機器視覺應用也從單一視覺檢測走向視覺定位、環(huán)境建模和對象識別的實用化方向。由于非電類專業(yè)出身的工程技術人員迫切希望掌握機器視覺技術并期待能靈活應用該項技術提高機器人和裝備的智能化性能,因此,本書在系統地描述機器視覺的基本理論與方法時,重點介紹機器視覺應用系統涉及的新技術、新方法、新器件以及機器視覺的典型應用實例。本書內容包含計算機視覺與機器視覺的基本概念、光源技術、鏡頭技術、攝像機技術和典型接口技術,以及構成機器視覺系統的標定技術。同時,結合Matlab圖像處理工具和OpenCV開源代碼平臺,繞開了煩瑣的公式,介紹了機器視覺涉及的圖像處理和模式識別技術。書中的主要應用案例分別來自作者指導過的張昊若、林敏捷、楊理欣幾位研究生的學位論文,研究生倪培遠和張悅也參與了本書的整理和編輯工作,在此表示感謝!
由于作者的水平有限,書中難免存在不足之處,請大家就如何完善本書提出寶貴意見,我們的聯系方式是:qxcao@sjtu.edu.cn。
曹其新,上海交通大學機械與動力工程學院教授,博士生導師。主要研究方向為機器視覺、機器人控制技術。曾發(fā)表EI&SCI論文150多篇,獲得國家發(fā)明專利90多項、國家科技進步二等獎1項、吳文俊人工智能科學技術獎一等獎1項、省部級科技獎項5項。
莊春剛,上海交通大學機械與動力工程學院副研究員,博士生導師。主要研究方向為機器視覺與控制。曾發(fā)表EI&SCI論文30多篇,獲得國家發(fā)明專利10多項、上海市技術發(fā)明一等獎1項。
前言
第1章緒論1
11機器視覺的發(fā)展及系統構成1
111機器視覺的發(fā)展1
112機器視覺系統的構成2
12Marr的視覺理論框架4
121視覺系統研究的3個層次4
122視覺信息處理的3個階段5
13機器視覺任務和機器視覺與其他領域的關系7
131機器視覺任務7
132機器視覺與其他領域的關系8
14參考文獻9
第2章成像與圖像采集10
21亮度與成像10
211光度學10
212亮度成像模型12
22鏡頭13
221針孔成像模型13
222鏡頭畸變16
223遠心與景深17
23攝像機19
231CCD傳感器19
232CMOS傳感器20
233彩色成像22
234攝像機性能28
235深度攝像機30
24攝像機計算機接口31
25參考文獻32
第3章圖像預處理基礎33
31數據結構33
311傳統的圖像數據結構33
312分層數據結構38
32圖像預處理41
321灰度值變換41
322幾何變換44
323圖像濾波器53
324形態(tài)學操作65
33參考文獻70
第4章圖像分割和特征匹配71
41圖像分割71
411閾值分割71
412連通域與邊緣提取77
413亞像素精度閾值分割86
414基于區(qū)域的分割87
415基于3D圖的圖像分割98
42特征匹配103
421區(qū)域特征103
422幾何元素的提取110
423輪廓特征112
424特征檢測子115
425特征描述子122
426匹配優(yōu)化算法125
427模板匹配132
43參考文獻136
第5章立體視覺與三維重建140
51立體視覺概述140
52立體視覺的基本原理142
53三維重建146
531攝像機標定146
532機器人手眼標定150
533射影幾何152
534多視圖重建場景158
535雙目攝像機與多目攝像機164
536深度圖168
54參考文獻169
第6章模式識別算法171
61支持向量機171
62貝葉斯分類器173
63聚類算法175
64神經網絡基礎177
641感知機與神經網絡基礎177
642參數學習方法179
643GPU并行技術179
65深度卷積神經網絡181
651LeNet182
652GoogLeNet183
653ResNet185
66參考文獻187
第7章機器視覺在物體識別與測量中的應用188
71檢測物體的特征提取188
711區(qū)域特征188
712灰度值特征189
713輪廓特征191
72模式分類與識別191
73機器視覺中形狀大小的測量194
731長度測量194
732線段測量196
733面積測量196
734圓測量197
74機器視覺表面缺陷檢測198
741印刷檢測199
742封裝檢測200
743鋸齒檢測201
75參考文獻203
第8章視覺伺服的基礎205
81視覺伺服控制簡介205
82概念說明與標定技術206
821坐標變換與剛體運動206
822攝像機模型與標定208
823手眼標定技術212
83視覺伺服控制理論213
831基于位置的視覺伺服213
832基于圖像的視覺伺服215
84應用案例232
85參考文獻238
第9章機器視覺從容器中抓取零件的應用240
91散亂零件識別的基本方法240
92抓取操作的機器人技術243
93散亂零件的識別與操作應用246
94參考文獻251
第10章機器視覺在無源導航與定位中的應用255
101移動機器人與導航255
102定位與地圖構建256
103各類傳感器的初始化與預處理263
104即時定位與地圖構建272
1041使用魚眼攝像機的視覺SLAM系統277
1042基于多攝像機系統的視覺SLAM系統277
105參考文獻278