機器視覺的應用越來越廣泛，目前已經成功的被應用到機器人、自動駕駛、成像和監(jiān)控、視頻分析等諸多領域，甚至已將跟蹤用于武器裝備等高精尖分析項目中。本教材為讀者提供了重要的機器視覺分析及實現(xiàn)工具，全書內容共9章。第1章為基礎鋪墊，主要包括機器視覺的相關概念，機器視覺的發(fā)展、基本任務、應用領域與困難以及Marr視覺理論等；第2章至第5章主要為機器視覺中對圖像處理的核心環(huán)節(jié)，內容包括機器視覺圖像處理基礎知識、相機成像、相機標定以及圖像恢復（Shape from X）；第6章至第8章則開始重點介紹三維空間中機器視覺關鍵技術，即雙目立體視覺、結構光三維視覺以及深度相機；最后第9章為機器視覺領域的應用，包括機器學習在模式識別、圖像超分辨率重建，以及基于飛槳的百度智能車道線檢測、大場景三維重建、人體三維視覺掃描案例、三維機器視覺引導機器人打磨拋光、自主焊接、垃圾識別與分揀等目前較受關注的應用項目。本書配套資源齊全，可提供全部源代碼、課程PPT以及二維碼演示視頻。 本書可作為普通高等院校人工智能類、計算機類、自動化類、電氣類、電子信息類等專業(yè)的本科及研究生學習機器視覺及計算機視覺課程的教材，也可以供從事人工智能、機器視覺和圖像處理等研究與應用的科技人員參考。
本書作者將多年的工程項目開發(fā)案例寫入教材，引導讀者進行機器視覺技術實際工程能力的鍛煉，本書在講解機器視覺工程技術知識的同時，也弘揚了社會主義核心價值觀，堅定文化自信，推進工程技術的改革創(chuàng)新。
本書的內容的編寫除了保證內容的先進性，還需要考慮講解內容的經典性，使讀者容易理解講解內容的原理、理論知識。成像模型和透視投影模型中借鑒《Robot Vision》的思路和方法。使學生掌握攝像機標定、空間坐標系、相機坐標系等基礎知識和內容。在案列的程序設計方面，采用Matlab和OpenCV (C )語言同時實現(xiàn)，加強學生對程序的編寫、算法實現(xiàn)的能力，從而增強其在機器視覺方面的軟件開發(fā)能力。此外，本書還增加了微軟Kinect，以及Intel Real Sense產品在機器學習方面的具體應用實例
隨著計算機技術、光電子技術、信號處理理論與技術、人工智能理論與技術的發(fā)展，機器視覺得到了飛速的發(fā)展和廣泛的應用，在科研和實際生產中發(fā)揮了重要的作用。機器視覺作為人工智能的重要分支，很大程度上代表了人工智能的發(fā)展水平，在人工智能領域的地位不言而喻。當前我國社會對從事機器視覺、人工智能領域的人才需求量日益增加。
機器視覺課程是國內外高校本科生和研究生的重要專業(yè)課，涉及信號處理、數(shù)字圖像處理、模式識別、人工智能和光電子學等領域，是一門交叉性很強的課程。本書作者將多年的工程項目開發(fā)案例寫入教材，引導讀者進行機器視覺技術實際工程能力的鍛煉，培養(yǎng)學生探索未知、追求真理、勇攀科學高峰的責任感和使命感以及精益求精的大國工匠精神。
黨的二十大報告指出，開辟發(fā)展新領域新賽道，不斷塑造發(fā)展新動能新優(yōu)勢。本書在講解機器視覺工程技術知識的同時，也弘揚了社會主義核心價值觀，堅定文化自信，推進工程技術的改革創(chuàng)新。本書共8章。第1章為緒論。第2章為相機成像與標定，包括射影幾何與幾何變換、相機標定基礎、相機標定方法、相機標定的MATLAB與OpenCV實現(xiàn)、圓形板標定方法、單相機與光源系統(tǒng)標定及機器人手眼標定。第3章為雙目立體視覺，包括雙目立體視覺原理、圖像特征點、立體匹配等內容。第4章為面結構光三維視覺，包括單幅相位提取方法、多幅相位提取方法和相位展開方法等內容。第5章為線結構光三維測量，主要包括線結構光提取、單目與雙目線結構光測量原理、三維人體掃描等內容。第6章為深度相機三維測量，主要包括飛行時間測量方法、散斑結構光測量方法、激光雷達測量方法等內容。第7章為三維形狀恢復方法，主要包括光度立體、從明暗恢復形狀、從運動恢復形狀、NeRF技術等。第8章為機器視覺案例應用。除第1章外，本書大部分章節(jié)都配有應用案例，包括案例的分析過程，實驗數(shù)據(jù)或程序代碼及運行結果。
本書積累了作者多年來在機器視覺和人工智能領域的科研和教學成果，是一本面向工程專業(yè)的本科生與研究生的教材。書中包含經典和最新的機器視覺案例。通過講解案例背景與原理、設計思路、實驗步驟、開發(fā)環(huán)境與工具以及實驗結果，學生能夠根據(jù)案例理解相關理論知識和內容，同時也為教學提供了豐富可靠的工程應用經驗，有利于加強工程實際應用的理論和知識的學習。本教材對從事機器視覺的科研人員和工程師也具有一定的參考作用。
本書由天津工業(yè)大學宋麗梅、朱新軍、李云鵬等編著，天津工業(yè)大學路士坤、趙于霄龍、徐寶林、王洪立、于海渤、馬坤、陳一凡、夏志磊、張佳磊、蘭天陽、佟宇、張宗陽、劉夢雅、王爍鵬、韓志強等參與了編寫工作。第1章由朱新軍編寫，第2章由李云鵬、路士坤等編寫，第3章由宋麗梅、趙于霄龍、徐寶林等編寫，第4章由宋麗梅、馬坤、陳一凡等編寫，第5章由李云鵬、王洪立、于海渤等編寫，第6章由朱新軍、夏志磊、張宗陽等編寫，第7章由朱新軍、張佳磊、蘭天陽等編寫，第8章由宋麗梅、佟宇等編寫。深圳奧比中光科技有限公司為本書的撰寫也提供了幫助。另外，本書還附有相應的程序代碼（電子資源）和二維碼資源，讀者可以掃碼觀看演示過程和效果。
本書的出版得到了天津市教育科學規(guī)劃課題重點課題（BIE210025）的資助，是天津市重大科技成果科普化示范項目（22KPXMRC00090）的支撐教材。此外，本書也得到了天津市高等學校創(chuàng)新團隊培養(yǎng)計劃（TD13-5036）和中國學位與研究生教育學會研究課題（2020MS1019）的資助。
由于作者水平有限，書中難免存在不妥之處，敬請讀者批評指正。
2012年獲得香港桑麻獎教金； 2014年獲得天津市5.1勞動獎章； 2015年入選天津市131一層次人才，獲得天津工業(yè)大學教學質量一等獎； 2016年獲得天津市三八紅旗手稱號； 2019年獲得天津市工程專業(yè)學位優(yōu)秀指導教師獎、天津市工程專業(yè)學位碩士研究生優(yōu)秀學位論文指導教師獎、天津市工程專業(yè)學位優(yōu)秀教學成果獎一等獎，主編的《數(shù)字圖像處理基礎及工程應用》獲得天津市工程專業(yè)學位優(yōu)秀教材二等獎； 2021年，主講課程入選天津市一流課程，正在參加國家一流課程的評選。
前言
第1章緒論
1.1機器視覺
1.1.1機器視覺的發(fā)展
1.1.2機器視覺與其他領域的關系
1.2機器視覺研究的任務、基本內容、
應用領域與困難
1.2.1任務
1.2.2基本內容
1.2.3應用領域
1.2.4困難
1.2.5機器視覺與人的視覺關系
1.3馬爾視覺理論
1.3.1視覺信息加工過程
1.3.2視覺系統(tǒng)研究的三個層次
1.3.3視覺系統(tǒng)處理的三個階段
1.4機器視覺與計算成像
1.4.1單光子成像
1.4.2單像素成像
1.4.3偏振成像
1.4.4光場成像
1.4.5事件相機
【本章小結】
【課后習題】
第2章相機成像與標定
2.1射影幾何與幾何變換
2.1.1空間幾何變換
2.1.2三維到二維投影
2.2相機標定基礎
2.2.1線性模型
2.2.2非線性模型
2.2.3空間坐標系及變換
2.3相機標定方法
2.3.1Tsai相機標定
2.3.2DLT標定
2.3.3張正友標定
2.3.4PNP標定
2.4相機標定的MATLAB與OpenCV
實現(xiàn)
2.4.1MATLAB棋盤格標定
2.4.2OpenCV棋盤格標定
2.5圓形板標定方法
2.5.1單目相機標定
2.5.2雙目相機標定
2.6單相機與光源系統(tǒng)標定
2.6.1背景
2.6.2原理與方法
2.7案例-機器人手眼標定
2.7.1機械臂坐標系
2.7.2手眼標定
【本章小結】
【課后習題】
第3章雙目立體視覺
3.1雙目立體視覺原理
3.1.1雙目立體視覺測深原理
3.1.2極線約束
3.2雙目立體視覺系統(tǒng)
3.2.1雙目立體視覺系統(tǒng)分析
3.2.2平行光軸的系統(tǒng)結構
3.2.3非平行光軸的系統(tǒng)結構
3.2.4雙目立體視覺的精度分析
3.3圖像特征點
3.3.1SIFT特征點
3.3.2SURF特征點
3.3.3ORB特征點
3.3.4基于深度學習的特征點
3.4立體匹配
3.4.1稀疏匹配
3.4.2稠密匹配
3.5案例-雙目立體視覺實現(xiàn)深度
測量
3.5.1相機標定
3.5.2實驗圖片采集和矯正
3.5.3圓心坐標提取
3.5.4視差和深度計算
3.5.5計算三維坐標并三維輸出空間
位置
3.6雙目立體成像
3.6.1立體攝相機原理
3.6.2立體攝相機拍攝技術
3.7案例-雙目立體視覺三維測量
3.7.1相機標定
3.7.2立體匹配
3.7.3三維重建
3.8案例-基于深度網絡的自由雙目
三維重建
3.8.1實驗系統(tǒng)
3.8.2立體匹配實驗
3.8.3點云拼接
【本章小結】
【課后習題】
第4章面結構光三維視覺
4.1單幅相位提取方法
4.1.1窗傅里葉變換法
4.1.2窗傅里葉脊法
4.1.3二維連續(xù)小波變換法
4.1.4BEMD法
4.1.5VMD法
4.1.6變分圖像分解法
4.2多幅相位提取方法
4.3相位展開方法
4.3.1格雷碼
4.3.2外差多頻
4.3.3三頻相位展開方法
4.3.4雙互補相位編碼
4.4案例-基于條紋投影結構光
三維掃描儀的牙模掃描
4.5案例-鞋底打磨
【本章小結】
【課后習題】
第5章線結構光三維測量
5.1線結構光提取
5.1.1線結構光特點
5.1.2線結構光中心線提取方法
研究
5.2單目線結構光測量原理
5.2.1激光三角法簡介
5.2.2單目線結構光的光平面標定
方法
5.2.3系統(tǒng)設計與搭建
5.2.4結果與分析
5.3雙目線結構光測量原理
5.3.1外極線約束原理
5.3.2系統(tǒng)設計與搭建
5.4三維人體掃描
5.4.1激光三角法應用于三維人體
掃描儀
5.4.2三維人體掃描儀的系統(tǒng)構成
5.4.3系統(tǒng)設計與搭建
5.5結構光引導的大型壓力容器
內部焊接系統(tǒng)
5.5.1系統(tǒng)總體方案
5.5.2結構光視覺傳感系統(tǒng)設計
5.5.3系統(tǒng)軟件設計與搭建
5.5.4結果與分析
【本章小結】
【課后習題】
第6章深度相機三維測量
6.1飛行時間測量方法
6.1.1深度相機基本原理
6.1.2相位解調技術
6.2散斑結構光測量方法
6.2.1雙目測量方法
6.2.2單目測量方法
6.3激光雷達測量方法
6.3.1激光雷達測距原理
6.3.2激光雷達三維形貌測量原理
6.3.3車載激光雷達
6.3.4激光雷達生成點云
6.4視覺SLAM
6.4.1經典視覺SLAM
6.4.2視覺SLAM方法
6.5案例-RGB-D視覺SLAM地圖
重建
6.5.1前端算法設計
6.5.2后端算法設計
6.5.3實驗設計與結果分析
6.6案例-大場景三維重建
6.6.1三維激光掃描技術原理
6.6.2法如三維激光掃描儀使用基本
流程
6.6.3測量試驗與結果
6.7案例-基于平面約束的三維
重建
6.7.1技術原理
6.7.2準備工作
6.7.3實驗結果
【本章小結】
【課后習題】
第7章三維形狀恢復方法
7.1光度立體
7.1.1典型算法介紹
7.1.2典型算法實現(xiàn)
7.1.3算法實例
7.2從明暗恢復形狀
7.2.1SFS問題的起源
7.2.2SFS問題的解決方案
7.2.3最小值方法
7.2.4演化方法
7.2.5局部分析法
7.2.6線性化方法
7.3從運動恢復形狀
7.3.1光流與運動場
7.3.2多視圖恢復形狀
7.4NeRF技術
7.4.1神經輻射場簡介
7.4.2體素渲染
7.4.3位置編碼
7.4.4網絡結構
7.4.5對比效果
7.5案例-從陰影恢復形狀
7.5.1三維缺陷自動檢測
7.5.2氣泡大小的自動檢測
7.5.3對生活物品的三維恢復
【本章小結】
【課后習題】
第8章機器視覺案例應用
8.1Open3D應用案例
8.2智能車道線檢測
8.3三維機器視覺引導機器人打磨
拋光
8.3.1雙目視覺導引機器人自主打磨
系統(tǒng)
8.3.2系統(tǒng)標定實驗
8.3.3機器人自主打磨實驗
8.3.4視覺引導機器人自主打磨性能
評價
8.4三維機器視覺引導機器人自主
焊接
8.4.1系統(tǒng)組成部分
8.4.2系統(tǒng)標定
8.4.3焊接點位提取和姿態(tài)解算
8.5機器視覺引導機器人垃圾識別
與分揀
8.5.1智能垃圾分揀系統(tǒng)設計方案
8.5.2垃圾分揀系統(tǒng)的標定
8.5.3垃圾分類中的定位與目標
檢測
8.5.4垃圾姿態(tài)檢測算法
8.5.5智能垃圾分揀系統(tǒng)測試
8.6車軸檢測
8.6.1圖像分析法
8.6.2全站儀
8.6.3加權LM算法
8.6.4車軸測量系統(tǒng)實驗
8.7云臺視覺跟蹤
8.7.1云臺視覺跟蹤設計方法原理
8.7.2實驗與分析
8.7.3云臺跟蹤系統(tǒng)測試
【本章小結】
參考文獻
書單推薦
