本書從基于圖像的視覺(jué)感知角度出發(fā)，對(duì)面向自動(dòng)駕駛的交通標(biāo)識(shí)視覺(jué)感知相關(guān)技術(shù)進(jìn)行系統(tǒng)分析和介紹，主要內(nèi)容包括基于深度學(xué)習(xí)的視覺(jué)感知、交通標(biāo)識(shí)的視覺(jué)識(shí)別、雙目視覺(jué)與交通標(biāo)識(shí)測(cè)距、車道線檢測(cè)、面向自動(dòng)駕駛的嵌入式系統(tǒng)、視覺(jué)感知在自動(dòng)駕駛中的應(yīng)用展望等。
基于視覺(jué)的自動(dòng)駕駛汽車環(huán)境感知中的交通標(biāo)識(shí)識(shí)別，從算法和硬件平臺(tái)兩個(gè)角度出發(fā)進(jìn)行平臺(tái)的設(shè)計(jì)與實(shí)現(xiàn)
自動(dòng)駕駛汽車是人類道路交通工具的未來(lái)發(fā)展形態(tài)，將對(duì)人類社會(huì)的各方面產(chǎn)生廣泛而深遠(yuǎn)的影響。自動(dòng)駕駛汽車具有減少道路交通事故、緩解城市交通擁堵并減少環(huán)境污染等諸多優(yōu)勢(shì)。自動(dòng)駕駛技術(shù)是一個(gè)涉及車輛工程、計(jì)算機(jī)科學(xué)、人工智能、模式識(shí)別和智能控制的多學(xué)科、跨學(xué)科綜合研究領(lǐng)域，是人工智能技術(shù)在汽車領(lǐng)域的關(guān)鍵應(yīng)用。自動(dòng)駕駛汽車的核心是具有環(huán)境感知、規(guī)劃決策和控制執(zhí)行的移動(dòng)信息處理平臺(tái)，其中環(huán)境感知是自動(dòng)駕駛汽車獲取外界信息的源頭，占據(jù)著關(guān)鍵的地位。
視覺(jué)感知在環(huán)境感知中發(fā)揮著極其重要的作用，是獲取物理世界實(shí)時(shí)信息的主要方式。以深度學(xué)習(xí)為代表的人工智能技術(shù)在視覺(jué)感知上的進(jìn)展推動(dòng)了各類視覺(jué)應(yīng)用性能的提升，逐漸達(dá)到實(shí)用的程度。交通標(biāo)識(shí)包括道路交通設(shè)置的交通標(biāo)識(shí)牌、紅綠燈以及地面的車道線和停止線等交通指示線信息，基于深度學(xué)習(xí)的視覺(jué)感知通過(guò)對(duì)交通標(biāo)識(shí)的檢測(cè)、識(shí)別與測(cè)距，能夠完成自動(dòng)駕駛汽車需要的環(huán)境感知需求。本書對(duì)面向自動(dòng)駕駛的交通標(biāo)識(shí)視覺(jué)感知相關(guān)技術(shù)進(jìn)行了系統(tǒng)的介紹，梳理了自動(dòng)駕駛需要實(shí)現(xiàn)的系統(tǒng)功能、交通標(biāo)識(shí)視覺(jué)識(shí)別技術(shù)的原理和實(shí)現(xiàn)、雙目視覺(jué)在交通標(biāo)識(shí)測(cè)距上的應(yīng)用以及車道線檢測(cè)的基本方法和實(shí)現(xiàn)參考，最后通過(guò)對(duì)實(shí)現(xiàn)平臺(tái)的介紹，可為相關(guān)研究人員在這一領(lǐng)域開展研究提供相關(guān)參考。
全書共分為8章。第1章對(duì)自動(dòng)駕駛的發(fā)展歷史、分級(jí)定義與功能分析、硬件平臺(tái)及軟件平臺(tái)進(jìn)行了詳細(xì)的介紹； 第2章介紹了人工智能的發(fā)展歷程和研究途徑，分析了人工智能技術(shù)，特別是深度學(xué)習(xí)和強(qiáng)化學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用場(chǎng)景； 第3章介紹了基于深度學(xué)習(xí)的視覺(jué)感知技術(shù)在圖像分類、目標(biāo)檢測(cè)、目標(biāo)跟蹤和圖像分割應(yīng)用上的典型算法； 第4章介紹了如何采用深度學(xué)習(xí)框架、制作數(shù)據(jù)集、修改和設(shè)計(jì)神經(jīng)網(wǎng)絡(luò)模型實(shí)現(xiàn)交通標(biāo)識(shí)的視覺(jué)識(shí)別； 第5章介紹了雙目視覺(jué)定義和原理、交通標(biāo)識(shí)測(cè)距的流程和方法、試驗(yàn)結(jié)果與分析； 第6章介紹了基于傳統(tǒng)視覺(jué)和深度學(xué)習(xí)的視覺(jué)感知，詳細(xì)介紹了實(shí)現(xiàn)車道線檢測(cè)的不同方法的原理和實(shí)現(xiàn)方法，包括實(shí)現(xiàn)代碼和具體流程； 第7章介紹了視覺(jué)感知處理依賴的嵌入式計(jì)算機(jī)系統(tǒng)，包括視覺(jué)傳感器、硬件計(jì)算平臺(tái)和軟件開發(fā)環(huán)境，結(jié)合交通標(biāo)識(shí)視覺(jué)感知和雙目相機(jī)測(cè)距，給出了系統(tǒng)實(shí)現(xiàn)框架； 第8章介紹了視覺(jué)感知技術(shù)在自動(dòng)駕駛中的應(yīng)用展望，給出了視覺(jué)感知技術(shù)能夠進(jìn)一步推動(dòng)自動(dòng)駕駛發(fā)展的研究方向。
在本書的編寫過(guò)程中，得到了沈陽(yáng)工業(yè)大學(xué)多位教師和研究生的幫助和支持，徐佳鋒同學(xué)的研究工作使得車道線檢測(cè)部分的內(nèi)容更加完善，陳健、蔣慶齡、吳思男、郭玉婷、楊麗、王守滿、賀繼昌、趙鋆益等同學(xué)做了大量的書稿整理和完善工作。
在本書的編寫過(guò)程中，編者參閱了大量的文獻(xiàn)資料，從中得到了許多有益的啟發(fā)和幫助，在此向這些文獻(xiàn)的作者表示衷心的感謝。感謝全國(guó)勞動(dòng)模范、奇瑞汽車股份有限公司汽車工程技術(shù)研發(fā)總院的徐有忠博士為本書作序，他在本書的編寫過(guò)程中提供了很多中肯的建議，同時(shí)對(duì)清華大學(xué)出版社在出版過(guò)程中給予的支持表示誠(chéng)摯感謝。
由于編者水平有限，加之經(jīng)驗(yàn)不足，本書難免有疏漏之處，懇請(qǐng)各位同行和讀者批評(píng)指正。
編者
2023年6月
第1章自動(dòng)駕駛與計(jì)算機(jī)視覺(jué)
1.1自動(dòng)駕駛發(fā)展歷史
1.2自動(dòng)駕駛的定義與功能分析
1.3自動(dòng)駕駛硬件平臺(tái)
1.4自動(dòng)駕駛軟件平臺(tái)
1.5計(jì)算機(jī)視覺(jué)與感知
1.6視覺(jué)感知在自動(dòng)駕駛中的應(yīng)用
參考文獻(xiàn)
第2章人工智能及其在自動(dòng)駕駛中的應(yīng)用
2.1人工智能基礎(chǔ)
2.1.1人工智能的發(fā)展歷程
2.1.2人工智能的研究途徑
2.1.3人工智能的趨勢(shì)與展望
2.2機(jī)器學(xué)習(xí)與深度學(xué)習(xí)
2.2.1機(jī)器學(xué)習(xí)的含義與分類
2.2.2深度學(xué)習(xí)的發(fā)展歷程
2.2.3深度學(xué)習(xí)與計(jì)算機(jī)視覺(jué)
2.2.4深度學(xué)習(xí)與自然語(yǔ)言處理
2.3強(qiáng)化學(xué)習(xí)
2.3.1強(qiáng)化學(xué)習(xí)的基本要素
2.3.2強(qiáng)化學(xué)習(xí)的常用方法
2.3.3強(qiáng)化學(xué)習(xí)的發(fā)展方向
2.4深度學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用
2.4.1交通標(biāo)識(shí)識(shí)別
2.4.2目標(biāo)感知
2.4.3車道線檢測(cè)
2.4.4自動(dòng)泊車
2.4.5司乘人員狀態(tài)監(jiān)控
2.5強(qiáng)化學(xué)習(xí)在自動(dòng)駕駛中的應(yīng)用
參考文獻(xiàn)
第3章基于深度學(xué)習(xí)的視覺(jué)感知
3.1深度學(xué)習(xí)基礎(chǔ)
3.2計(jì)算機(jī)視覺(jué)技術(shù)
3.3圖像分類典型算法
3.4目標(biāo)檢測(cè)典型算法
3.4.1兩階段目標(biāo)檢測(cè)方法
3.4.2單階段目標(biāo)檢測(cè)方法
3.5目標(biāo)跟蹤典型算法
3.6圖像分割典型算法
3.6.1語(yǔ)義分割算法
3.6.2實(shí)例分割算法
參考文獻(xiàn)
第4章交通標(biāo)識(shí)的視覺(jué)識(shí)別
4.1交通標(biāo)識(shí)和信號(hào)燈檢測(cè)
4.1.1交通標(biāo)識(shí)檢測(cè)
4.1.2交通信號(hào)燈檢測(cè)
4.2卷積神經(jīng)網(wǎng)絡(luò)與目標(biāo)檢測(cè)
4.2.1卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)分析
4.2.2目標(biāo)檢測(cè)算法評(píng)估指標(biāo)
4.2.3YOLOv3目標(biāo)檢測(cè)模型分析
4.3數(shù)據(jù)集準(zhǔn)備
4.3.1開源數(shù)據(jù)集的現(xiàn)狀及使用方法
4.3.2自制數(shù)據(jù)集的工作流程
4.4深度學(xué)習(xí)框架及模型使用
4.4.1主流深度學(xué)習(xí)框架
4.4.2開源模型使用方法
4.5交通標(biāo)識(shí)與信號(hào)燈檢測(cè)模型
4.5.1TYOLO模型設(shè)計(jì)要點(diǎn)
4.5.2輕量化網(wǎng)絡(luò)設(shè)計(jì)
4.5.3TMYOLO網(wǎng)絡(luò)
4.5.4檢測(cè)模型試驗(yàn)
參考文獻(xiàn)
第5章雙目視覺(jué)與交通標(biāo)識(shí)測(cè)距
5.1雙目視覺(jué)
5.1.1雙目視覺(jué)定義
5.1.2雙目視覺(jué)面臨的問(wèn)題
5.2雙目視覺(jué)的應(yīng)用
5.3雙目測(cè)距原理與優(yōu)化
5.3.1雙目視覺(jué)測(cè)距原理
5.3.2雙目視覺(jué)測(cè)距優(yōu)化
5.4交通標(biāo)識(shí)測(cè)距
5.4.1相機(jī)標(biāo)定及校正映射表計(jì)算
5.4.2圖像預(yù)處理
5.4.3金字塔模板匹配
5.4.4坐標(biāo)校正及測(cè)距
5.4.5測(cè)距流程
5.5試驗(yàn)與結(jié)果分析
5.5.1雙目視覺(jué)傳感器
5.5.2視覺(jué)傳感器參數(shù)計(jì)算
5.5.3車載環(huán)境試驗(yàn)與分析
參考文獻(xiàn)
第6章車道線檢測(cè)
6.1車道線檢測(cè)
6.2車道線檢測(cè)研究進(jìn)展
6.2.1傳統(tǒng)視覺(jué)檢測(cè)方法
6.2.2深度學(xué)習(xí)檢測(cè)方法
6.3基于傳統(tǒng)視覺(jué)的車道線檢測(cè)
6.3.1透視變換
6.3.2動(dòng)態(tài)閾值提取車道線
6.3.3車道線方程擬合
6.3.4平滑輸出方法
6.4基于深度學(xué)習(xí)的車道線檢測(cè)
6.4.1語(yǔ)義分割網(wǎng)絡(luò)與車道線檢測(cè)
6.4.2基于DABNet的改進(jìn)模型
參考文獻(xiàn)
第7章面向自動(dòng)駕駛的嵌入式系統(tǒng)
7.1嵌入式系統(tǒng)構(gòu)成
7.2車載攝像頭
7.2.1車載攝像頭組成
7.2.2車載攝像頭性能參數(shù)
7.3嵌入式硬件計(jì)算平臺(tái)
7.3.1各類計(jì)算平臺(tái)的性能和功耗
7.3.2不同計(jì)算平臺(tái)優(yōu)、缺點(diǎn)分析
7.3.3產(chǎn)業(yè)格局及代表產(chǎn)品
7.4嵌入式系統(tǒng)軟件環(huán)境
7.4.1計(jì)算平臺(tái)中的開發(fā)環(huán)境
7.4.2Jetson TX2中配置深度學(xué)習(xí)框架
7.4.3基于TensorRT的模型量化壓縮
7.5交通標(biāo)識(shí)視覺(jué)感知系統(tǒng)框架
7.6交通標(biāo)識(shí)視覺(jué)感知系統(tǒng)實(shí)現(xiàn)
7.6.1圖像采集與目標(biāo)檢測(cè)
7.6.2基于MobileNetv2的目標(biāo)識(shí)別模塊
7.6.3雙目相機(jī)測(cè)距模塊
參考文獻(xiàn)
第8章視覺(jué)感知在自動(dòng)駕駛中的應(yīng)用展望
8.1視覺(jué)感知與交通標(biāo)識(shí)
8.2視覺(jué)感知與內(nèi)容理解
8.3視覺(jué)感知與數(shù)字孿生
8.4視覺(jué)感知與信息獲取
8.5視覺(jué)感知與計(jì)算平臺(tái)
8.6環(huán)境感知與信息融合
參考文獻(xiàn)
書單推薦
