本書結(jié)合工程教育專業(yè)認證要求,針對當今社會對機器人感知技術(shù)人才的需求,從本科生工程能力出發(fā),貫徹從基本功能模塊到整體感知系統(tǒng)設(shè)計逐層遞進的教學思路,以家庭服務(wù)機器人為主線,從模塊化知識塊入手,介紹相關(guān)理論的實際應用技術(shù)。引導學生完成相關(guān)感知模塊的理論知識學習、設(shè)計與開發(fā),更加靈活地培養(yǎng)學生的系統(tǒng)設(shè)計與開發(fā)能力,更好地激發(fā)學生的自主學習意識,更好地服務(wù)于機器人技術(shù)創(chuàng)新人才的培養(yǎng)
東南大學于2016年開設(shè)了全國首個機器人工程本科專業(yè)。該專業(yè)建設(shè)之初,筆者在開展機器人感知方向科研工作的同時一直在思考,如何培養(yǎng)機器人專業(yè)人才,特別是如何高質(zhì)量、高效率地培養(yǎng)機器人感知方向的專業(yè)人才。依據(jù)江蘇省高等學校重點教材項目的要求,筆者結(jié)合多年科研和一線教學實踐經(jīng)驗,以及對專業(yè)特點與技術(shù)變革的思考,探索并嘗試編寫了本教材。
機器人是科技發(fā)展的重要結(jié)晶,是人在改造世界過程中的產(chǎn)物。人對智能機器的幻想與癡迷由來已久,中國著名古籍《列子·湯問》中就曾記載偃師造人的傳說,這或許是人最早對自動機器與環(huán)境(音律環(huán)境)和諧關(guān)系、人機共融情景的憧憬。在如此憧憬下,人們經(jīng)過長期孜孜不倦的研究,終于在20世紀60年代開發(fā)出了最早的智能機器人。隨后,智能機器人滲透到生活、生產(chǎn)等越來越多的領(lǐng)域,帶來了良好的經(jīng)濟效益和社會效益。2021年我國工業(yè)和信息化部等15個部門發(fā)布的《“十四五”機器人產(chǎn)業(yè)發(fā)展規(guī)劃》進一步推動了智能機器人產(chǎn)業(yè)的高質(zhì)量發(fā)展,“機器人+”的行業(yè)應用模式將成為經(jīng)濟發(fā)展新動能,催生經(jīng)濟新格局。這也對筆者所從事的機器人感知領(lǐng)域的研究和教學工作提出了新的挑戰(zhàn)。
我們知道,人生活在五彩斑斕的世界中,時時刻刻都在感知周圍的環(huán)境并與其進行交互,人對環(huán)境的感知是人行為的基礎(chǔ)。人研究智能機器人的目的是讓機器人具有類人智能,將人的智能賦予機器人。在此進程中,賦予機器人智能環(huán)境感知能力是重要一環(huán),對機器人的自主性、智能性、社會性提升均具有重要意義。機器人通過自身攜帶的傳感器(如GPS、IMU、視覺、激光雷達、超聲波等),或者智能空間中的傳感器,來獲取周圍的靜態(tài)物理環(huán)境、動態(tài)目標等傳感數(shù)據(jù);然后,數(shù)據(jù)經(jīng)過處理形成有用信息,進而實現(xiàn)環(huán)境的重構(gòu),完成對周圍環(huán)境的客觀表達;最后,再形成機器人本體內(nèi)的“主觀”理解。更進一步,機器人在對自然環(huán)境感知的基礎(chǔ)上,針對復雜的社會環(huán)境,也可以像人一樣感知,具備了較高的社會感知和智能能力。當機器人具備一定社會感知能力后,也就具有了社交能力。
如今,隨處可見各種機器人在運行,它們時刻對所處環(huán)境進行著感知。如:在馬路上行駛的無人駕駛汽車,對路面、車道線、障礙物、行人、其他車輛等進行實時感知;服務(wù)機器人在從一個位置移動到另一個位置的過程中,對環(huán)境地圖、服務(wù)目標、操作對象、場所語義等進行感知;無人自主潛水器在水下航行時,自主進行探測、建圖與導航;無人機或無人機群置空后,對任務(wù)目標、環(huán)境對象、任務(wù)態(tài)勢進行捕獲與感知……然而,我們也應當清醒地認識到,機器人目前的感知能力仍遠達不到人們期望的水平。一個現(xiàn)實的例子是現(xiàn)在還沒有一輛汽車可以達到L5級別的自動駕駛,甚至L4級別的自動駕駛也很難完成。因此,研究人員和相關(guān)工程技術(shù)人員還需再接再厲,在相關(guān)領(lǐng)域持續(xù)發(fā)揮才智,培養(yǎng)該領(lǐng)域后繼人才成為當下的迫切需求。
機器人感知技術(shù)作為機器人技術(shù)的一個基礎(chǔ)分支,受到多個行業(yè)、領(lǐng)域的重點關(guān)注。然而目前熟練掌握該方向技術(shù)的專業(yè)人員尚鳳毛麟角,專業(yè)用人荒與就業(yè)難的自相矛盾在該領(lǐng)域也逐漸顯現(xiàn)。企業(yè)所需要的機器人感知技術(shù)研發(fā)人員,不僅要有扎實的理論基礎(chǔ)、廣泛的知識面,更要有豐富的動手實踐經(jīng)驗。由此,對機器人感知技術(shù)專業(yè)人才的培養(yǎng)方案,不僅要貼近前沿需求和“實戰(zhàn)”要求,同時也要涵蓋理論和技術(shù)前沿,并且易于初學者上手。
本書是筆者在多年的科研與教學實踐基礎(chǔ)上,參考相關(guān)領(lǐng)域優(yōu)秀成果編寫而成的,內(nèi)容力求做到由淺入深、循序漸進、條理清晰,既強調(diào)了基本原理和工程應用,又反映了國內(nèi)外研究和應用的最新進展,具有系統(tǒng)性、實用性、前沿性和易讀性。
1)系統(tǒng)性。相關(guān)理論脈絡(luò)清晰,全面梳理從度量層到語義層、從靜態(tài)對象到動態(tài)對象以及多種模態(tài)信息下的機器人感知技術(shù),此外對常用的數(shù)學工具做了系統(tǒng)性歸納。
2)實用性。根據(jù)機器人系統(tǒng)應用需求,對應用中使用的大量經(jīng)典方法進行了詳細闡述,并在實驗部分對部分重要方法給出了實現(xiàn)過程,希望讀者通過本書的學習能掌握這些實用方法,快速投入“實戰(zhàn)”。
3)前沿性。展現(xiàn)國際上最新的研究成果,反映機器人感知領(lǐng)域的最先進水平。
4)易讀性。文字表述力求通俗易懂。在內(nèi)容安排上力求由淺入深,循序漸進。
本書共7章并附相關(guān)的實驗指導。
第1章介紹機器人環(huán)境感知技術(shù)的有關(guān)概念和現(xiàn)狀,并對相關(guān)研究類別的特點進行了討論。
第2章介紹在機器人感知系統(tǒng)設(shè)計過程中主要使用的數(shù)學工具,包括線性代數(shù)、求導法則、優(yōu)化算法、解析幾何、概率等。
第3章從自主移動機器人攜帶的常用環(huán)境感知傳感器入手,介紹了傳感器感知方式和方法,以及從度量層面對傳感器信息進行分析的方法。
第4章主要從靜態(tài)對象感知角度出發(fā),介紹用于靜態(tài)對象的自主感知技術(shù),主要包括目標的檢測和識別,所用到的對象信息有二維信息、三維信息和觸覺信息。
第5章主要從動態(tài)對象感知角度出發(fā),介紹一般動態(tài)障礙物的檢測方法以及對動態(tài)人臉和人體的檢測與跟蹤方法。
第6章介紹幾種語義級別的環(huán)境描述和理解方法。
第7章面
前言
第1章引言1
11機器人感知技術(shù)概述1
111度量層環(huán)境感知技術(shù)3
112拓撲層環(huán)境感知技術(shù)5
113語義層環(huán)境感知技術(shù)6
114復合環(huán)境感知技術(shù)8
12機器人與環(huán)境的交互機制概述9
參考文獻10
第2章數(shù)學基礎(chǔ)15
21線性代數(shù)15
211向量15
212標量15
213矩陣16
214張量16
215矩陣的運算和操作16
216向量的線性相關(guān)與獨立17
217矩陣的秩17
218單位矩陣或恒等運算符18
219矩陣的行列式18
2110逆矩陣18
2111向量的范數(shù)(模)19
2112偽逆矩陣20
2113以特定向量為方向的單位
向量20
2114一個向量在另一個向量方向
上的投影20
2115特征向量和特征值20
2116矩陣的特征方程20
22導數(shù)、偏導數(shù)與鏈式法則21
221微分21
222函數(shù)的梯度21
223連續(xù)偏導數(shù)22
224鏈式法則22
225反向傳播算法22
23梯度下降法及其變式23
231梯度下降法23
232梯度下降法的變式23
24二維空間位姿描述25
25三維空間位姿描述27
251正交旋轉(zhuǎn)矩陣28
252三角度表示法29
253奇異點29
254單位四元數(shù)29
255平移與旋轉(zhuǎn)組合30
26張量31
27概率基礎(chǔ)32
271隨機實驗和樣本空間32
272并集、交集和條件概率32
273事件聯(lián)合概率32
274事件的互斥32
275事件的獨立33
276條件獨立33
277貝葉斯公式33
278概率質(zhì)量函數(shù)33
279概率密度函數(shù)34
2710隨機變量的數(shù)學期望34
2711隨機變量的方差34
2712偏度和峰度34
2713協(xié)方差35
2714相關(guān)性系數(shù)36
2715一些常見的概率分布36
2716似然函數(shù)37
2717最大似然估計38
2718中心極限定理38
28習題39
參考文獻39
第3章環(huán)境信息采集與度量層
數(shù)據(jù)處理40
31基于超聲波的環(huán)境信息40
311超聲波傳感器工作原理與
關(guān)鍵指標40
312超聲波傳感器測量數(shù)據(jù)
特性42
313基于超聲波傳感器的地圖
創(chuàng)建43
32基于激光雷達的環(huán)境信息47
321激光雷達工作原理47
322基于激光雷達的地圖創(chuàng)建51
33基于視覺的環(huán)境信息53
331圖像的數(shù)據(jù)表達53
332針孔相機模型與立體視覺54
333深度傳感器及顏色深度傳
感器58
334視覺SLAM59
34常見觸覺傳感器67
341力傳感器及其數(shù)據(jù)處理67
342接觸覺傳感器及其數(shù)據(jù)
處理67
343壓覺傳感器及其數(shù)據(jù)處理68
344滑覺傳感器及其數(shù)據(jù)處理69
35其他傳感器70
351聽覺傳感器及其數(shù)據(jù)處理70
352味覺傳感器及其數(shù)據(jù)處理71
353嗅覺傳感器及其數(shù)據(jù)處理71
354接近覺傳感器及其數(shù)據(jù)處理71
36習題72
參考文獻72
第4章靜態(tài)目標檢測與識別74
41基于二維信息的物體檢測與識別74
411基于度量數(shù)據(jù)的障礙物
檢測74
412基于深度神經(jīng)網(wǎng)絡(luò)的物體
檢測76
413基于傳統(tǒng)特征的物體分類
識別90
414基于CNN的物體識別94
42基于三維信息的物體檢測與識別97
421可行區(qū)域檢測97
422目標物體檢測與識別104
43基于觸覺信息的物體感知技術(shù)109
431滑移檢測109
432物體觸覺識別114
44習題117
參考文獻117
第5章動態(tài)目標檢測與識別119
51動態(tài)障礙物的檢測119
52人臉檢測與識別120
521人臉檢測120
522人臉跟蹤126
53人體檢測127
531圖像預處理127
532梯度方向直方圖特征128
533基于有監(jiān)督學習的人體檢測130
54人體運動檢測與跟蹤131
541人體運動檢測131
542人體運動跟蹤1