本書從實際應用出發(fā)，把生活中常見的人機交互技術進行拆分。從硬件、軟件和系統(tǒng)三個層次，用難易不同的語言描述多模態(tài)人機交互技術。用時間、空間的眼光，為讀者介紹不同場景下的多模態(tài)人機交互技術。近幾年隨著大數(shù)據(jù)、人工智能、深度學習的浪潮的推動，人機交互技術也由機器檢測人、人操作機器的簡單方式轉(zhuǎn)變?yōu)槿溯o助機器、機器配合人的人機共融方式。
本書的多模態(tài)人機交互技術涉及多模式傳感器層面的視覺傳感器、體感傳感器、體表傳感器、眼動傳感器、語音傳感器等多種傳感器；涉及傳統(tǒng)的基于特征提取和目前流行的基于深度學習、Transformer等的人機交互識別方式；涉及人機交互中操作員控制機器、機器感知操作員狀態(tài)的人機交互方式；涉及人機交互中多模式下的任務規(guī)劃和協(xié)同感知；涉及人機交互中的安全等。
第1章 緒論
1.1 多模式人機操作
1.2 多模式人機協(xié)同感知規(guī)劃
1.3 試驗驗證情況
第2章 多模式人機交互構(gòu)成及交互方式
2.1 基于多傳感器測量的操作員狀態(tài)監(jiān)視模塊
2.2 多傳感器融合的神經(jīng)網(wǎng)絡語義學習方法
2.3 基于多傳感器輸入的多無人機混合主動控制模塊設計
2.4 監(jiān)督控制系統(tǒng)初步實現(xiàn)與仿真驗證
2.5 總結(jié)
第3章 手勢識別交互
3.1 手勢識別傳感器
3.2 基于視覺特征學習的手勢特征提取
3.3 基于視覺特征學習的手勢特征識別
3.4 基于深度學習的手勢識別
3.5 手勢在交互中的應用
3.6 總結(jié)
第4章 人體姿態(tài)識別交互
4.1 人體骨架模型
4.2 深度相機的人體骨架提取
4.3 單可見光相機的人體骨架提取
4.4 人體姿態(tài)識別
4.5 多傳感器融合的姿態(tài)識別
4.6 人體姿態(tài)識別在交互中的應用
4.7 總結(jié)
第5章 眼動跟蹤交互
5.1 眼睛視線跟蹤模型
5.2 基于視覺的眼睛定位及狀態(tài)檢測
5.3 眼動儀檢測定位
5.4 眼動跟蹤交互應用
5.5 總結(jié)
第6章 面部表情交互
6.1 表情模型
6.2 面部表情特征提取方法
6.3 基于深度學習的面部表情識別
6.4 人臉表情識別常見傳感器
6.5 面部表情交互應用
6.6 總結(jié)
第7章 語音交互
7.1 語音模型
7.2 語音識別
7.3 語音情感識別
7.4 麥克風陣列語音交互
7.5 語音交互應用
7.6 總結(jié)
第8章 腦電信號交互
8.1 腦電信號模型
8.2 基于腦電信號的情感識別
8.3 腦電信號與睡眠的關系
8.4 腦電信號與疲勞關系
8.5 腦電信號與注意力關系
8.6 腦電信號控制
8.7 腦電信號檢測過程
8.8 腦電信號的應用
8.9 總結(jié)
第9章 其他交互方式
9.1 情緒識別
9.2 觸覺識別
9.3 鼠標、鍵盤、筆式交互
9.4 唇語識別
9.5 總結(jié)
第10章 視覺感知
10.1 基于視覺的無人車多任務感知
10.2 基于點云的無人車障礙物檢測研究
10.3 圖像語義理解
10.4 總結(jié)
第11章 路徑規(guī)劃
11.1 常用的路徑規(guī)劃算法
11.2 基于梯度平滑A*算法的無人車路徑規(guī)劃
11.3 RRT算法與Dubins曲線融合航線規(guī)劃方法
11.4 總結(jié)
第12章 多模式人機操作及協(xié)同感知規(guī)劃實驗設計
12.1 可解釋性的人-無人機交互操作
12.2 多模式人機協(xié)同感知／規(guī)劃性能參數(shù)
12.3 多模式人機交互操作實驗平臺設計
12.4 基于深度學習的多模式人機交互操作技術
12.5 基于多模式人機混合主動控制
12.6 總結(jié)
第13章 人機交互安全
13.1 人機交互中操作員的安全
13.2 人機交互中的身份信息確認
13.3 數(shù)據(jù)安全
13.4 總結(jié)
參考文獻
書單推薦
