自動駕駛汽車即將在人們的生活中得到廣泛應用。自動駕駛領域的發(fā)展和進步令人嘆為觀止。作者第一次聽說自動駕駛汽車是在2010年，當時作者在東京的豐田展廳試乘過一次，乘車費用約為1美元。汽車行駛得很緩慢，這輛車非常明顯地依賴嵌入道路的傳感器。

幾年后，激光雷達和計算機視覺和深度學習取得了很大進步，使得之前的技術看起來非常原始，存在對道路不必要的改造，成本高昂。

本書將使用OpenCV完成各種任務，包括行人識別和車道識別；讀者將會探索深度學習并學習如何將其用于圖像分類、目標檢測和語義分割，并用它來識別行人、汽車、道路、人行道和交通信號燈，同時學習一些影響最深遠的神經網絡算法。

經過對本書的學習，讀者將能熟練使用Carla模擬器，基于該模擬器使用行為克隆和PID控制器來控制汽車；了解網絡協議、傳感器、攝像頭，以及如何使用激光雷達來對周圍世界進行建圖和定位。

但在深入研究這些驚人的技術之前，請花點時間想象一下20年以后的未來。汽車會是什么樣子？它們可以實現自動駕駛嗎？那時候汽車能飛起來嗎？交通信號燈那時還是否會存在？那些汽車多快、多重，又有多貴？人們如何使用汽車以及人們使用汽車的頻率如何？自動駕駛公交車和貨車又將如何發(fā)展？

人們無法預知未來，但可以想象，自動駕駛汽車和一切能夠自動駕駛的事物將以令人興奮的新方式塑造人們的城市和日常生活。

讀者想在定義未來中發(fā)揮積極作用嗎？如果是，請繼續(xù)閱讀下去。本書會成為這場旅程的開端。

本書面向的讀者

這本書涵蓋了建造自動駕駛汽車所需的幾個方面，適用于具備任何一種編程語言 （zuihao是Python） 基礎知識的程序員。讀者不需要具備深度學習的經驗，但是，若要wanquan理解zui高階的章節(jié)，學習一些擴展閱讀的內容可能會有所幫助。與第11章相關的參考源代碼是用C 語言編寫的。

本書內容

第1章，OpenCV基礎知識和攝像頭標定，介紹了OpenCV和NumPy；講解如何處理圖像和視頻，如何使用OpenCV檢測行人；此外還解釋了攝像頭的工作原理以及如何使用OpenCV對其進行校準。

第2章，理解和使用信號，介紹了不同類型的信號：串行、并行、數字、模擬、單端和差分信號，并講解了一些非常重要的協議：CAN、以太網、TCP和UDP。

第3章，車道檢測，涵蓋使用OpenCV檢測路上車道所需的一切。本章介紹了閾值處理、透視校正、邊緣檢測、直方圖、滑動窗口算法以及獲得zui佳檢測所需的濾波。

第4章，基于神經網絡的深度學習，介紹了一般的神經網絡，特別是卷積神經網絡。本章還介紹了Keras （一個深度學習模塊），并展示了如何用它來檢測手寫數字和對一些圖像進行分類。讀者通過本章學習，能夠快速掌握編寫神經網絡的方法。

第5章，深度學習工作流，恰當地補充了第4章中基于神經網絡的深度學習。本章介紹了神經網絡理論和典型工作流的步驟：獲取或創(chuàng)建數據集，將其拆分為訓練、驗證和測試集，進行數據增強，在分類器中使用的主要層以及如何訓練、推理和重新訓練。本章還介紹了欠擬合和過擬合，并解釋了如何將卷積層的激活情況可視化。

第6章，改進神經網絡，解釋了如何優(yōu)化神經網絡、減少其參數，以及如何使用批量歸一化、早終止、數據增強和隨機失活 (Dropout) 來提高其驗證準確性。

第7章，檢測行人和交通信號燈，介紹自動駕駛汽車模擬器Carla，并用它來創(chuàng)建交通信號燈數據集。本章還使用被稱為SSD的預訓練神經網絡檢測行人、汽車和交通信號燈，以及使用名為遷移學習的強大技術來訓練神經網絡，以便根據交通信號燈的顏色對其進行分類。

第8章，行為克隆，講解如何訓練神經網絡來驅動Carla，解釋了行為克隆是什么，如何使用Carla構建驅動數據集，如何創(chuàng)建適合此任務的網絡以及如何對其進行訓練。本章還使用顯著圖來了解網絡正在學習什么，并將其與Carla集成以幫助它自驅動。

第9章，語義分割，這是關于深度學習的最后一章，也是zui高階的一章，解釋了什么是語義分割。本章詳細介紹了一個非常有趣的DenseNet架構，展示了如何使其適用于語義分割。





第10章，轉向、加速和制動控制，本章內容涉及控制自動駕駛汽車，解釋了什么是控制器，重點介紹了PID控制器并涵蓋了MPC控制器的基礎知識。最后將在Carla中實現一個PID控制器的控制。

第11章，環(huán)境建圖，這是本書最后一章。本章討論了地圖、定位和激光雷達，并介紹了一些開源建圖工具。讀者將了解到什么是同步定位與地圖構建(SLAM)，以及如何使用Ouster激光雷達和Google Cartographer實現它。

充分利用本書

本書假定讀者已經具備Python的基礎知識，熟悉所用操作系統的命令解析器shell。讀者需要安裝Python，也可能用到虛擬環(huán)境來匹配本書中使用的軟件版本。建議使用GPU，因為沒有GPU的訓練會很艱難。Docker將有助于第11章環(huán)境建圖。

本書使用的軟件見下表：


本書用到的軟件/硬件
操作系統要求
Python 3.7
無
TensorFlow 2.2
無
Keras 2.3
無
Carla 0.9.9.2
無

如果讀者使用的是本書的電子版，建議自己輸入代碼或通過github代碼倉訪問代碼。這樣做有助于避免與復制粘貼代碼