无人驾驶原理与实践

无人驾驶是人工智能热潮中极具发展潜力的应用场景，也是一个综合了多个学科的应用领域，涵盖机器人学、自动化控制、机器学习、机器视觉、移动通信、智能交通、车辆工程等诸多学科。本书旨在通过深入浅出的方式系统展现无人驾驶理论，并通过简单易上手的实例帮助读者实现技术入门。

本书作者包括国内一线无人驾驶科研团队负责人、一线新能源汽车厂商无人驾驶技术专家，他们对无人驾驶整个技术栈有着全面深入的研究，同时拥有大量工业应用实践。通过本书，读者将系统学习并实战无人驾驶软件系统的感知、规划和控制基础算法；掌握ROS编程，学习并实践多传感器融合方法；学习机器学习、深度学习和强化学习等人工智能方法在无人驾驶中的应用；读者还将初步了解更接近工业应用的复杂方法。

本书适合希望进入无人驾驶汽车行业的技术人员和高校学生作为技术入门书籍，亦可作为无人驾驶应用研究的工具书籍。

申泽邦

兰州大学RockAuto智能驾驶组创始人、负责人。研究方向包括无人驾驶，高级辅助驾驶，机器人学和深度学习。自动驾驶全栈工程师，CSDN博客专家。

雍宾宾

兰州大学信息科学与工程学院博士后，目前主要从事机器学习、神经网络和高性能计算领域的研究。

周庆国

兰州大学教授，博士生导师，国际电气工程师学会会士，教育部新世纪人才基金获得者，兰州大学开源软件与实时系统教育部工程研究中心副主任，兰州大学分布式与嵌入式系统实验室主任。目前主要从事安全关键系统、嵌入式系统、实时系统、虚拟化技术的研究。已在国内外学术期刊上发表论文111篇，其中SCI 28篇，EI30篇，获得两项发明专利授权。

李良

小鹏汽车自动驾驶算法专家，Udacity无人驾驶纳米学位Mentor和Reviewer, 专注机器人/无人驾驶行业多年，现主要从事自动驾驶算法技术及系统研究，以及深度学习、人工智能技术在汽车硬件上的商业落地实现。拥有多篇技术发明专利。

李冠憬

博士研究生导师，静宜大学特聘教授兼校长特別助理，国际工程技术学会(IET)会士、IEEE高级会员、美国科学促进会(AAAS)会员。参与过多个国际重要会议指导委员会，同时也是多数据库收录 (包含副SCI、EI、SCOPUS)之知名国际学术期刊的主编与多个国际知名期刊、国际会议的委员。主要从事并行、分布式、GPU、雾和云计算及大数据方面的研究，已发表250多篇国际期刊论文与国际会议论文，著作和编辑了20余本专著。

近两年来，自动驾驶技术随着人工智能和汽车行业的飞速发展，逐渐成为业界焦点。自动驾驶技术是传统汽车产业与人工智能、物联网技术、高性能计算芯片等新兴科技深度融合的产物，其本质是汽车产业的升级。本书从自动驾驶基本原理入手，到技术工程实践，深入浅出的阐述了自动驾驶系统级的核心技术要点，是学习、掌握自动驾驶技术不可多得的一本好书，推荐阅读。

小鹏汽车，自动驾驶部门副总监 肖志光

无人驾驶汽车是当下*热门的科技话题之一，热到似乎明年、下个月、明天我们就可以开上无人驾驶的汽车，似乎我们许多人还没来得及成为一个老司机，许多老司机就要被机器人抢走了工作。而事实上，又有多少人真正的了解无人驾驶技术，了解它的分级、它的技术实现路径、它的技术成熟时间点。本书是一本非常好的技术入门读物，对于所有想了解自动驾驶技术，未来想从事自动驾驶技术的人来说，这都是一个很好的学习资料。

小鹏汽车，产品部副总裁 纪宇

本书理论和实践相结合，涵盖了无人/自动驾驶常用的内容与方向。内容丰富、翔实、分析透彻，可读性极强。是国内非常难得的一本中文无人驾驶系统性学习资料。

小鹏汽车，AI首席科学家 郭彦东

本书是自动驾驶专家的力作，强力推荐。

景驰科技，CEO 韩旭

无人驾驶作为改变人类出行方式的科技，逐渐成为新的风口。本书涵盖了无人驾驶技术的主要技术领域，并按照难易程度重新排序，由易到难循序渐进，很适合对自动驾驶技术感兴趣的读者阅读。

景驰科技，运营总监 陈云峰

无人驾驶无疑会是人类生活方式的重大变革，想要一窥行业究竟，不妨跟本书作者一起以通俗易懂的方式探索无人驾驶技术的当下与未来。

Kneron Inc，CEO 刘峻诚

With the development of sensor and AI technologies, autonomous driving is becoming a reality. Through integration and cooperation with the Internet of Things, autonomous vehicle will profoundly change our society in the near future. This book systematically introduces the key technologies of L4 autonomous driving. Focusing on both algorithm principles and practical applications, this book is a good choice for readers to quickly enter into this industry.

Autoware，Tier IV, Inc，President & CEO 武田一哉

50多年前的Apollo登月计划，踏出了人类探索未知月球的第一步。在未知前，人们无所畏惧，勇于探索，就如同今日在自动驾驶领域里，越来越多的科学家，工程师在探索着如何将人工智能，大数据，高性能运算芯片等先进技术，与传统的汽车行业进行深度融合，在进一步提升驾驶安全的前提下，解放人类的双手，让人类可以运筹帷幄的同时仰望星空。本书作者在自动驾驶领域里从事前瞻性的研究工作，经验与知识不断累积，消化和整理，并且出繁入简，深入浅出地将研究成果分享给各位有志于自动驾驶领域不断探索的伙伴们。自动驾驶的技术道路依然挑战重重，但是未来却一片光明，与大家共勉，推荐阅读。

百度美国研究院，Apollo平台资深架构师 缪景皓

该书深入浅出介绍了整个无人驾驶软件系统的基本原理和关键算法，并且带有大量实战用例，是无人驾驶的入门首*xuan。

IEEE fellow、圣塔克拉拉大学，教授 林楠

这是我看过*系统、*全面，同时兼具实践案例的无人驾驶技术入门好书，强烈推荐给每位有志于投身无人驾驶产业的工程师。

Pix Moving无人驾驶， CEO 喻川

无人驾驶是当前汽车工业的重要发展方向，而当前无人驾驶入门门槛颇高，本书大大降低了读者开展无人驾驶研究和学习的成本，是一本接地气的无人驾驶技术书。

神目科技，董事长 刘靖峰

第1章 初识无人驾驶系统

1.1 什么是无人驾驶

1.2 为什么需要无人驾驶

1.3 无人驾驶系统基本框架

1.4 开发环境配置

1.5 本章参考文献

第2章 ROS入门

2.1 ROS简介

2.2 ROS中的概念

2.3 catkin 创建系统

2.4 ROS中的项目组织结构

2.5 基于Husky模拟器的实践

2.6 ROS的基本编程

2.7 ROS services

2.8 ROS Action

2.9 ROS中的常用工具

2.10 本章参考文献

第3章 无人驾驶系统的定位方法

3.1 实现定位的原理

3.2 迭代最近点算法

3.3 正态分布变换

3.4 基于GPS+惯性组合导航的定位系统

3.5 基于Slam的定位系统

3.6 本章参考文献

第4章 状态估计和传感器融合

4.1 卡尔曼滤波和状态估计

4.2 高级运动模型和扩展卡尔曼滤波

4.3 无损卡尔曼滤波

4.4 本章参考文献

第5章 机器学习和神经网络基础

5.1 机器学习基本概念

5.2 监督学习

5.3 神经网络基础

5.4 使用Keras实现神经网络

5.5 本章参考文献

第6章 深度学习和无人驾驶视觉感知

6.1 深度前馈神经网络——为什么要深？

6.2 应用于深度神经网络的正则化技术

6.3 实战——交通标志识别

6.4 卷积神经网络入门

6.5 基于YOLO2的车辆检测

6.6 本章参考文献

第7章 迁移学习和端到端无人驾驶

7.1 迁移学习

7.2 端到端无人驾驶

7.3 端到端无人驾驶模拟

7.4 本章小结

7.5 本章参考文献

第8章 无人驾驶规划入门

8.1 A* 算法

8.2 分层有限状态机和无人车行为规划

8.3 基于自由边界三次样条插值的无人车路径生成

8.4 基于Frenet优化轨迹的无人车动作规划方法

8.5 本章参考文献

第9章 车辆模型和高级控制

9.1 运动学自行车模型和动力学自行车模型

9.2 无人车控制入门

9.3 基于运动学模型的模型预测控制

9.4 轨迹追踪

9.5 本章参考文献

第10章 深度强化学习及在自动驾驶中的应用

10.1 强化学习概述

10.2 强化学习原理及过程

10.3 近似价值函数

10.4 深度Q值网络算法

10.5 策略梯度

10.6 深度确定性策略梯度及TORCS游戏的控制

10.7 本章小结

10.8 本章参考文献

序

近年来，随着人工智能技术(尤其是深度神经网络)的发展，无人驾驶系统中的感知和综合决策等问题正在被逐步解决。神经网络算法能够识别出物体的属性，并且能够在综合感知信息和定位结果之后做出类似人类驾驶员的合理决策，这表明无人驾驶正在向我们走来。虽然通用人工智能仍然“遥远”，但可以预言，无人驾驶汽车将在不久的将来得到普及，而基于无人驾驶技术的世界也给了我们无限的想象空间。

我国无人驾驶汽车的研究起步较晚，关键理论研究薄弱，特别是相关专业人才比较欠缺。要加快国内无人驾驶的发展，就必须重视无人驾驶相关专业人才的培养。目前，国内无人驾驶相关的教程和书籍还比较欠缺，为了给广大初学者提供一本高质量的无人驾驶主题书籍，本书主要作者与国内一线无人驾驶科研团队负责人、一线新能源汽车厂商无人驾驶技术专家合作，共同编写了这本无人驾驶技术教材。本书有以下特点：

1) 自成体系。本书的内容覆盖无人驾驶技术中的感知、规划和控制三大模块，对无人驾驶整个技术栈进行了全面深入的介绍。

2) 内容充实。本书既包括相关原理的讲解，又包括相应的实践代码。

3) 适应面广。本书适用于希望进入无人驾驶汽车行业的技术人员和高校学生，既可作为入门书籍，也可作为无人驾驶应用研究的工具书籍。

本书的主要作者来自兰州大学未来计算研究院，所在团队的主要研究方向为深度学习、计算机视觉和自动驾驶技术。特别是团队成员申泽邦于2018年5月参加“快·开”全球无人驾驶挑战赛，获得全尺寸组第一名的成绩。该团队于2017年正式开始研究无人驾驶，是甘肃省第一个无人驾驶科研机构和创业团队，致力于推动西北地区无人驾驶学科和产业的发展。该团队在不到两年的时间完成了“从0到1”的突破，目前已经发展为以激光雷达、相机等多传感器融合和感知算法为特长，具备园区内L4级别无人驾驶系统研发能力的研究团队。同时国内一线无人驾驶科研团队负责人、一线新能源汽车厂商无人驾驶技术专家也为本书提供了相关的内容和技术支持，这使得本书具有非常完善的知识结构。

潘毅

佐治亚州立大学计算机系校董教授，系主任

◆ 前言◆

随着近年来机器学习和强化学习理论的发展，众多研究领域和产业掀起了一场人工智能变革。其中，无人驾驶技术深受深度学习和计算机视觉发展的影响，其理论已经日趋成熟，正在向产业化落地迈进。

无人驾驶已经不再是遥远的未来。2017年4月，工业和信息化部、国家发展改革委和科技部关于印发《汽车产业中长期发展规划》的通知中指出：到2020年，汽车DA（驾驶辅助）、PA（部分自动驾驶）、CA（有条件自动驾驶）系统新车装配率超过50%，网联式驾驶辅助系统装配率达到10%，满足智慧交通城市建设需求。到2025年，汽车DA、PA、CA新车装配率达80%，其中PA、CA级新车装配率达25%，高度和完全自动驾驶汽车开始进入市场。

依托长期以来的技术积累和近期人工智能领域的突破，加之日趋成熟的政策，无人驾驶正在向人们走来。各大互联网和汽车巨头大量投入资源发展自身无人驾驶技术的事实表明，无人驾驶已经逐步成为信息产业和汽车行业的大势所趋。

与当前国内无人驾驶领域快速增长形成鲜明对比的是国内相关专业人才的欠缺。无人驾驶领域的顶尖人才仍然集中于欧美日等发达国家和地区。早在十余年前，美国国防部就举办了DARPA Grand Challenge无人驾驶挑战赛，当今全球最顶尖的无人驾驶团队和技术领袖多数是在该赛事中成名。该比赛也催生了大量无人驾驶关键算法、无人驾驶系统设计理念等，可谓是现代无人驾驶的重要里程碑。相比之下，我国全自动无人驾驶汽车研究起步时间晚，关键理论研究薄弱，专业人才欠缺。要保持国内无人驾驶发展的“后劲”，就必须重视无人驾驶相关专业人才的培养。

本书即是在此大背景下产生。无人驾驶是一个综合了多个学科的应用领域，涵盖了机器人学、自动化控制、机器学习、机器视觉、移动通信、智能交通、车辆工程等诸多学科。也正是由于无人驾驶的综合性，目前国内系统介绍无人驾驶的技术书籍相当匮乏。市面上现有无人驾驶技术中文书籍多为科普类，读者很难通过其真正完成无人驾驶相关技术的理论入门和实战训练。本书旨在通过相对完整的无人驾驶理论介绍和简单易上手的实例帮助读者实现技术入门，让读者对无人驾驶软件系统的整个技术栈有一定的了解。

本书作者包括国内一线无人驾驶科研团队负责人、一线新能源汽车厂商无人驾驶技术专家，对无人驾驶整个技术栈有着全面深入的研究，同时拥有大量工业应用实践。通过本书，读者将系统学习并实战无人驾驶软件系统的感知、规划和控制基础算法；掌握ROS编程，学习并实践多传感器融合方法；学习机器学习、深度学习和强化学习等人工智能方法在无人驾驶中的应用；读者还将初步了解更接近工业应用的复杂方法。考虑到工业界多使用Python进行算法原型设计，使用C++进行产品实现，故本书的实践部分采用Python和C++两种编程语言。在阅读本书前，读者应当具备基础的Python或C++编程能力，并且对基本的线性代数和概率论等数学知识有一定的掌握。

本书适用于希望进入无人驾驶汽车行业的技术人员和高校学生，可作为技术入门书籍，亦可作为无人驾驶应用研究的工具书籍。本书提供包含ROS编程，点云匹配定位，基于卡尔曼滤波和扩展卡尔曼滤波的传感器融合，机器学习图像识别，深度学习目标检测，轨迹优化动作规划算法，纯追踪算法等在内的大量编程实例，方便读者实践。

本书从开始编写到出版历时近一年，在此感谢所有作者在编写过程中的辛苦付出，同时感谢兰州大学未来计算研究院无人驾驶团队的王金强、肖子超、孙宇等人对内容的贡献，黄航、漆昱涛等人对内容的审阅。

申泽邦、周庆国

2018年8月5日