分享张亚勤：走向无人驾驶-绵羊汽车生活记录

清华大学讲席教员、智能财富商酌院（AIR）院长张亚勤指日宣告题为《走向无人驾驶》的演讲。缠绕自愿驾驶的兴盛配景、单车智能与车道协同以及AI算法行使三大板块

缠绕自愿驾驶的兴盛配景、单车智能与车道协同以及AI算法行使三大板块，长远研究了正在人工智能兴盛的大配景下自愿驾驶范围正正在产生的基本性革新，并对改日落地形式做出好久预测。

今朝咱们正处于数字化3.0时刻，包含物理和生物寰宇的数字化，此中物理寰宇的数字化，即“互联网的物理化”——汽车、公道、交通、工场、电网、机械，以致扫数转移装备、家庭、都市都正在数字化。数据指数伸长，譬喻一辆无人车每天发生的数据量大约5T；比拟于数据紧要供给给职员辅助计划的1.0和2.0时期，数字化3.0时刻99%以上数据是M2M和机械计划。

二是生物寰宇的数字化，咱们的大脑、器官、DNA、卵白质、细胞、分子…都正在数字化。生物芯片、组学技艺、和高通量实行发生了天文级的数据。从虚拟、宏观到微观，全体数字音讯寰宇、物理寰宇和生物寰宇正正在走向协调。

以ABCD，也即是人工智能（AI）、大数据（Big Data）、云估量（Cloud）和安装（Device）为技艺基本，咱们锁定了灵巧交通、工业互联网和灵巧医疗为起步阶段的三个商酌对象。这三个对象有少许联合点：一是都面临着浩大的贸易空间和兴盛机缘。二是人工智能正在探究经过中阐扬着异常厉重的感化，乃至是定夺性、打倒性的感化。三是闭系研发劳绩适用化、普及化之后，将发生可观的社会效益。

1908年，Henry Ford先生推出寰宇首款量产乘用车Model-T，一场随之而来的技艺革命拉开了今世汽车工业百年兴盛的序幕，一个基于燃油技艺的成熟财富也慢慢变成。

环保策动的新能源革命搭乘数字化与智能化海潮，正在财富计谋的刺激下饱励汽车行业向网联化、智能化、共享化、电动化转型。这场汽车革命兴盛敏捷、来势迅猛，越过了良众人的预期。自愿驾驶动作这场革射中的枢纽技艺，将从安适、成果、贸易形式等众方面赋能交通财富升级。

最先，自愿驾驶将会极大地晋升交通安适。寰宇卫生结构的《道道交通危险呈文》中指出，环球每年有135万人死于交通不测。此中95%以上是人工舛错导致的，而人工智能的介入能够大幅低落人工事情隐患。自愿驾驶车辆的安适圭表需较人类驾驶升高起码一个数目级，抵达十倍于人类驾驶的安适系数。

其次，自愿驾驶将会晋升交通编制的出行成果与能源运用成果。麦肯锡的呈文显示，自愿驾驶将为出行者省俭40%的时期并裁汰40%的燃料花费。马潍博士正在《智能驾驶助力碳中和》呈文中指出，自愿驾驶的行使能够将汽车排放约占碳排放总量的比重从15%低落到5%把握，将会为环球天气的改进发生很大功绩。

再次，自愿驾驶将会创建浩大的贸易代价。据伦敦著名技艺企业家Tej Kohli预测，人工智能所带来的财富机缘将抵达150万亿美元的范围。此中，自愿驾驶驱动的灵巧交通财富占比近相当之一。如许浩大的贸易代价意味着全新的机遇，这些机遇来自于新的芯片、新的操作编制、新的软件、新的任职以及新的产物。

1984年，美国国防部上等商酌安放局（DARPA）的ALV项目实行的初度自愿驾驶测试。随后，DARPA正在2004年结构了野外自愿驾驶挑拨赛（Grand Challenge）。2007年，挑拨取得的告成使科技界看到自愿驾驶的潜力，一批科学家进入谷歌展开自愿驾驶商酌。跟着共享出行与电动车的振兴，自愿驾驶慢慢吸引越来越众的科技公司、古板汽车厂商与新能源汽车厂商的留心。正在中国，李德毅院士团队和郑南宁院士团队等都做了大批的开创性科研事务。百度正在2017年推出阿波罗绽放平台，实行从小型客车到Robotaxi的道道测试，积攒了大批的技艺阅历。这十年，是自愿驾驶从实行室产物慢慢走入生涯的十年，也是为改日智能交通革新奠定基本的十年。

业界将自愿驾驶的才力分成L0到L5的一系列等第，让人类相信自愿驾驶，还需求继续晋升L3级以上的自愿驾驶才力。L3可以供给有限条目下的自愿驾驶，但仍假设人类可以随时接受。从L4开首，人类不需求随时接受自愿驾驶，而最上等的L5乃至不供给人类介入驾驶的才力。是否挑选自愿驾驶，不只是技艺题目，更是大家安适与社会接纳度的题目。与此同时，道道智能也正在兴盛，从车端与道侧须要的音讯交互到进一步的协同感知，平昔到交通动作举座的协同计划节制，道侧能够助助车端逐渐具有越来越强的才力，以避免急急自愿驾驶事情的产生。更近一步，智能化的道道能够完成筹办层面的协同，裁汰变道和拥堵。跟着自愿驾驶的普及和道道智能的兴盛，道道和交通流协同策画将为出行者供给更一共的任职。

适才提到，自愿驾驶不只仅是个技艺题目，更是一个社会题目。从贸易到计谋与社会角度自愿驾驶会发生众方面的影响，能够看到市情上的各个厂家分歧持有分别的成睹，也分歧实行了分别的途径挑选。

回忆过去60年，人工智能的兴盛几经重浮，正在始末了两次AI寒冬之后，过去十年，跟着深度练习技艺的兴盛，人工智能进入了大数据、大估量、大模子算法的时期，也博得了浩大的劳绩。从AlphaGO、AlphaZero正在围棋范围制服人类，到AlphaFold2正在医疗范围高精度预测卵白质布局等，深度练习算法和人工智能技艺正正在逐渐更正物理寰宇和数字寰宇。改日五至十年，深度练习还会是人工智能最厉重的算法，但改日无疑需求学问+数据驱动的协调算法，

实在正在自愿驾驶中，哀求智能驾驶计划可注脚、避免人类的垂危计划、客观评判筹办算法、而且可以有用评估自愿驾驶编制正在驾驶经过中的智能才力。自愿驾驶针对高杂乱性场景同时性子的又具有高牢靠性需求，能够说是最具挑拨的有范围的AI笔直范围题目。

正在技艺层面，动作自愿驾驶安适的基本，感知是首要的值得眷注的题目。估量机和人类相通，需求正在驾驶经过中动态地对周边的三维场景实行时空筑模。正在分别的场景下，借助分别模态的数据，算法不只要竣工对待车辆、行人等主意的检测，还需完成对待道标、交通讯号等语义的意会。同时认知意会的道道交通音讯通报给计划筹办层，纠合人类与机械的智能阅历实行举动筹办与计划，最终节制实车的对象盘和油门刹车竣工现实的驾驶经过。这全体经过的模子，是通过云端的联邦练习与V2X道侧智能平台，纠合仿真本事，继续更新迭代的。

自愿驾驶是一个相当杂乱的编制题目，涉及到感知、认知、筹办、计划与奉行等诸众闭节，需求正在极短时期内做出可奉行的准确计划。同时，自愿驾驶也是一个杂乱的狭义人工智能题目，能够被理解为有范围的子范围技艺题目，因而我以为自愿驾驶是能够完成的。而且，自愿驾驶仅需正在安适维度比拟人类驾驶完成数目级的晋升。正在完成自愿驾驶的途径上，涉及的枢纽题目能够分为两类：一类是商场力气，比方技艺可行性、用户需求开采、财富生态走向与贸易形式等。另一类辱骂商场力气，包含计谋、规则、伦理、隐私以及其他人工身分。

杂乱的技艺体例，性子的安适与牢靠性哀求，自愿驾驶正在绽放境况的永远运转需求经受一系列的技艺与社会接纳度的挑拨。可是对待笔直案例来说自愿驾驶曾经运转永久了，譬喻图片里是澳洲铁矿石出口商Fortescue me

tals Group（FMG），与寰宇上最大的工程机器厂商Caterpillar团结的自愿驾驶矿车，从2012年至今曾经运转了9年了，运送矿产过十亿吨，累计行驶超三亿公里，相当于从地球到太阳往返一次。

像如许的笔直行使范围另有良众，能够看到，动作一个转移运输的载体，从重型到轻型各品种型适合自愿驾驶的车辆众种众样，这中心存正在特别众的机遇。这些测试都正在寻找一个联合的主意，即是用自愿驾驶技艺排挤这些场景存正在的痛点，让人类的临蓐和生涯变得特别高效。

美国加州的绽放道道自愿驾驶测试数据显示，百度Apollo的自愿驾均匀接受里程（MPI）正在2020年四月曾经赶上18000英里，相当于通常人开半年至一年车才需求接受自愿驾驶编制一次的水准。正在国内，百度Apollo正在北京亦庄等世界各地测试的Robotaxi自愿驾驶出租车正处于范围化试运营的阶段。

麦肯锡与百度正在2017年实行的一个预测呈文分歧权衡了改日十到二十年L3及L4以上司别自愿驾驶。呈文以为，最为乐观的以为有条目的L3自愿驾驶正在2030年新车分泌率能够抵达50%，L4以上齐备自愿驾驶抵达15%，消沉少许的角度来看L3以上水平的自愿驾驶正在20年之后2040年能抵达30%，这取决于自愿驾驶技艺的阐扬以及社会的接纳水平。

第一类是通例道道介入者的检测，包含车辆，行人、自行车等。他们的共性是可转移并巨细相对固定。大凡运用bounding box（框）的表达体例把算法检测到的困苦物用三维立方体框紧致的包裹起来。

第二类是道道元素的检测，譬喻红绿灯、限速标识、车道线、栅栏道沿等。这类元素大凡尺寸和地位固定，但其巨细和式样不典型不再能简便的运用bounding box描写表达，大凡需求纠合高精舆图做更高级（high-level）的表述，譬喻运用样条弧线拟合车道线。

末了，正在良众无人驾驶场景中，简便的bounding box已亏空以切确的描述实际寰宇，这时对场景做语义级另外意会就特别须要。所谓语义（semantic）级的表达即是对图像的每个像素，激光雷达返回的每个3D点做聚类（grouping或者clustering）和分类（classification），细粒度的表达体例除了可以更细密的描写物体的与无人车时空闭连外，还能供给道道上的可行驶区域（free space，drivable path）如许的厉重音讯，让无人车能够无困苦通过没有车道线的非布局化道道和局促空间。

这里有模范的几起自愿驾驶事情，譬喻第一个自愿驾驶撞上侧翻的大货车，侧翻的货车车顶匮乏纹理特质，看起来就像白色的云，这种情景下仅倚赖视觉的自愿驾驶无法判定隔断。跟着技艺的矫正、车载激光雷达的低本钱大范围普及、众模态数据协调感知的兴盛，如许的事情危害会慢慢低落，可是确凿寰宇远比这要杂乱。众样化的处所、天色、道况组成的杂乱场景永世存正在未知恐怕，而这中心很少碰到的corner case边角案例往往会导致事情产生。自愿驾驶感知最大的挑拨来自于泛化亏空。碰到目生的交通境况时，自愿驾驶编制往往无法供给精准牢靠的感知才力。比拟之下，人类驾驶员不只能够办理过往碰到的贫穷，还可以应对新的突发题目。然而，人类的驾驶才力不具备复制性，分别司机的驾驶水准恐怕相差较大，而牢靠的自愿驾驶编制则能够随意复制，这是人工智能的上风所正在。

自愿驾驶车辆需求一系列的传感器来联合竣工感知使命。分别传感器各司其职。激光雷达能够直接收罗隔断音讯，完成三维境况立室及盲点探测；摄像头能够完成物体的疾速辨认和车道识别，所收罗的音讯包罗颜色和更众细节；雷达能够实行速率和隔断的衡量，发出碰撞预警并实行告急制动；正在卑劣天色下，相较于激光雷达和摄像头也会有更好的阐扬。扫数传感器说合起来组成对车辆所处境况全方位的立体扫描。

表面上，众传感器的协调能够获取到比人眼更众、更高维度的数据，能够感知到肉眼不成睹的物体，这是现阶段自愿驾驶中独一确定的机械能够超越人的闭节，也是影响自愿驾驶安适晋升的定夺性身分

。运用简单的视觉传感器容易受到光照和天色等身分影响，因而导致自愿驾驶编制发生误判的例子层睹迭出。譬喻前面例子里，特斯拉把白色大货车误判为白云绝不徘徊地撞了上去。正在这种情景下，配合采用激光雷达等传感器能够最大范围晋升自愿驾驶安适。

现实上宽视角的激光雷到2005年的DARPA挑拨赛时才惹起遍及留心，可是当时激光雷达腾贵、体积大、牢靠性低难以吻合车规，并不行满意普及需求。以来各方开首饱动众种技艺途径的夹杂固态式激光雷达，愿望把本钱与体积、牢靠性晋升到能够大范围接纳的水准。改日，固态激光雷达的代价低廉、更容易完成车规，是贸易化行使的更好挑选。固然固态激光雷达仍旧存正在因为技艺不行熟所带来的精度亏空、收罗隔断较短的题目，但行业的紧要玩家，如Velodyne, Innoviz, LeddarTech都将研发固态激光雷达动作改日的厉重对象。

目前，局限夹杂固态式激光雷达的代价曾经正在1000美金以内。改日，跟着技艺更新迭代和大范围量产，激光雷达的代价会赓续下探，乃至会成为汽车的一种标配。

若齐备依赖单车智能，corner case将更难以取得办理，要是估量才力无法疾速打破、硬件代价无法疾速低重，则自愿驾驶将永世无法完成。若齐备依赖V2X的自愿驾驶，实际性依赖于基本措施是否可被一共改制、汽车是否可完成一共联网，改形成本特别高，简直不恐怕。此外，正在这种形式下，鸠集化的车辆节制将使车内搭客将被汽车“绑架”，耗损自立权。

两种形式的缺陷都是显著的。因而咱们以为，自愿驾驶的疾速大范围行使务必依赖单车智能和V2X的纠合。

近年来，跟着智能网联逐渐上升为国家战术，车道协同技艺取得了疾速兴盛。相较于单车智能的感知节制性，车道协同具备获取全部交通音讯、感知领域更一共等上风，可以为单车智能供给互补与冗余音讯，进而升高自愿驾驶的安适性。

正在表面方面，AIR的商酌团队将感知不确定性到场到驾驶安适评判框架中，正在环球领域内率先针对车道协同自愿驾驶的安适晋升实行了量化估量与明白，编制地论述了车道协同自愿驾驶的须要性。总的来说，分成场景漫衍模子、车辆感知友互模子、和自愿驾驶安适评判模子三个局限。依据场景漫衍模子和交互模子取得每种场景举动组合的概率漫衍，以及对应的驾驶举动的安适影响。纠合如许的漫衍和影响就能够取得最终的安适评判目标Psafe，这权衡了正在相应感知友互设定下全场景漫衍的安适性处境。

实在来说即是把单车感知和车道协同分为两个情景来思量，分歧用相应的感知模子来估量，把分别感知处境带来的举动影响分歧带入到安适评判中，分歧取得正在单车智能与车道协怜悯况下的安适性评判结果。

VICAD- SRM实行结果评释：车道协同的感知分歧将超视距、大车遮挡换道、无维持左拐等三种情景的事情率低落了分歧1.6倍、6.5倍、10.8倍，安适性取得了数目级晋升。

Apollo正在国内摆设了赶上500辆自愿驾驶车辆，V2X道侧感知点位超400个，基于此的车道纠合构制海量场景每天赶上1000km，单个道侧点位每天任职赶上100个车次，单日发生的数据量正在40TB以上，车道协同每天可取得超一百条有代价的数据。

为进一步探究车道协同自愿驾驶的落地，AIR说合国内顶尖自愿驾驶企业百度，公布了Apollo Air安放。该安放有三大特性：

倚赖纯道侧感知完成自愿驾驶、延续降维反哺车道协同产物、圭表开源绽放完成业界共享。Apollo Air技艺的更始之处正在于，正在不运用车载传感器，仅倚赖道侧轻量感知的条件下，应用V2X、5G等无线通讯技艺就能够完成车-道-云协同的L4级自愿驾驶

。过程继续商酌再三测试，目前团队曾经竣工对北京亦庄、广州黄埔、沧州等若干道口实行智能化改制，完成了Apollo Air纯道侧感知技艺正在L4确凿场景的测试。

自愿驾驶是一个伟大的智能编制，包含传感器数据感知定位、认知意会、计划筹办、以及云端的联邦练习与仿真平台等局限。

正在这里只可代表性的讲一讲自愿驾驶经过中涉及的几类模范题目与算法，我这里提到的都是产学界的公然事务，比方：

视频流的意会经过包含全景瓜分，语义瓜分，深度预测，预测物体核心地位连气儿帧立室，延续物体追踪，完成一共的场景意会。

单视角的寥落激光点云并不行完善感知主意场景，通过语义场景补全，取得具有语义音讯的繁密点云，完成对道道场景的完拾掇解。

暗光弱纹理场景对待纯粹视觉的SLAM定位算法面对特别大的挑拨，场景中的语义音讯可认为SLAM算法通过安定的特质闭系，从而完成鲁棒凿凿的定位。

联邦练习是竭力于于正在不败露隐私不败露确凿数据的条目下，通过漫衍式相易估量中心结果，完成晋升完善模子才力的本领。模范的，联邦练习分成横向和纵向两类。