摘要：本文先容了用于自愿驾驶钻研的开源模仿器CARLA。CARLA的开垦从一入手下手即是为了支柱都市自愿驾驶编制的开垦、陶冶和验证。除了开源代码和契约除外，CARLA还供应了为此主意而创修的开源数字资产（都市构造、修修、车辆）。仿真平台支柱对传感器和境遇要求的生动界说。咱们应用CARLA钻研了三种自愿驾驶算法的本能：a classic modular pipeline、通过仿照练习陶冶的端到端模子和通过加强练习陶冶的端到端模子。这些算法正在难度一贯补充的场景中举行评估，通过CARLA供应的目标来测试其本能，注脚该平台对自愿驾驶钻研的适用性。

1 简介三维境遇中的感知-运动掌握如故是机械练习和机械人学的一个要紧挑衅。自愿驾驶车辆的发达是这个题目长久钻研的一个实例[22，26]。它最疾苦的景象是正在生齿粘稠的都市境遇中导航[21]。这种场景带来更众的挑衅，是由于：交通交叉口处庞杂的众智能体动态；须要跟踪和反响几十个以至数百个其他介入者的运动；须要识别街道符号、道灯以及道道标线，并划分众品种型的其他车辆；罕睹事情的长尾——道道施工、儿童冲上道道、前哨产生事情、其他车辆误入失误车道；以及速速融合冲突对象的需要性。比如，当一个心不正在焉的行人误入前面的道道，而另一辆车正从后面疾速驶来，即使刹车过猛，也许会追尾。

都市自愿驾驶的钻研受真相子举措本钱和实际天下中陶冶和测试编制的后勤疾苦的荆棘。一辆自愿驾驶汽车的检测和操作也须要大批的资金和人力。并且，单辆车远远缺乏以征采需要的数据，这些数据涵盖了为陶冶和验证而必需解决的大批corner case。看待classic modular pipeline来说是这样，看待须要大批数据的深度练习技艺更是这样。正在实际天下中对都市驾驶的自愿驾驶模子的陶冶和验证是大大都钻研小组无法告终的。

另一种举措是正在仿真中陶冶和验证驾驶计谋。正在自愿驾驶钻研的早期，仿真就被用于陶冶驾驶模子[22]。迩来，赛车模仿器被用做评估自愿驾驶的新举措[28，3]。自界说的仿真模仿也被用于陶冶和bench mark视觉感知编制[2，9，10，11，20，25，27，29]。贸易逛戏仍然被用于获取高质地的数据，用于陶冶和bench mark视觉感知编制[23，24]。

固然仿真正在自决驾驶钻研中的操纵额外通俗，但现有的仿真平台有限。开源的赛车模仿器，如TORCS[28]并没有出现出都市驾驶的庞杂性：它们缺乏行人、交叉口、交通条例以及其他划分都市驾驶和赛车赛道的庞杂身分。高保真度模仿都市境遇的贸易逛戏，如《侠盗猎车手5》[23，24]，可自界说的个别很有限。

本文先容了一种开源的都市驾驶模仿器CARLA（Car Learning to Act）。CARLA从一入手下手即是为了支柱自愿驾驶模子的陶冶、原型计划和验证，蕴涵感知和掌握。CARLA是一个开源的平台。并世无双的是，CARLA供应的都市境遇实质也是免费的。它蕴涵都市构造、众种车辆模子、修修物、行人、道标等。该仿真平台支柱传感器套件的生动配置，并供应可用于陶冶驾驶计谋的信号，比如GPS坐标、速率、加快率以及碰撞和其他违规动作的周密数据。CARLA能够界说通俗的境遇要求，蕴涵天色和时期。众种境遇要求如下图所示。

咱们应用CARLA来钻研三种自愿驾驶举措的本能。第一个是一个经典的modular pipeline，蕴涵基于视觉的感知模块、基于条例的计议器和掌握器。第二个是一个深层收集，将传感器输入映照到驾驶指令，通过仿照练习举行端到端的陶冶。第三个也是一个深度收集，通过加强练习举行端到端的陶冶。咱们应用CARLA来模仿难度一贯补充的场景。咱们设定必需穿越的门道的庞杂性、交通流和境遇要求。实践结果揭示了这三种举措的本能特质。

2 仿真引擎CARLA是为了正在衬托和物理模仿方面的生动性和切实性而计划的。它相当于正在Unreal Engine 4（UE4）[7]之上涉及了一个开源层，支柱他日的扩展。该引擎供应最前辈的衬托质地、传神的物理效益、基础的NPC逻辑和可互操作插件的生态编制。针对非贸易用处，该引擎是免费的。

境遇。境遇由静态对象（如修修物、植被、交通符号和底子举措）以及动态对象（如车辆和行人）的三维模子构成。整个模子都进程经心计划，以均衡视觉质地和衬托速率：咱们应用低重量的几何模子和纹理，但通过经心创制材质和应用可变细节级别来保留视觉切实感。整个的三维模子都有一个联合的比例，它们的巨细响应了切实物体的巨细。正在撰写本文时，咱们的资产库蕴涵40个分歧的修修、16个动画车辆模子和50个动画行人模子。

咱们通过以下程序应用这些资源来构修都市境遇：（a）计议道道和人行道；（b）手动安放衡宇、植被、地形和交通底子举措；（c）指定动态对象能够映现（天生）的职位。云云，咱们计划了两个城镇：Town1的可行驶道道总长度为2.9 km，用于陶冶；Town2的可行驶道道为1.4 km，用于测试。这两个城镇睹下图。

开垦CARLA的一个挑衅黑白玩家脚色的设备（这对仿真的保真度而言额外紧张）。咱们基于准则的UE4车型（PhysXVehicles）来计划非玩家车辆，其运动学参数调度为实际形式。咱们还告终了一个掌握非玩家车辆动作的基础掌握器：车道追随、坚守红绿灯、速率节制和交叉道口决议。车辆和行人能够彼此察觉和避开。更前辈的非玩家车辆掌握器将被集成到他日的版本中[1]。

行人遵循特定城镇的导航舆图正在镇上浪荡，彼此避开，尽量避开车辆。即使汽车与行人相撞，行人将从仿真天下中删除，并正在短暂的时期间隔后正在分歧的职位天生新的行人。为了补充视觉众样性，咱们正在将非玩家脚色增加到仿真中时对其外观举行随机化。每个行人都穿戴从预先指定的衣柜中随机抽取的一套衣服，并可选拔装备以下一种或众种物品：智高手机、购物袋、吉他盒、手提箱、雨伞等。每辆车都是遵循特定车型的一组原料随机喷漆的。

咱们还告终了各样大气要求和照明要求。它们正在太阳的职位和颜色、天空漫射的强度和颜色以及境遇遮挡、大气雾、云量和降水量等方面存正在区别。目前，CARLA支柱两种照明要求（正午和日落）以及9种天色要求（分歧的云量、降水量和街道上是否有水坑）。这将告终总共18种照翌日色组合（为了简捷起睹，咱们将其称为天色。）

传感器。CARLA容许生动设备传感器套件。正在撰写本文时，传感器仅限于RGB摄像头和供应地面切实深度和语义朋分的传感器。如图2所示。摄像头的数目及其类型和职位可由用户指定。摄像头参数蕴涵三维职位、相看待汽车坐标系的三维宗旨、视野和景深。咱们的语义朋分伪传感器供应了12个语义类：道道、车道标线、交通符号、人行道、围栏、标杆、墙、修修、植被、车辆、行人和其他。

除了上述传感器模子，CARLA还供应了一系列针对车辆和交通条例的衡量值。与车辆闭联的衡量蕴涵车辆相看待天下坐标系（雷同于GPS和罗盘）的职位和宗旨、速率、加快率矢量和碰撞累积的影响。与交通条例闭联的衡量蕴涵进入到失误车道或人行道的车辆萍踪百分比，以及交通灯状况和车辆而今职位的速率节制。终末，CARLA供应对境遇中整个动态对象的精准职位和界线框的访谒。这些信号正在驾驶计谋的陶冶和评估中起着紧张影响。

3 自愿驾驶CARLA支柱自愿驾驶编制的开垦、陶冶和周密的本能说明。咱们应用CARLA评估了三种自愿驾驶举措。第一种是一种modular pipeline，它依赖于视觉感知、计议和掌握的专用子编制。这种机闭适应大大都现有的自愿驾驶编制[21,8]。第二种举措基于通过模仿练习举行端到端陶冶的深度收集[4]。这种举措迩来惹起了新的乐趣[22，16，4]。第三种举措基于通过加强练习举行端到端陶冶的深度收集[19]。

3.1 modular pipeline咱们的第一种举措是一个modular pipeline，它将驾驶职司领会到以下子编制中：（i）感知；（ii）计议；（iii）连续掌握。因为没有供应几何舆图行动输入，视觉感知成为一项闭头职司。局限计议完整依赖于感知模块测度的场景构造。感知个别应用语义朋分来测度车道、道道节制、动态对象和其他损害。另外，还应用分类模子来确定交叉口的贴近度。计议器应用基于条例的状况机。连续掌握由PID掌握器推广，该掌握器驱动转向、骨气门和制动机构。现正在咱们将更周密地描绘这些模块。

感知。咱们正在这里描绘的感知是修筑正在基于RefineNet的语义朋分收集上的[17]。陶冶收集将图像中的每个像素分为以下语义种别之一：C=froad、sidewalk、lane marking、dynamic object、misscellaneous staticg。该收集应用CARLA正在陶冶境遇中天生的2500张标注图像举行陶冶。遵循道道面积和车道标线，使用收集供应的概率分散来估算车道。

另外，咱们应用基于AlexNet的二元场景分类器（交叉/无交叉）来测度达到交叉道口的也许性[15]。这个收集是正在两个类之间均衡的500幅图像上陶冶的。

计议器。计议器通过天生一组旅途点来告终初级别导航：近期对象状况展现车辆正在不久的另日所需的职位和宗旨。计议器的对象是合成使汽车保留正在道道上并防范碰撞的旅途点。计议器基于状况机，状况机具有以下状况：（i）道道追随，（ii）左转，（iii）右转，（iv）交叉道口向前和（v）损害泊车。状况之间的转换基于感知模块供应的测度值和全部计议器供应的拓扑音讯来推广。旅途点连同车辆而今的状貌和速率一道传送给掌握器。

连续掌握器。咱们应用比例-积分-微分（PID）掌握器[6]，由于它纯粹、生动，而且对慢响当令间具有相对的鲁棒性。每个掌握器罗致而今状貌、速率和旅途点列表，并分离驱动转向、油门和制动机构。咱们的对象巡航速率为20公里/小时。

咱们的第二种举措是要求仿照练习，这是一种除了感知输入外还应用高级号令的模仿练习[4]。该举措使用城镇中人类驾驶员记实的一个驾驶轨迹数据集。Thedataset D = fhoi; ci; aiig consists of tuples, each of which contains anobservation oi, a command ci, and an action ai.这些号令由驾驶员正在数据搜集历程中供应，并指示他们的企图，雷同于转向信号灯。咱们应用一组四个号令：沿车道行驶（默认），鄙人一个十字道口直行，鄙人一个十字道口左转，鄙人一个十字道口右转。视察结果是来自前向摄像机的图像。为了进步练习计谋的鲁棒性，咱们正在数据搜集历程中插手了噪声。

咱们仍然征采了大约14个小时的驾驶数据用于陶冶。应用Adam优化器对收集举行陶冶[14]。为了进步泛化才气，咱们举行了数据扩充和删除。

3.3加强练习咱们的第三种举措是深度加强练习，它基于境遇供应的赏赐信号陶冶一个深度收集，没有人类驾驶轨迹。咱们应用A3C[19]。该算法正在仿真的三维境遇中出现优良，比如赛车[19]和三维迷宫中的导航[19,13,5]。该举措的异步特点使众个线程可能并行运转，这看待深度加强练习的高样本庞杂度额外紧张。

咱们陶冶A3C举行对象导向的导航。正在每一次陶冶中，车辆必需正在拓扑计议器的高级号令诱导下抵达对象。当车辆达到对象时，当车辆与失败物相撞时，或当时期预算用尽时，事情终止。赏赐是五项的加权和：朝对象行驶的速率和隔绝（正加权）、碰撞（负加权）、与人行道重叠（负加权）、与对面车道重叠（负加权）。

该收集应用10个并行线万个simulation steps。由于仿真所带来的策画本钱，咱们将陶冶节制正在1000万个simulation steps。这相当于以每秒10帧的速率衔接驾驶12天。

4 实践咱们评估了三种举措——模块化流水线（MP）、模仿练习（IL）和加强练习（RL），正在六种天色要求下，正在两个可用城镇中的每一个举行四项越来越疾苦的驾驶职司。咱们遵照补充难度的递次机闭职司如下：•直线：主意名望于起始正前哨，境遇中没有动态对象。到对象的均匀行驶隔绝，Town1为200米，Town 2为100米。•一个转弯：主意地离起点只要一个转弯；没有动态物体。到对象的均匀行驶隔绝, Town1为400米，Town 2为170米。•导航：不节制主意地相看待起始的职位，无动态物体。到对象的均匀行驶隔绝, Town1为170米，Town 2为360米。•存正在动态失败物的导航：与上一个职司类似，但应用动态对象（汽车和行人）。

实践正在两个城镇举行。Town1用于培训，Town2用于测试。咱们思虑六种天色要求举行实践，分成两组。陶冶用的天色集蕴涵好天、明朗的日落、下雨的白日和雨后的白日。测试集的天色是陶冶集不蕴涵的，蕴涵众云的白日和微雨的日落。

看待一个职司、一个城镇和一个天色聚拢的每一个组合，都要举行横跨25次的测试。正在每一次测试中，对象是达到指定的对象职位。即使正在预订时期内抵达对象，则以为事情告成。预订时期为以10 km/h的速率沿着最佳旅途抵达对象所需的时期。违规动作：如正在人行道上驾驶或形成碰撞，不会导致事情终止，但会记实和陈诉。

表1中的结果表理解几个大凡性结论。总的来说，尽管是正在最纯粹的直线驾驶职司中，整个举措的本能都不圆满，看待更疾苦的职司，告成率进一步消浸。对新天色的泛化要比对一个新城镇的泛化容易得众。模块化流水线和模仿练习正在大大都职司和要求下都能抵达划一秤谌。加强练习相看待其他两种举措出现不佳。现正在咱们将更周密地计划这四个闭头创造。

四项职司的出现。令人惊讶的是，正在陶冶要求下，尽管是正在壮阔的街道上笔挺行驶这一最纯粹的职司，也没有一种举措能圆满地阐明影响。咱们以为，这一局面的根蒂由来是：输入的可变性。陶冶要求蕴涵四种分歧的天色要求。正在陶冶历程中的精准轨迹不会正在测试中重现。因而，圆满地完结这项职司须要鲁棒的泛化，这对现有的深度练习举措是有挑衅的。

看待更高级的职司，整个举措的本能都邑消浸。正在生齿粘稠的都市境遇中的导航职司，两种最好的举措（模块化流水线和模仿练习）正在整个要求下的告成率都低于90%。这些结果了然地注脚，尽管正在陶冶要求下，本能也远未抵达饱和，而且正在新境遇下的泛化是一个紧张的挑衅。

泛化。咱们钻研两品种型的泛化：对以前没碰到的天色要求和以前没碰到的境遇。意思的是，这两者的结果迥然不同。看待模块化流水线和模仿练习来说，“新天色”要求下的本能与陶冶要求下的本能额外贴近，有时以至更好。然而，施行到一个新城镇对这三种举措都提出了挑衅。正在两个最具挑衅性的导航职司中，当切换到测试城镇时，整个举措的本能消浸了良众。这种局面能够说明为云云一个真相，即模子仍然正在众种天色要求下陶冶，但只正在一个城镇陶冶。分歧天色下的陶冶结果能够支柱对以前没碰到的天色举行泛化，但对应用分歧纹理和3D模子的新城镇则不实用。通过正在分歧的境遇中举行陶冶，这个题目也许会取得改革。总的来说，咱们的结果夸大了泛化对基于练习的感应运动掌握举措的紧张性。

模块化流水线vs端到端练习。说明模块化流水线和模仿练习举措的相对本能具有肯定的诱导道理。令人惊讶的是，正在大大都测试要求下，这两种编制的本能额外贴近：这两种举措的本能相差不到10%。这个结论有两个不同：一是模块化流水线正在“新天色”要求下比正在陶冶要求下出现更好。这是因为陶冶和测试天色的特定选拔：感知编制恰恰正在测试天色下出现更好。另一个是，模块化流水线正在“新城镇”要求下的导航职司出现不佳，正在“新城镇和新天色”下的直线职司出现不佳。这是由于感知算法正在新境遇的庞杂天色要求下编制性地失效。即使感知算法无法牢靠地找到可驾驶旅途，则基于条例的计议器和经典掌握器将无法以相仿的方法导航到主意地。因而，即使感知算法寻常事务，一切编制事务寻常；不然它将完整波折。从这个道理上说，模块化流水线比端到端举措更柔弱。

仿照练习与加强练习。咱们现正在对照两个端到端陶冶编制的出现：仿照练习和加强练习。正在整个职司中，加强练习陶冶的出现都比仿照练习的要差。尽量这样，加强练习的陶冶应用的数据量要大得众：加强练习的数据是驾驶12天的，而仿照练习的仅是14小时的。为什么这一次加强练习出现不佳，而正在Atari逛戏[18,19]和迷宫导航[19,5]等职司上博得了很好的劳绩？一个由来是一目了然加强练习是柔弱的[12]，而且it is common to perform extensivetask-specific hyperparameter search，比如Mnih等人陈诉的每个境遇50次试验[19]。当应用模仿器时，这种extensive hyperparameter search变得弗成行。咱们遵循文献证据和迷宫导航的探寻性实践选拔hyperparameters。另一种说明是，都市驾驶比以前用加强练习处理的大大都职司更疾苦。比如，与迷宫导航比拟，正在驾驶场景中必需解决杂沓动态境遇中的车辆动态和更庞杂的视觉感知。终末，加强练习泛化才气差的由来也许是：与模仿练习比拟，加强练习的陶冶没少睹据扩充或条例化。

违规说明。CARLA支柱驾驶计谋的细粒度说明。现正在，咱们将钻研三个编制正在最疾苦的职司上的动作：存正在动态对象的导航。咱们通过以下五种违规动作中纵情两种动作之间的均匀行驶隔绝来评议这三个编制：正在相反车道上行驶、正在人行道上行驶、与其他车辆相撞、与行人相撞和撞击静止物体。

表2陈诉了两次违规之间的均匀行驶隔绝（以公里为单元）。整个的举措正在陶冶中都出现得更好。正在整个境况下，仿照练习最不常进入相反车道，而加强练习正在该目标中最差。令人惊讶的是，加强练习与行人碰撞的次数起码，这能够说明为这种碰撞所形成的强盛的负回报。然而，加强练习正在避免与汽车和静态物体的碰撞方面并不告成，而模块化流水线普通正在这方面出现最好。

咱们先容了CARLA，一个开源的自愿驾驶模仿器。除了开源代码和契约外，CARLA还供应了特意为此主意创修的数字资产，而且能够自正在复用。咱们使用CARLA的仿真引擎和实质来测试三种自决驾驶举措：经典的模块化流水线、通过模仿练习举行端到端陶冶的深度收集以及通过加强练习陶冶的深度收集。CARLA为咱们供应了对自愿驾驶编制举行开垦和陶冶的东西，然后正在受控场景中对其举行评估。咱们盼望CARLA可能助助专家踊跃介入自愿驾驶驾驶钻研。模仿器和闭联资产将正在

汽车测试网-首创于2008年，报道汽车测试技艺与产物、趋向、动态等 闭系邮箱 marketing#auto-testing.net (把#改成@)