编者按：本篇商讨工动作天生主动驾驶测试用例供应领会决思绪，根据本文提出的举措论能够高效搜求，天生具有测试道理的场景（既具备预期的情势，又能够对主动驾驶

编者按：本篇商讨工动作天生主动驾驶测试用例供应领会决思绪，根据本文提出的举措论能够高效搜求，天生具有测试道理的场景（既具备预期的情势，又能够对主动驾驶体系变成寻事，以测试闭连功用）。本文提出的举措论将正在高速公途途段上的适宜度函数迁移到交叉途口场景，具有较好的易用性和扩展性，适宜度函数间举行组合也相当直观，并对扩展时会遭遇的缺陷举行了规避。

《Fitness Function Templates for Testing Automated and Auto

nomous Driving Systems in Intersection Scenarios》

2021 IEEE Intelligent Transportation Systems Co

Nicola Kolb, Florian Hauer, Alexander Pretschner

摘要：基于场景的测试举措，是测试主动驾驶体系的常用举措。专家推导出诸如“十字途口左转”之类的场景类型，并将其提炼为参数化的场景。参数域的边界往往包罗可以的测试用例，并非全面这些直观的测试用例都是“好的”测试用例，即使它们的情势都是确切的，并对测试中的驾驶体系组成了寻事。看待“好的”测试用例的采用，文献提出了基于搜求、以适宜度函数为优化宗旨的手艺。现有的做事齐集正在手艺方面或创修专用的适宜度函数，而很少正在举措论方面举行商讨，以派生符合的适宜度函数。以适宜度函数模板的情势举行的举措论商讨，迄今为止只正在高速公途的直线段举行实例化。怎样为其他道途境况(如十字途口场景类型)，创修符合的适宜度函数的举措论尚未治理。正在本文做事中，咱们将现有的高速公途适宜度函数模板迁移到交叉途口，为搜求手艺正在基于场景的测试中怎样避免可以显露的缺陷供应助助，并验证了适宜度函数迁移模板的合用性。主动驾驶体系测试往往以基于场景的模仿测试举措举行，个中交通场景被编码，并笼统为所谓的场景类型[18]。比方图1所示的T型途口场景，被测车辆e(包罗正正在测试的驾驶体系)念要向左转弯，而另一辆车辆c从对向直线有很众分歧类型的测试场景实例，比方左转弯与分歧的速率迎面而来的交通。业界和现有商讨做事中的常睹做法(考查睹[22])是将场景类型转化为参数化场景[18]。正在咱们的示例场景类型中，有几个方面能够被参数化，即被测车辆的初始速率以及迎面而来的交通插足者的启动光阴和速率(图1，右)。为每个参数分拨一个全体的值便会形成一个场景实例，动作一个潜正在的测试用例[18]。

图1 交叉途口场景的参数化示例然而，并非参数空间中的全面场景实例都具有确切的情势，也即是说，它们不包罗预期的车辆举措(此处为左转)，或表露与其他交通插足者的“不闭连”的相对身分。正在那些情势确切的场景实例中，并非都对测试中的驾驶体系提出寻事，比方四周的车辆都处于间隔被测车辆较远的身分。相反，“好的”测试用例务必能够正在参数空间中识别并包罗预期车辆举措，并对被测体系变成寻事[13]。文献[1]，[2]，[5]，[7]，[8]，[13]，[16]等的商讨做事，均提出操纵基于搜求的举措。正在所谓的适宜度函数的教导下，这些手艺旨正在确定兴味的场景实例。适宜度函数动作刻画测试用例质地的定量胸襟，正在此根底上体系地派生闭连的测试用例[10]。基于搜求的测试用例采用，正在手艺方面仍旧获得了广博的融会和商讨。可是，现有的众半商讨做事都假定了适宜度函数，或者为特定的体系或场景类型[13]姑且创修它。看待工业中的本质行使，这种假设是有题目的，由于适宜度函数的质地看待测试结果是至闭苛重的。是以，正在推导适宜度函数时，必要举措论教导。正在团队之前的商讨做事[13]中，咱们以适宜度函数模板的情势供应了如此的举措论，但仅正在高速公途境况中举行测试用例的实例化，而无视了其他场景境况。这项做事的功勋是双重的：咱们将先前的做事[13]中的高速公途场景的适宜度模板，举行施行、调解和转换到交叉途口场景，并论证了其合用性，为基于搜求的主动驾驶体系测试手艺增众了举措论根底和实习。正在将基于搜求的举措行使到该当避免的场景上测试时，咱们夸大了闭连的举措论缺陷。2 基于场景的测试举措概述图2给出了基于场景的主动驾驶体系测试进程的笼统概述。专家们遵循可用的模范、央求，以及闭于被测驾驶体系及其交通境况的心绪学模子，推导退场景类型。动作填补，能够基于驾驶数据，对场景实例举行主动聚类，并对天生的场景类型列表举行无缺性评估（图2中的⑦），如正在本质交通数据集前进行验证[15]。然后通过操纵一组闭连参数类型（图2中的⑩），为它们派生（图2中的⑧）参数化的场景类型（图2中的⑨）。正在之前的商讨做事[13][14]中，咱们将参数化场景界说为(F, P, D)。个中F为参数化场景的实质，也包罗场景的非参数化片面；P刻画了参数化的场景元素pi∈P，i=1,…,n，以及对应的域di∈D。这些参数的域组成了雄伟的场景实例空间A=d1×…×dn-1×dn∈Rn，a∈A[18]。为了从这个场景实例空间A落选择“好的”测试用例，文献[1]，[2]，[5]，[7]，[8]，[13]，[16]正在基于搜求的优化dsafe举措前进行了深远商讨。本文商讨做事的要点是适宜度函数（图2中⑫）的派生(图2中⑪，用灰色超过显示)，用于教导优化天生（图2中⑬）“好的”测试用例（图2中⑭）。这种天生凡是涉及操纵体系模子⑮举行模仿树立。

3 适宜度函数模板和操纵咱们的举措论教导包含两个方面：(1)咱们为基于[13]的交叉途口场景类型，供应适宜度函数模板；(2)浮现它们简直切用法。通过这种式样，咱们的宗旨是裁汰从业者创修适宜度函数来识别所需情势的具有寻事性的场景实例时的辛勤和差池的可以性。A．适宜度函数模板本文的商讨宗旨是形成“好的”测试用例，这些测试用例是揭示潜正在的差池体系行动的场景实例。正在“好的”测试用例中，确切的被测体系会贴近但不会跨越平和范围，而有缺陷的体系则会抢先了平和范围[13]，[21]。这就央求场景实例既具有寻事性，又具有预期的情势。以下模板确保搜求哪些场景实例具有预期的情势并具有寻事性。咱们将[13]的模板从高速公途场景迁移，并施行到交叉途口。咱们假设基于搜求的举措是最小化的。1）违反平和范围的模板：如图3中的示例：当对向车道有车辆c驶来时，主动驾驶汽车e应正在十字途口向左转弯。倘使体系定夺正在车辆c前左转，务必依旧肯定的平和间隔(正在光阴或空间上平和)以确保平和。正在转弯进程中，车辆之间依旧一段间隔(睹图3，左)。为举行扼要疏解，图3中画出了空间中的间隔。然而，咱们也能够研讨其他可用于界说平和范围的、可丈量的尺度。

图3 d, dsafe和∆d的蜕变进程直观地说，人们可以偏向于行使基于搜求的举措来搜求间隔d (或其他胸襟)最小的场景实例。然而，这种偏向是存正在题目的，首要有两个道理：（1）搜求将是oracle题目[4]的一个实例，最小的d能够显露两车产生碰撞。然而，碰撞可以是，也可以不是由被测车辆变成[7]，[8]。是以，很难判决碰撞是否是被测驾驶体系担心全行动的结果。（2）搜求到的宗旨可以是没有寻事性的测试用例。被测驾驶体系能够正在较低的驾驶速率下担当较低的平和间隔，从而将搜求导向低速场景。然而，最为违反平和的时间(或最贴近违反平和的时间)可以是，也可以不是正在低速境况下。咱们提出以下模板(基于[13])来搜求交叉途口的违反平和行动，如图3所示:

个中，∆d(t) = d(t)- dsafe(t)显露间隔跨越平和范围的缓冲区。场景实例的适宜度值是最小的，即场景中最贴近跨越平和范围的时间。当fsafety处于极小值时，避免了上文接头的题目：（1）模板的组织中包罗了一个oracle。当fsafety为正值时，尚未跨越平和范围，而且可知缓冲区域的巨细；倘使是负值，声明跨越平和范围，并其可知跨越平和范围的水平。（2）当∆d(t)最小时，将搜求出闭节场景实例，由于声明最贴近违反平和的时间(假设体系平和)或最为违反平和的时间(假设体系阻滞)被识别。这应允了以下闭于平和的推理：倘使没有min(∆d(t))<0的场景实例，能够假设被测体系正在这种参数化场景类型的全面实例中都是平和的。正在适宜度模板中，能够用任何刻画平和的、可丈量的量代庖dsafe(t)，比方正在光阴或空间上。正在咱们的实践中，咱们操纵的是RSS[24]提出的平和范围，但任何其他平和间隔，如[20]，[23]，同样能够操纵。2）确保所需场景情势的模板：为了平和论证，有需要“注明”被测驾驶体系正在各品种型的场景中均展现优异，这就必要确保场景实例具有预期的情势，即是特定场景类型的实例。一个纯洁的适宜度函数模板如下：倘使场景不是预期的情势，则分拨一个倒霉的常量适宜度值。倘使是预期的情势，则分拨适宜的常量适宜度值。但这种模板并没有为基于搜求的测试手艺的参数空间供应优异的教导。相反，咱们倡导：非预期情势的场景实例形成的适宜度值，越贴近预期的情势越优异。看待是预期情势的场景实例，将形成一个优异的常量适宜度值。正在预期情势的场景实例中确定最具寻事性的场景实例，将由“违反平和”的模板定夺。咱们倡导以下模板，对咱们之前的做事[13]举行了详细，并使模板合用于交叉途口场景：

显露一个场景类型的光阴或空间方面的变量，比方，正在被测车辆初阶左转的时间tl，该场景中行人的身分。倘使r(tl)正在边界[lb, ub]内（上界为ub，下界为lb），此时场景实例就处于预期情势，比方行人的身分正在被测车辆的行驶车道边界内，以确保被测车辆正在此场景下务必减速反映。下面，咱们将浮现三个示例：有两个范围的空间身分(l)：正在图4(左)中，刻画了行人场景类型。本车e向左转弯，并应务必对行人p作出反映。这央求行人处于垂危状况，即本车确实向左转弯时，行人横穿过本车行驶的车道。行人所正在的区域正在其行进偏向上以lb=x1和ub=x2为界，正在笔直偏向上以斑马线符号为界。这仅是一个纯洁的疏解，行人也可以不正在斑马线内横穿马途。正在本车举行左转弯的时间tl，将行人的身分xp(tl)与以下间隔举行比力：

图4 有两个左范围和一个右范围的场景有一个范围的空间身分(l)：图4(右)的测试示例，用于本车是否正在对向驶来的车辆抵达之前平和地举行左转弯。然而，正在很众场景实例中，本车正在对向驶来的车辆后面转弯。这并不肯定是坏的，由于这是平和的行动，但正在这种场景实例下举行测试，不行得出本车体系正在对向车辆抵达前可平和左转弯的结论。相反，只要采用正在本车正在对向车辆前转弯的场景实例，本领测试本车的闭连功用。这能够通过丈量正在本车e穿过对向车辆c行驶车道的刹那，本车和对向车辆正在x偏向上的间隔来检测。是以只给出了一个范围，fform的第二个范围则被省略[13]：

倘使本车从对向车辆后面源委，本车转弯时与对向车辆的间隔越近，适宜度值越高。有两个范围的光阴(t)：对行人场景类型能够有分歧的疏解：行人应正在不早于本车初阶左转前t1秒、不晚于本车初阶左转t2秒后初阶过马途。行人初阶过马途的时间用tl显露。同样，咱们能够行使模板，但要确保是正在光阴上加以分类[13]:

倘使行人没有准时开赴，那么初阶过马途的光阴越贴近指望的区间[t1, t2]，适宜度值越高。一朝为某个场景类型采用了模板，就必要将它们组合起来举行搜求。正在[13]的根底上，咱们提超群宗旨搜求，遵循帕累托（pareto）准则去优化适宜度数组：看待两个离别具有适宜度数组F1/2的测试用例tc1/2，倘使全面的适宜度值f1，i起码和适宜度值f2，i好像，而且存正在一个f1，j比f2，j更好，则能够以为tc1优于tc2。每个模板都更换一个如此的fn，天生一个最终的适宜度数组F= [f1…fm]，m为各个场景类型所需的模板数目，个中m−1个模板用于确保所需的场景情势，剩下的一个模板用举行“违反平和”闭连的搜求。这种漫衍是需要的，以避免III-C中所提及的缺陷。

。比方，左转弯的平和间隔只可正在有对向车辆驶来之进取行左转弯时被丈量。当fb不为零时，搜求手艺不会企图fa，而是将其树立为一个较高、较差的值[13]。

当适宜度数组F确定后，即可举行搜求。起首，正在fa优化之前，必要依赖其他模板的模板fb被置为零。数组中的末了一个模板是“违反平和”模板fsafety，这意味着当适宜度数组F=[0 … 0 fsafety]时，搜求会正在属于预期情势的场景实例中找到最具寻事性的场景实例。因为最终只优化单个适宜度值，避免了难以疏解的帕累托前沿（paretofront），形成一个鲜明的、“最佳”测试用例。C．模板操纵和缺陷避免基于搜求的测试用例天生举措为基于场景的测试[2]，[13]供应了平和认证的苛重根底：基于搜求的举措试图识别具有最佳适宜度值的测试用例。倘使这个“最佳”测试用例揭示了被测体系的差池行动，那么无论怎样这个别系都必要改善。然而，尽管正在这个测试用例没有揭示出有缺陷的体系行动，咱们也获取了闭连讯息。遵循界说，正在参数化场景的参数空间中没有更好的测试用例。是以，咱们确信体系正在参数空间中的全面场景实例中都是平和的。但这必要基于搜求的举措正在搜求这个“最佳”测试用例时展现优异，看待这个测试用例仍旧提出了几个倡导，比方[1]，[10]。当行使基于搜求的举措时，苛重的是要确保论证进程制造，不然测试结果将不行供应所需的撑持，同样不行动作平和论证的根底。咱们接头了将基于搜求的举措行使于基于场景的测试的两个最苛重的举措论寓意。1)为场景类型创修搜求题目：为了平和论证，测试必要供应驾驶体系平和行动的证据。这必要注明体系正在每种测试场景[15]，[17]中都是平和的。看待每一种场景类型，都必老生成“最佳”的测试用例。这意味着，每个场景类型起码有一个搜求结果，并为预期的场景类型天生测试用例，然后能够行使所供应的模板。由于全面基于场景的测试举措都是如此，因此对场景类型[11]、[17]的粒度级别有很强的依赖性。能够操纵场景类型“本车正在有对向车辆驶来的十字交叉途口左转弯”来举行平和论证，也可以操纵“本车正在四偏向交叉途口左转弯，每个偏向都有一条车道，只要一辆对向驶来的车辆”。正在第一种场景类型下，参数化的场景必要一个参数来显露车道数和对向车辆数。然后，正在适宜度函数的助助下，从全面适宜上述参数化刻画的交叉途口中抽取出“最佳”测试用例。第二种场景类型的颗粒度更细，是以有一个更苛肃的预期情势，必要分歧的适宜度函数。怎样采用确切的场景类型粒度级别，这一题目并不但限于基于搜求的测试做事；任何基于场景的测试做事都正在各自的粒度级别上做假设，凡是是隐式的。正在[3]和[18]中，对粒度级别提出了倡导，但这照旧是一个正正在举行的接头。2)为平和尺度创修搜求题目：测试体系行动所根据的平和尺度极大水平地影响测试用例的天生。凡是境况下，驾驶体系务必依旧不止一段平和间隔，比方与场景中的分歧车辆之间的平和间隔，或与另一辆车辆之间的纵向和横向平和间隔。除了预期情势的模板外，还为每个平和间隔的众宗旨搜求增添一个适宜度值。然后通过搜求识别那些违反个中一个平和间隔的场景实例。然而，这并不像预期的那样有用：众宗旨搜求操纵了上述的帕累托准则。这意味着，看待一个平和间隔的残存缓冲区(睹III-A.1节)，不行正在不最小化另一个平和间隔的境况下最小化这个平和间隔。直观地说，一个别系能够违反纵向平和间隔时，并不贴近违反横向平和间隔。相反，一次只可优化一个平和间隔，尽管正在“统一个公式”中有众个平和间隔的组合显露，也必要众个优化。比方，纵向的平和间隔凡是要比横向的平和间隔大得众，如都市交通纵向平和间隔可达20米，而横向的平和间隔则小于1米。假设将其显露为简单的平和“公式”，并企图简单的适宜度值，通过搜求先天生的测试用例，凡是是体系贴近(或违反)横向平和间隔的。

4 试验A．场景类型和搜求因为空间的局部，咱们只可接头一种示例性场景类型的搜求(如图1)：本车e正在十字途口左转，并有对向车辆c驶来。本车能够正在对向车辆的前部或后方举行左转弯。根据咱们的流程，这必要举行分类接头：对向车辆前和对向车辆后(睹第III-C.1节)。正在这两种境况下，咱们感趣味的平和间隔离别正在x和y偏向(睹第III-C.2节)，咱们将[13]的视角从一维(x)扩展到二维(x,y)。总的来说，咱们必要对这个特定的场景类型举行4次搜求，以便可能确定测试的驾驶体系的行动平和。搜求一个接一个地履行。图7和图8刻画了个中一个搜求的结果(case: x，对向车辆前)。B．适宜度函数推导预期情势：独一的情势尺度是本车正在对向车辆火线或后方举行左转弯(睹图5)。是以，每一种境况只必要一个简单的适宜度函数模板就能够确定预期的情势。看待“本车正在对向车辆火线左转”这种境况，行使“有一个范围的空间身分”模板：

看待“本车正在对向车辆后方左转”，判决尺度改为xe(tl)≥xc(tl)即可。平和性：动作平和间隔，咱们操纵了受RSS模子[24]胀动的空间间隔。精确声明请参考[24]。咱们用dsafety x/y显露平和间隔公式，用fsafety x/y显露平和间隔违反模板 (睹图6)。组合：模板间的组合很直观，睹下式：

图6 正在对向车辆后方左转场景(左转后)-纵向和横向平和间隔C．试验树立咱们操纵了受[19]胀动的被测驾驶体系，该体系集决定、旅途计划和管制于一体的模子预测管制手艺。体系的切当行动并不苛重，由于咱们闭切的是模板和举措论，而非体系的本能。动作仿真试验树立，咱们操纵MATLAB\Simulink团结行使广博的IPG Carmaker。并操纵了众宗旨算法NSGA-II[9]举行搜求，种群巨细为50个，搜求代数为20代。这意味着正在1000个测试用例中测试体系，即使咱们最感趣味的是“最好的”一个，所提出的模板和举措论昭彰能够与其他任何仿真东西和众宗旨搜求手艺相团结。D．试验结果图7给出了每个种群的均匀适宜度值和最佳适宜度值。这供应了两个首要的结论：（1）均匀适宜度值一初阶较高，并分两步裁汰。最初阶随机采用的场景实例并不适宜指望的情势，从而形成较高的均匀适宜度。当种群包罗几个场景实例，均匀适宜度第一次和第二次明显降落，由于种群中的民众半场景实例不但是预期情势，况且还对被测车辆具有寻事性。这提示模板指引搜求到预期情势的、对被测车辆有寻事性的场景实例。（2）最佳适宜度值一初阶较高，当找到起码一个预期情势的场景实例后，就顷刻有大幅的降落。并跟着代数增众无间降落，贴近咱们举措所必要的“最佳”测试用例。

图7 每个种群的均匀和最佳适宜度值图8所示为本车正在对向车辆所正在车道上左转时，“最佳”测试用例的纵向间隔（绝对间隔dx，残存缓冲区间隔∆dx，平和间隔dsafety, x），以及体系最贴近“违反平和”的场景速照。本车的行驶绝顶落后｜后进：尽管正在“最好”的测试案例中，本车车也会正在26米的最小平和间隔上保存一个残存缓冲区。

图8 最佳测试用例的平和间隔蜕变境况和截屏E．接头因为篇幅的局部，咱们只接头简单场景类型的实践结果。然而，此演示显示了所供应的模板和举措论的易用性。看待更繁杂的场景，有更众的交通插足者，央求更高的境况(如三车道交叉途口)，以及场景插足者之间更繁杂的时空交互，几个模板必要众次行使。尽管如此，基于适宜度值数组的组合也相当直观。众宗旨搜求将确保场景实例具有所需的情势和寻事性。是以，简直全面闭连的境况都能够用模板来显露。然而，咱们当然不行保障这些模板涵盖“全面”场景类型。生机举措论可能助助专家创修足够的适宜度函数，并以笼盖全面道途境况为宗旨。适宜度函数模板是基于搜求和场景的通用测试举措的一个有出息的根底。下一步的商讨做事生机通过操纵从真正驾驶数据中获取的场景目次，对该举措举行验证。别的，咱们正商讨该模板正在其他道途境况下的合用性和无缺性，如环形途口。

5 闭连做事近期有较众基于场景的测试举措的商讨做事，咱们参考[22]为一个广博的考查和接头与本文做事较为贴近的商讨。少少现有的基于场景测试和搜求的手艺行使雷同本文的举措来天生测试用例，用于制动[1]、[5]、车道依旧[10]和自适宜巡航管制[1]体系。它们的适宜度函数是特意为单个场景类型创修的，并分歧用于其他体系和其他场景类型。其他做事供应的适宜度函数，旨正在裁汰平和驾驶空间，对被测驾驶体系的运动计划提出寻事[2]；或者旨正在形成可避免的碰撞[7]，[8]。固然这些举措直观地形成了具有寻事性的测试用例，但它们不行确保预期的场景情势，是以不行为平和性论证供应相宜的根底。文献[16]中提出了一种举措，将场景刻画讲话(如“正在车道上”或“位于后方”)转换为轨迹计划题目，以便创修基于lanelets的场景实例。他们并不闭切举措论，即不闭切怎样创修适宜度函数并将其行使于其他可以不操纵lanelets的场景上，闭切的是手艺方面。文献[6]的商讨团队为简单的、特定的都市交叉途口场景类型供应了适宜度函数。但也没有为适宜度函数的推导供应举措论方面的教导。正在本团队之前的商讨做事[13]中，咱们供应了仅合用于公途场景的适宜度模板，以确保场景实例具有预期的情势并对被测车辆有寻事性。

6 结论本文商讨做事从为基于搜求的手艺推导适宜度函数供应举措论教导开赴，由于适宜度函数是测试用例的质地胸襟，是以也是体系本能的胸襟，因此构制适宜度函数必要异常审慎。不然，平和性就无从讲起。正在本文商讨做事中，咱们以适宜度函数模板的情势为交叉途口场景类型供应了举措论教导，填补和施行了咱们之前正在高速公途场景上的做事。接头了众种境况下怎样行使和组合模板，并疏解正在操纵基于搜求的举措举行场景测试时怎样避免缺陷。试验浮现了适宜度模板的易用性，并供应了指引搜求手艺找到预期情势的场景实例的举措论，这些场景实例对被测驾驶体系具有寻事性。咱们生机所提出的举措论可能助助专家为交叉途口场景创修足够的适宜度函数，而范围境况可以必要对适宜度函数模板举行扩展。参考文献

汽车测试网-兴办于2008年，报道汽车测试手艺与产物、趋向、动态等 闭联邮箱 marketing#auto-testing.net (把#改成@)