论文阅读：DeepRoad: GAN-based metamorphic testing and input validation framework for autonomous driving systems作家提出了一种针对主动驾驶体系的基于GAN

作家提出了一种针对主动驾驶体系的基于GAN的蜕变测试以及输入验证框架。苛重是为理会决主动驾驶范围的安闲题目，完全点说便是当实行主动驾驶体系的测试的光阴，很难获取到成家的图像数据。例如说，你给主动驾驶体系一段道的好天图像时，体系运转优越，然而此时你思测试雪天场景下体系的鲁棒性，但没有统一段道的雪天场景数据，若给到另一段道的雪天图像，又难以实行对照测试（涉及蜕变测试观点）。基于此，作家提出理会决计划。

读完论文之后，对照有劳绩的是理会了蜕变测试观点，合于图像转换工夫，作家貌似也只是操纵了别人给出的已有本领，并且有点语焉不详（也也许便是我没看懂罢了……）。

1. 题目界说基于DNN的主动驾驶体系发作差错也许致命，为理会决基于DNN的主动驾驶体系的安闲题目，近来闪现了少许测试工夫，可能从原始图像主动天生驾驶场景来填补测试用例，然而因为以下限度，这些测试工夫是不足的。

上图是从论文中援用的合成图像，a存正在彩色补丁，b存正在众个黑洞，c存正在玄色边线，都影响了图像质料。其它，对付图d，它彷佛是通过纯洁地调暗原始图像并将其与加扰的“烟雾”效应混淆而获得的，它违背了雾气密度改变的毕竟。近似地，正在图e中，DeepTest只是通过正在原始图像上增加一组线条来模仿雨。

这些毕竟注解，很难确定差错驾驶手脚是由基于DNN的模子的缺陷惹起的，仍然因为测试工夫自身的亏折形成的。这些图像转换工夫只可天生近似的图像，而不行纷乱地合成区别风致的图像，从而节制了测试用例的众样性。

1.2 主动驾驶体系基于呆板进修，因而当教练数据和操纵范围数据不可家的光阴会大幅度消浸体系精度

但据咱们所知，目前基于DNN的体系缺乏验证输入(比方驱动场景的图像)，因此容易形成体系虚弱性。完全来说，无效的输入，如驾驶场景中的极度图像，会重要消浸预测精度，大大填补基于DNN的体系的危险。

比方，假设一个基于DNN的主动驾驶体系被教练正在一个数据集上，该数据集只包蕴阳光下驾驶场景的图像。对付体系没有源委教练的范围外输入(比方驾驶场景的雨天图像)，很有也许导致体系输出差错的限度信号，从而给司机和搭客带来伤害。

作品提出了DeepRoad框架，苛重包罗两个模块：蜕变测试模块（DeepRoadMT）和输入验证模块（DeepRoadIV）。

采用了一种基于天生抗衡性搜集(GAN)的工夫来合成各类气象条款下的驾驶场景，并开采了基于DNN的主动驾驶体系的蜕变测试（me

蜕变测试：是一种用来缓解**“测试准绳题目”的软件测试工夫。当测试职员对付所选取的测试用例难以确定预期的精确结果，或无法讯断轨范输出是否知足预期的结果时**，便以为存正在“测试准绳题目。

蜕变相干：假设p是轨范输入照射到轨范输出的轨范数学体现，也便是有p[i] = o时，那么假设fi和 fo代表对输入和输出域实行特定转换的函数，知足下列相干：

一个或众个用来验证体系或待告竣函数的需要属性（称为蜕变相干）的后续测试用例可能被构制出来，然后剖断源测试用例和后续测试用例爆发的输出是否正在蜕变相干下相同。任何不相同的输出体现了轨范的告竣中存正在缺陷。

操纵UNIT （Unsupervised image-to-image translation network）

上图显示了UNIT的布局，S1和S2体现两个区别的区域(比方好天和雨天驾驶场景)，E1和E2体现两个主动编码器，它们将从s1和s2的图像投影到共享的潜正在空间Z。

假设x1和x2是一对图像，它们共享相像的实质。理思景况下，E1和E2将它们编码到相像的潜正在向量z，而且可能由两个布局域特异的天生器G1和G2差异将其翻译回S1和S2。

D1和D2是检测图像是否差异属于S1和S2的两个区别器。完全来说，它们被盼愿辨别输入图像是从方向域(比方真正图像)取样仍然由教练有素的天生器(比方合成图像)爆发。

基于主动编码器和天生器，UNIT可能用于两个域之间的图像转换。比方，图像x1可能通过G2(E1(X1)转换为S2。

正在图5中，DeepRoadMT最初从两个方向域(比方，好天和大雪气象下驾驶场景的数据集)获取未配对的教练图像，并通过优化牺牲函数，运用UNIT将两个域投影到相像的潜空间。教练停止后，DeepRoadmt操纵源委优越教练的模子，将所有好天驾驶场景的数据集转换为众雪气象。完全来说，给出阳光气象I下的任何图像，DeepRoadMT通过E1将其编码为矢量Zi，并操纵G2合成正在大雪气象下的相应版本τ(I)。DeepRoadMT将每一对真正和合成的驾驶场景图像供给给被测试的自立驾驶体系，即DNN，并对照它们的预测结果DNN⟦τ(I)⟧和DNN⟦I⟧来检测任何不相同的手脚。

咱们可能界说一个输入验证（Input Validation）模范，例如输入数据应当是任何巨细为640*480的RGB图像，或者任何输入数据应当存正在于教练数据凑集，以担保其精确性。然则，第一条准绳太弱，无法降低体系的鲁棒性，而第二条准绳太强，使得体系缺乏通用性。

作品提到Probably Approximately Correct (PAC)进修表面，即不央浼实行零偏差的预测，而央浼偏差正在必然畛域内；不央浼对全数样本都能预测获胜，而央浼预测偏差正在必然畛域内。

依据PAC进修表面，作品给出输入验证模范：输入数据I应当从教练数据D中取值（从D中采样输入I的概率应当大于预订义的阈值θ）。

选取卷积层conv 4_2和conv 5_3差异提取实质和样式特性。成为彩色网格F 4_2和 F 5_3，体现从VGGNet中提取的实质特性，样式特性G 5_3由Gram matrix推算

然后，矩阵F 4_2和G 5_3转换到特性向量V，对全数的图像都实行如许的统治，然后实行PCA主因素剖析实行降维。正在图6中，咱们将方向维度树立为2。所统治的数据Y是正在二维平面上给出的，蓝色和血色节点差异体现教练和正在线驾驶图像。最终，DeepRoadIV推算教练数据与每个正在线I之间的最小间隔。拒绝对间隔大于某一阈值的图像实行预测。

1.操纵Udacity颁发的真正宇宙数据集行为基线.选取了两集高速驾驶视频，视频中可能张望到区别帧间照明和道道状态的昭着改变。

3.为了教练UNIT模子，从YouTube搜聚特别场景的图像。正在实践中，咱们选取了大雪和大雨这两种特别的气象条款。

5.正在大雨的景况下，视频记实了雨刷刮过挡风玻璃，这也许会消浸合成图像的质料。是以，正在数据预统治阶段，手动检验和过滤这些图像。

选取 Udacity 社区中的Autumn、Chauffeur和Rwightman三种基于DNN的主动驾驶模子实行测试，个中Rwightman的模子细节并不公然，然则，近似于黑匣子测试，咱们的本领旨正在检测模子的不相同性，是以，Rwightman仍用于测试。

个中DNN体现主动驾驶模子，I体现真正的驾驶数据集，i体现I中的第i个图像，τ体现不妨改良气象状态的图像天生器/转换器。f是一个指示函数，当输入是true的光阴返回1，false的光阴返回0，而ϵ是差错阈值。

最初，为了均衡输入数据和教练数据，咱们从正在线驾驶场景中搜聚M个图像行为输入数据，从教练数据凑集随机挑选M个图像行为教练数据。第二，为了臆想出更稳固的间隔，咱们均匀每幅图像的最小k个间隔来体现它们的近似之处。同时操纵L2范数来改良过拟合。

从上图可能看出，从质料上讲，GAN天生的图像正在视觉上与从YouTube视频中搜聚的图像近似，它们还可能存在原始图像的苛重语义新闻(如树和道道的体式)。雪天天空相对较暗，雨天清楚度相对较低，与DeepTest有昭着对照。

正在上图中，每一行差异显示雪和雨的场景。正在每个子图中蓝色题目体现模子名称，而血色和绿色弧线差异体现真正图像和合成图像上预测的转向角。这些弧线将预测结果可视化。

从图中咱们可能看到，模子Autumn(前两列)正在两个场景中都有最高的不相同数；比拟之下，模子Rwightman(最终2列)是区别场景下最稳固的模子。这注解，DeepRoadmt不妨正在区别的道道场景下呈现真正宇宙中的主动驾驶不相同的手脚。比方，像Autumn或Chauffeur 如许的模子(它们正在Udacity挑衅中的排名都高于Rwightman)也许正在阳光妖娆的日子里处事得很好，但正在雨天或下雪的日子里，也许撞到道边或者更倒霉的——迎面而来的汽车。

图10显示了DeepRoadIV合于好天、众雨的结果再有雪景。完全来说，图10的前三张图差异显示了好天、雨天和雪景的结果。橙色和蓝色点体现取样t雨和相应的输入图像。

结果注解，好天和教练图像的散布对照靠拢，而雨雪图像则远离聚类，和教练图像线性可分，阳光下的图像较星散，而雨雪图像较紧凑。究其理由，也许是因为雨雪图像的纹理同一，实质相对穷乏，使得图像之间的间隔较小。。然而，阳光图像的光照条款和实质对照众样，是以间隔很远。其它，从图10d中，咱们呈现好天图像散布的间隔苛重正在0~3之间，而险些全数雨雪图像的间隔都大于2。那么取阈值为2.5时，DeepRoadIV可能检测到100%的降雨，85%的降雪图像和21%的好天图像中的离群点行为无效输入，有用地降低了体系的鲁棒性。

**内部有用性恐吓：**正在本处事中，对内部有用性的苛重恐吓是咱们的工夫告竣中的潜正在缺陷。为了淘汰这些恐吓，正在告竣DeepRoadMT时，咱们操纵了UNIT的原始告竣以确保DeepRoadMT的本能。其它，正在DeepRoadIV的告竣中，咱们从PyTorch网站下载了源委预先培训的VGGNet权重，而不是正在ImageNet前进行培训。

1.咱们缺乏评判图像质料(即真正性)的优越模范。正在本文中，咱们将让读者检验他们的质料。这种本领相当开门睹山，但不那么客观。Salimans等人倡议的 Inception 评分法来评判合成图像的质料，然而，源委阐明，正在对照天生模子(如GANs)时，Inception 评分不行供给有效的领导。

2.Udacity上的数据集相对较小，主动驾驶模子对照纯洁。要是数据集足够大，则可能教练一个更纷乱、更强壮的模子，从而明显地淘汰不相同手脚。

本文提出了一种无监视进修框架DeepRoad，用于合成真正的驾驶场景来测试基于DNN的主动驾驶体系的不相同手脚（DeepRoadMT），并对正在线输入图像实行验证（DeepRoadIV）。

正在三个真正的Udacity主动驾驶模子上的实践结果注解，DeepRoad不妨获胜地检测出数千种不相同手脚。其它，结果还注解DeepRoad可能有用地验证输入图像，从而降低体系的鲁棒性。