为什么AEB的行人检测经常会失效？-绵羊汽车生活记录

对于那些被自动驾驶汽车（AV）的承诺所吸引的爱好者来说，一段在CES期间Flir的展台上放映的视频应该是一个提醒。

AV开发人员在确保驾驶员安全的自动驾驶系统方面取得的进展令人鼓舞，但对自动驾驶技术的现状非常乐观的人应该点击下面的视频，该视频说明了AV在确保车外人员的安全方面存在着重大问题。

Flir是一家汽车红外热成像仪供应商，他利用AAA提供的视频素材制作了这个巧妙的视频剪辑。去年秋天，AAA用行人检测（AEB-P）对AEB进行了测试。

ADAS的目的是协助驾驶员提高道路安全。但如果OEM要真正做到这一点，他们应该在需要的地方投入更多的资金。安全第一，然后是自动驾驶？正如YoleDéveloppement的首席分析师Pierre Cambou在他的linkedIn文章中指出的那样，“我同意Flir的观点，行人安全应该是ADAS的主要关注点。”

去年，AAA对ADAS车辆进行了测试，重点放在了行人检测上。AAA的测试结果几乎是毁灭性的。

如果在时速20mph下遇到一名成年人白天横穿马路，则车辆仅有40％的几率会避免撞到行人。更糟糕的是，如果同样以20mph的速度遇到一个从两辆车之间冲进车流的孩子，那么这个孩子有89％的几率会被撞到。而在30mph的速度下，则没有一辆测试车能够避免碰撞 ……

调查结果促使AAA提出了以下建议：“不要依赖行人检测系统来避免碰撞。这些系统是备用的，而不是避免碰撞的主要手段。”

重要的是要注意碰撞预警（collision warning）和碰撞缓和（collision mitigation）系统之间的区别。预警系统将警告驾驶员即将发生碰撞，但不会采取诸如刹车之类的规避行动。缓和系统将提醒驾驶员，如果不采取任何措施，该系统将进行刹车，以避免或减轻碰撞的严重程度。

对于任何道路的行人来说，看到ADAS车辆没有为行人停下来的景象都会感到吃惊。尽管AAA的测试结果获得了媒体的广泛报道，但Flir的视频片段引发了人们对一系列未解决问题的新思考。

经过AAA测试的所有四款车型都采用了“摄像机+雷达”组合。而在这种组合下，是什么因素导致了AEB-P功能如此不一致呢？

像Flir这样的公司提出了这样的想法，即使用热成像传感器可以帮助车辆在夜间看到行人。我们对此毫不怀疑。但我们是否可以简单地通过添加另一个（具有不同模式）传感器来解决这些问题呢？

VSI Labs的创始人兼负责人Phil Magney说：“AEB对于ADAS是至关重要的，没有它，你甚至无法想象实现自动驾驶。而且，它是所有ADAS功能中最重要的，并且是可能挽救最多生命的应用程序。”然而，Magney在AEB和AEB-P之间做出了至关重要的区分。他强调，适应行人的AEB“比AEB难一个数量级”。

专家经常会提到雷达容易产生的误报（false positives），以及图像传感器有限的FoV。即使将雷达和摄像头组合在一起，融合的数据仍然只能显示出对车辆周围环境有限的了解。也许最重要的是成本问题。OEM倾向于为ADAS使用成本更低的传感器。鉴于ADAS功能有望在大众市场普及，因此OEM不太可能会花更多的资金购买专用传感器（激光雷达或热成像仪），来降低AEB-P失效的可能。

Magney解释说，雷达是AEB系统的关键部件，因为它可以测量碰撞时间。但雷达也容易出现误报，例如将静止的车辆误认为危险物。因此，“为了限制误报，你最终不得不过滤掉大量数据。雷达也有很多噪声，这也可能导致误报。这就是为什么如果你的车辆具有碰撞预警功能，那么会不时收到异常的碰撞预警。”

Magney解释说，在AEB的一般背景下，“AEB-P大大地提高了性能要求，因为现在你必须识别并跟踪道路上的行人。”他承认雷达正在变得越来越好，“但在与人类打交道时仍然缺乏信心，因此通常需要将其与摄像头配合使用。”

Magney认为，“有太多环境条件限制了摄像头的性能，这导致当前AEB-P系统的性能不佳。”

YoleDéveloppement分析师Cambou说，基于摄像头、雷达、摄像头+雷达或摄像头+激光雷达的AEB系统的成功在安全性方面得到了充分的证明。他指出，“全球的追尾事故和死亡人数大约减少了50％，总体事故/死亡人数减少了10-15％”。

但是，当同样的AEB技术应用于行人检测时，统计数据（事故/死亡人数减少了10-15％）就不那么令人满意了。

当被问及为什么AEB-P很难做到这一点时，Cambou说，问题出在第一代AEB系统的车辆前方“相对狭窄的FoV”。

那些第一代系统使用的是例如Intel-Mobileye EyQ3（通用、福特和大众）或东芝Visconti 2（丰田）等的视觉处理器。谈到这些车辆相对狭窄的FoV时，Cambou说：“这是AEB系统无法了解车辆前方情况的主要原因。”

Cambou估计，第一代AEB系统已在大约6％的车辆和30％的新汽车中部署。Cambou说，第一代AEB的效率约为10-15％，这就是为什么到2022年在北美和欧洲配备AEB的车辆仍远未达到常被提及的“零愿景”目标。

接下来是第三代AEB系统。Cambou指出，这些系统将使用全环绕的摄像头。“这就是特斯拉将用其FSD计算机做的事情。Zenuity也在为OEM提供这种方案。通过了解整个环境，AEB应该随着时间的推移而改善。但问题是会多快？”

为了使AEB保护行人免受车辆的碰撞，必须做什么？Cambou怀疑，OEM需要来自监管机构的或公众舆论的压力。

Flir显然正在针对AEB-P推销自己的热成像技术。该公司介绍了一种热成像仪，它能够“为RGB摄像头和雷达提供补充数据”。当热成像仪“看到”热量时，Chris Posch说：“我们可以在包括夜间等恶劣条件下，通过阳光、车灯的光线和雾来检测行人。”Flir声称，它在黑暗中能看到的距离是普通大灯的四倍。

同时，在CES上，巴黎的初创公司Prophesee展示了由一家未知的德国OEM制作的视频剪辑。它将使用常规基于帧的视觉摄像头的AEB系统与其他部署了Prophesee事件驱动摄像头进行了比较。视频显示，Prophesee的摄像头在发现行人方面得分更高。

首先，他指出：“OEM可以使用更多相同数据、更多相同计算，这是与Mobileye推出的EyeQ4、EyeQ5和东芝推出的Visconti 4、Visconti 5保持同步的一种方法。价格大约在150美元左右，我们等待着在摩尔定律下继续改善。”

其次，OEM可能会寻求“更好的数据，或多或少地使用相同的计算”。Cambou说，这种方法“是由Flir、Prophesee和固态激光雷达公司提倡的。”他说，“缺点是一开始可能要多花一些钱。但从营销的角度来看，这些人必须以当前的市场价格提供更好的系统。”

Cambou指出，第三种方法是“更好的数据和更好的计算”。他称其为“新范式”，是将新传感器与新的计算方式相结合。“我认为这是神经形态感知和计算的前景。一些公司已经在传感器和计算方面进行了创新……我在考虑Outsight，它将创新的高光谱激光雷达+感知算法推向了市场。”

在目前可用的解决方案中，热成像技术是有前途的。与常规的RGB摄像头相比，VSI Labs的Magney说：“热成像技术在对行人进行检测和分类方面要好得多，因为分类是基于对象的热信号而不是可见光。”

但热成像仪最常见问题是成本。如果OEM在车辆上添加热成像仪来实现有效的AEB-P，需要多少成本？Flir的Posch说：“价格将在数百美元左右，而不是数千美元。激光雷达就是这种情况。”

尽管宝马、奥迪和其他公司已经在某些车型中采用了Flir的热成像仪，但它们并不是为AEB-P部署的。相反，他们是为了在夜间进行诸如动物探测之类的事。对于AEB-P的应用，Flir开发了一种新的带VGA的热成像仪，分辨率是当前产品的四倍。

去年秋天，Veoneer选择了Flir的热传感技术，用于与一家顶级OEM签订的计划于2021年推出的L4车辆的生产合同中。

VSI Labs与Flir签订了合同，一直在进行概念验证，以证明热传感器对AEB的益处。VSI Labs于2019年12月在底特律附近的美国移动中心（ACM）进行了初步测试。

Magney说，VSI Labs的AEB-P测试模型使用了一个德尔福ESR雷达和Flir摄像头。“我们在这次测试中禁用了RGB。但我们确实必须融合来自CAN总线的其他传感器输入，例如惯性、轮速、转向角、踏板位置等。这是对AEB功能进行编程所必需的。”

除了声称作为被动传感器，没有什么能比热成像仪更好地检测到行人之外，Magney还提到了AI对热成像的影响。

他声称：“在VSI，我们证明了将AI应用于热图像捕获的性能要优于传统的RGB摄像头。”VSI实验室使用Flir ADK（汽车开发套件）数据集训练了其神经网络。他指出，该数据集包括约4万多个带标注的热图像。他解释说，VSI还建立了AEB算法，然后在ACM进行了许多测试。