传感器融合是自动驾驶汽车的关键技术之一。这是自动驾驶汽车工程师都必须具备的技能。原因很简单：感知无处不在，无时无刻不在使用。自动驾驶汽车通过4个关键技

传感器融合是自动驾驶汽车的关键技术之一。这是自动驾驶汽车工程师都必须具备的技能。原因很简单：感知无处不在，无时无刻不在使用。

传感器融合是感知模块的一部分。我们希望融合来自视觉传感器的数据，以增加冗余、确定性或利用多个传感器的优势。传感器数据和融合

在感知步骤中，使用激光雷达、雷达和摄像头的组合来理解环境是很常见的。这3个传感器各有优缺点，使用它们可以帮助您拥有所有优点。

相机是一种众所周知的传感器，用于输出边界框、车道线位置、交通灯颜色、交通标志和许多其他东西。在任何自动驾驶汽车中，摄像头从来都不是问题。

激光雷达代表光检测和测距。它是一个3D传感器，输出一组点云；每个都有一个(X,Y,Z)坐标。可以在3D数据上执行许多应用：包括运行机器学习模型和神经网络。下面是一个输出示例。

最简单和最常见的方法是将点云(3D)投影到2D图像上。然后检查点云和相机检测到的2D边界框的重合度。

下一部分是用相机检测物体。这部分不过多描述，像YOLOv4这样的算法可以执行对象检测。有关它的更多信息，可以阅读YOLOv4研究评论。3.ROI匹配

这个过程要困难得多，尤其是在使用单目相机时。在3D中寻找障碍物需要我们准确地知道我们的投影值（内在和外在校准）并使用深度学习。如果我们想获得正确的边界框，了解车辆的大小和方向也至关重要。本文是关于融合的文章，不介绍检测部分。可以查看文章。最后，关注一下匹配。Heres an example coming from the paper 3D Iou-Net (2020) .

匹配背后的过程非常简单：如果来自摄像头和激光雷达的边界框在2D或3D中重叠，我们认为障碍是相同的。

此过程在文章中归类为中级别传感器融合。中级传感器融合和高级传感器融合的区别在于高级传感器的融合包括跟踪。要添加时间跟踪，我们需要一个称为时间关联的类似过程。时间上的IOU匹配

课程中，讲了一种使用卡尔曼滤波器和匈牙利算法从帧到帧在时间上关联对象的技术。结果使我们能够在帧之间跟踪对象，甚至预测它们的下一个位置。

IOU匹配的原理完全一样：如果从第一帧到第二帧的边界框重叠，我们认为这个障碍物是相同的。此处，我们跟踪边界框位置并使用IOU（Intersection Over Union）作为指标。我们还可以使用深度卷积特征来确保边界框中的对象是相同的–我们将此过程称为SORT（简单在线实时跟踪），如果使用卷积特征，则称为深度SORT。由于我们可以在空间和时间中跟踪对象，因此我们还可以在这种方法中使用完全相同的算法进行高级传感器融合。总结

汽车测试网-创办于2008年，报道汽车测试技术与产品、趋势、动态等 联系邮箱 marketing#auto-testing.net (把#改成@)