自愿驾驶感知模块中传感器调和仍然成为了标配，只是这里调和的主意有分歧，可能是硬件层（如禾赛，Innovusion的产物），也可能是数据层（这里的磋商规模），还可

自愿驾驶感知模块中传感器调和仍然成为了标配，只是这里调和的主意有分歧，可能是硬件层（如禾赛，Innovusion的产物），也可能是数据层（这里的磋商规模），还可能是职司层像困苦物检测（obstacle detection），车道线检测（lane detection），破裂（segmentation）和跟踪（tracking）以及车辆自己定位（localization）等。

有些传感器之间很难正在底层调和，譬喻摄像头或者激光雷达和毫米波雷达之间，由于毫米波雷达的方针区分率很低（无法确定方针巨细和轮廓），但可能正在高层上研究调和，譬喻方针速率推测，跟踪的轨迹等等。

这里首要先容一下激光雷达和摄像头的数据调和，本质是激光雷达点云投影正在摄像头图像平面造成的深度和图像推测的深度实行连系，表面上可能将图像推测的深度反投到3-D空间造成点云和激光雷达的点云调和，但很少人用。情由是，深度图的差错正在3-D空间会放大，其它是3-D空间的点云阐明方法不如图像的深度图成熟，到底2.5-D照样筹议的史籍长，譬喻以前的RGB-D传感器，Kinect或者RealSense。

这种调和的思绪卓殊鲜明：一边儿图像传感器本钱低，区分率高（可能轻松到达2K-4K）；另一边儿激光雷完成本高，区分率低，深度探测隔断短。然而，激光雷达点云测距正确度卓殊高，测距远广大于那些Infrared/TOF depth sensor，对室外处境的抗骚扰技能也强，同时图像举动被动视觉体例的首要传感器，深度推测精度差，更烦杂的是不变性和鲁棒性差。是以，能不行把激光雷达的零落深度数据和致密的图像深度数据连系，造成互补？

其它，零落的深度图奈何upsample变得致密，这也是一个仍然实行的筹议问题，好像image-based depth upsampling之类的任务。再有，激光雷达取得的点云投到摄像头的图像平面会觉察，有少许不反射激光的物体外貌酿成“黑洞”，再有远隔断的街道或者天空区域根本上是没少睹据显示，如许就牵扯到另一个筹议问题，image-based depth inpainting / completion。

管理这个题目的条件是，激光雷达和摄像头的标定和同步是完结的，是以激光雷达的点云可能校准投影到摄像头的图像平面，造成相对零落的深度图。

汽车测试网-开办于2008年，报道汽车测试身手与产物、趋向、动态等 合系邮箱 marketing#auto-testing.net (把#改成@)