来源：3D视觉工坊

在公众号「3D视觉工坊」后台，回复「原论文」可获取论文pdf、代码链接

添加微信：dddvision，备注：3D目标检测，拉你入群。文末附行业细分群

1. 写在前面

今天为大家推荐一篇香港大学MARS实验室最新开源的工作，使用激光雷达实现了微秒级的运动事件检测，发表在Nature子刊Nature Communications上。

下面一起来膜拜一下这项神作~

2. 摘要

在动态环境中，机器人需要对具有微秒级延迟的运动事件进行瞬时检测。这个任务，称为移动事件检测，通常是使用事件相机来实现的。尽管激光雷达( Light Detection and Ranging，LiDAR )传感器因其密集和精确的深度测量而对机器人至关重要，但其在事件检测中的应用尚未得到深入探索。目前的方法涉及将LiDAR点积累到帧和检测物体级别的运动，导致了几十到几百毫秒的延迟。我们提出了一种不同的方法，称为M-detector，它确定一个点是否在到达后立即移动，从而导致一个延迟仅为几微秒的逐点检测。M-detector是基于遮挡原理设计的，可以在不同环境下使用多种类型的LiDAR传感器。我们的实验证明了M-detector在各种数据集和应用上的有效性，显示了其优越的准确性、计算效率、检测延迟和泛化能力。

3. 效果展示

M-detector对场景中的运动进行瞬时检测，即对突然穿过的行人进行检测。行人在0.01 s时从墙后冒出，在不检查路况的情况下迅速进入道路（a）。b：检测静止的行人开始运动。女士在十字路口等待，直到0.4 s，她抬起腿开始过马路。其余行人保持静止，未开始移动。在这两种情况下，第一行显示的都是图像序列，第二行显示了在Livox AVIA激光雷达上M-detector的最后100 ms的检测结果，该激光雷达具有非传统的非重复不规则扫描模式。M-detector在点到达后立即判断点是否在移动物体上，导致检测延迟小于LiDAR点采样间隔(几微秒)。M-detector基于第一性原理即遮挡原理设计，检测场景中任何运动部分采样的点，而不管其形状如何。

4. 具体原理是什么？

M-Detector与M-Cell的类比。M-detector以逐点检测的方式从LiDAR点流中检测移动事件，导致检测延迟仅为2 ~ 4 μs。M-detector的低潜伏期类似于人类视觉系统外侧膝状体核( LGN )中的巨细胞细胞( M-cells)，同样具有较快的响应时间，但分辨率较低。相比之下，将点累加到帧中会导致更高的分辨率，但也会导致更长的延迟(例如, 100毫秒)，这一现象类似于LGN中的小细胞性的细胞( P-cells )。

遮挡原理。a：当物体穿过激光雷达的激光射线时，当前点(蓝色点)将遮挡之前在Tk-1时刻采集到的点(橙色点)。b：当物体沿激光射线运动并远离传感器时，当前点(蓝色点)将被之前的所有点( (即Tk-1处的橙色点和Tk-i处的绿色点) )遮挡，然后被自己的(即Tk-1处的橙色点被Tk-i处的绿色点遮挡)进一步遮挡。当物体沿着激光射线向传感器方向移动时，当前点(蓝色点)将遮挡所有先前的点(即Tk-1处的橙色点和Tk-i处的绿色点)，并进一步遮挡自己的(即Tk-1处的橙色点包围Tk-i处的绿色点)。

M-detector的系统工作流程（a）和事件检测步骤（b）。

5. 和其他SOTA方法的对比

M-detector在不同数据集上的性能。a：不同方法在不同数据集上的IoU结果。b：M-detector、LMNet-8*和SMOS在KITTI上的比较。场景图像为序列15中的第68帧。c：AVIA-Indoor数据集细节。左列显示场景中拍摄的图像，右列显示M-detector在frame-out模式下对应的检测结果。在上述所有检测结果中，红色点代表该方法标记的事件点，白色点代表非事件点。

不同数据集上的时间消耗和检测延迟。a：不同方法在不同数据集上的每帧时间消耗。时间消耗以log尺度表示。b：M-detector在不同数据集上的时间消耗分解和检测延迟。外环代表时间消耗分解，包括事件检测、聚类和区域增长以及深度图像构建。圆环的总长度表示框架周期，由上述3个步骤以不同的颜色和相应的数字所占据。每个圆环的未着色部分表示每帧空闲时间。粉红色的中环扇区代表了M-detector在frame-out模式下的检测延迟，它是由事件检测和聚类与区域增长共同引起的。褐色内点表示M-detector在point-out模式的检测延迟，仅由单点的事件探测引起。环中心的单词和数字分别表示数据集的名称和对应的帧周期。

对更多实验结果和文章细节感兴趣的读者，可以阅读一下论文原文~

下载

在公众号「3D视觉工坊」后台，回复「 3dcv」,即可获取工业3D视觉、SLAM、自动驾驶、三维重建、事件相机、无人机等近千余篇最新顶会论文；巴塞罗那自治大学和慕尼黑工业大学3D视觉和视觉导航精品课件；相机标定、结构光、三维重建、SLAM，深度估计、模型部署、3D目标检测等学习资料。

3D视觉方向交流群成立啦

目前工坊已经建立了3D视觉方向多个社群，包括SLAM、工业3D视觉、自动驾驶、三维重建、无人机方向，细分群包括：

[工业3D视觉]相机标定、立体匹配、三维点云、结构光、机械臂抓取、缺陷检测、6D位姿估计、相位偏折术、Halcon、摄影测量、阵列相机、光度立体视觉等。

[SLAM]视觉SLAM、激光SLAM、语义SLAM、滤波算法、多传感器融合、多传感器标定、动态SLAM、MOT SLAM、NeRF SLAM、机器人导航等。

[自动驾驶]深度估计、Transformer、毫米波|激光雷达|视觉摄像头传感器、多传感器标定、多传感器融合、自动驾驶综合群等、3D目标检测、路径规划、轨迹预测、3D点云分割、模型部署、车道线检测、Occupancy、目标跟踪等。

[三维重建]NeRF、多视图几何、OpenMVS、MVSNet、colmap、纹理贴图等

[无人机]四旋翼建模、无人机飞控等

除了这些，还有求职、硬件选型、视觉产品落地、最新论文、3D视觉最新产品、3D视觉行业新闻等交流群

大家可以添加小助理微信：dddvisiona，备注：加群+方向+学校|公司, 小助理会拉你入群。