近日，我校机械与汽车工程学院张荣芸教授在《Knowledge-Based Systems》（中科院一区TOP，IF=7.6）上发表题为“LG–BiFusion: local and global bidirectional LiDAR–camera fusion for 3D object detection”的最新研究成果。安徽工程大学为论文第一完成单位，张荣芸教授为第一作者。
近年来，融合激光雷达（LiDAR）和相机输入的三维（3D）目标检测已成为一种新的研究趋势。然而，大多数主流方法仅对LiDAR和相机数据进行单向融合，未能充分利用两种模态的相互依存特性。同时，全局LiDAR体素特征与相机特征的融合往往缺乏细粒度的区域信息，导致检测结果欠佳。因此，本研究提出了一种局部-全局双向互补的LiDAR-相机融合3D目标检测模型。具体而言，该模型在全局层面上对LiDAR和相机模态进行双向融合。通过相机增强的LiDAR模块和LiDAR增强的相机模块，分别获取具有丰富语义信息的体素特征和具有增强空间感知能力的相机特征。随后，利用3D热值响应对前景点和相机特征进行局部融合，从而获得细粒度的局部前景特征。最后，自适应特征聚合模块动态选择三个改进后的特征用于目标检测。我们在nuScenes和KITTI数据集上进行了大量实验。与经典的多模态融合模型BEVFusion相比，本文提出的LG-BiFusion在nuScenes数据集上的平均精度均值（mAP）提高了3.6%，NDS提高了3.2%；在KITTI数据集上，LG-BiFusion在汽车类别中的mAP比多模态模型EPNet++提高了2.01%。这些实验证明了所提出模型的有效性。
该研究提出了一种局部到全局的相机和激光雷达双向融合三维目标检测网络。该网络在全局层面实现相机和激光雷达数据的双向互补融合，通过局部融合提供细粒度信息，最终通过自适应特征聚合完成目标检测任务。nuScenes 和 KITTI 数据集上进行的大量实验表明，所提出的 LG-BiFusion 方法取得了优异的性能。
LG–BiFusion网络架构示意图
论文原文链接：https://doi.org/10.1016/j.knosys.2026.115827