近日，“社会计算与认知智能”教育部重点实验室魏小鹏教授、尹宝才教授、杨鑫教授的关于基于事件相机的目标跟踪方法、融合事件数据和RGB数据多模态协同的目标跟踪方法、强化学习多样性以及RGB-P图像中检测场景中的汽车目标等的4项研究成果陆续被图像处理领域国际A类期刊（TIP）、人工智能国际A类期刊（IJCV）、机器人领域国际顶级会议（ICRA 2024）、国际人工智能与机器学习领域A类会议（AAAI 2024）接收。
TIP (IEEE Transactions on Image Processing)是图像处理领域国际公认的顶级期刊,也是中国计算机学会推荐的A类学术期刊,其最新影响因子为11.041。
IJCV（International Journal of Computer Vision）与IEEE TPAMI、JMLR、AI是中国计算机学会（CCF）推荐的人工智能领域的4个A类顶级期刊，其影响因子13.369。
ICRA（IEEE International Conference on Robotics and Automation）是IEEE机器人与自动化学会的顶级会议，是业内公认的机器人领域国际顶级会议，该会议将于今年的5月13日-17日在日本横滨举办。
AAAI（American Association for Artificial Intelligence）是人工智能领域历史最悠久、最具影响力的学术会议之一，2024年的第38届AAAI年度会议是国际人工智能、机器学习领域的顶级会议，涵盖了机器学习、自然语言处理、计算机视觉等多个领域。人工智能领域中，被中国计算机学会（CCF）认定为人工智能领域A类会议。
研究成果1：硕士生傅应锴作为第一作者与博士生王源琛、张吉庆等人共同完成的研究成果“Distractor-aware event-based tracking”致力于提高面向事件相机的目标跟踪的准确性。现有面向事件相机的跟踪方法过分依赖于传统跟踪器中的视觉特征提取机制，导致在处理移动相机或杂乱的前景时鲁棒性较差。本成果创新地利用运动线索和对象轮廓特征来识别和跟踪目标对象，有助于提高复杂场景对目标的辨别能力。该方法由两个子网络组成，运动感知网络基于Transformer提取场景动态信息，而目标感知网络则将当前帧和搜索帧相关联以消除干扰。实验证明本文提出的新方法在准确性和效率方面都展现了优越的性能，可以在单个 V100 上以超过 80 FPS 的速度运行。该研究除了其学术价值外，还有助于推动诸如无人驾驶、机器人导航和视频监控等方面的应用。
本方法与其他方法结果进行对比
研究成果2：博士生张吉庆作为第一作者与博士生王源琛、硕士生傅应锴等人共同完成的研究成果“A Universal Event-Based Plug-In Module for Visual Object Tracking in Degraded Conditions”致力于解决融合事件数据和RGB数据多模态协同目标跟踪问题。事件域和RGB域的结合可以提高有挑战性场景下目标跟踪的鲁棒性和泛化性。本成果考虑到事件数据的异步性和离散性，创新地提出了一种基于改进LSTM的事件特征提取器，通过增强交互和区分不同时刻状态之间的变化来捕获事件数据中的运动线索和时空特征。同时，设计了一种基于跨域注意力的融合模块，通过平衡两个域的贡献来自适应地融合两个域的优势。值的注意的是，本成果提出模块作为即插即用模块可以轻松应用于现成的基于RGB的跟踪器中，大幅度提升目标跟踪在低光照、高动态范围和快速运动等困难场景下的准确率和成功率。此项研究成果具有广泛的应用价值，所提出的融合目标跟踪方法有助于在推动目标跟踪技术在军事和民用方面的使用, 尤其是在具有挑战、困难的场景下，例如无人飞行器、战场监视、智能视频监控、智能交通系统等。
事件特征提取模型概览
研究成果3：硕士生蒋竟成作为第一作者与硕士生付裕、姜传璐等人共同完成的研究成果“Phasic Diversity Optimization for Population-Based Reinforcement Learning”致力于解决强化学习多样性中奖励和多样性之间的平衡问题。以往的多样性强化学习工作，多样性通常是通过增广损失函数获得的。本成果考虑到分集优化算法一般采用Multi-armed Bandits算法在预定义空间中选择系数，创新地提出了相位多样性优化(PDO)算法，这是一种基于种群的训练框架，它将奖励和多样性训练分离到不同的阶段，而不是优化多目标函数。同时，在辅助阶段，性能较差的代理通过决定因素进行多样化，不会取代档案中较好的代理。奖励和多样性的解耦使我们能够在不降低性能的情况下在辅助阶段使用积极的多样性优化。值的注意的是，本成果构建了一个空中智能体的缠斗场景来证明PDO算法的实用性。介绍了PDO存档的两种实现，并在新提出的对抗性缠斗和MuJoCo模拟中进行了测试。结果表明，该算法的性能优于基线算法。此项研究成果具有广泛的应用价值，所提出的基于群体的强化学习的相位多样性优化方法有助于在推动强化学习多样性在军事和民用方面的使用, 尤其是在具有挑战、需要其具有多样化行为的场景下，例如无人飞行器、战场态势、智能避障、智能交通系统等。
本方法与其他方法结果进行对比
研究成果4：博士生董文作为第一作者与博士生梅海洋、硕士生金傲等人共同完成的研究成果“Exploiting Polarized Material Cues for Robust Car Detection”是团队在复杂场景多模态感知理解系列研究工作的基础上，进一步开展的一项针对光照和能见度退化条件下的目标检测计算技术的研究，即从RGB-P图像中检测场景中的汽车。现有的汽车检测方法大多只考虑了RGB彩色信息，在实际交通环境下无法满足实际应用的精度需求。本成果首次引入了多光谱偏振信息来帮助提升汽车检测的准确性和鲁棒性，设计的基于RGB信息和多光谱偏振信息融合的深度神经网络能够准确检测出环境中的车辆。此项研究成果具有一定的借鉴意义，所提出的汽车检测方法能够克服光照不足和能见度差的环境退化条件所导致的汽车检测准确性降低，因此这项工作的方法可以广泛应用在交通监测与辅助驾驶等应用场景，为其智能决策提供可靠的保障。本论文以较高的评审分数被计算机视觉顶会AAAI 2024录用。
利用多光谱偏振信息有效提高汽车检测准确性
RGB-偏振信息融合网络
详细工作请参见主页：http://faculty.dlut.edu.cn/yangxin/zh_CN/index.htm和https://xinyangdut.github.io/
[1] Distractor-aware event-based tracking. IEEE Transactions on Image Processing (TIP) 2023.
[2] A Universal Event-Based Plug-In Module for Visual Object Tracking in Degraded Conditions. International Journal of Computer Vision (IJCV) 2023.
[3] IEEE International Conference on Robotics and Automation (ICRA) 2024.
[4] American Association for Artificial Intelligence (AAAI)2024.
