点击蓝字关注我们关注并星标从此不迷路计算机视觉研究院公众号ID计算机视觉研究院学习群扫码在主页获取加入方式https://pmc.ncbi.nlm.nih.gov/articles/PMC12469223/pdf/pone.0332709.pdf计算机视觉研究院专栏Column of Computer Vision Institute本文提出UMOT—— 长短时关联统一框架在 DanceTrack、MOT17 数据集上实现 SOTA 级性能大幅提升遮挡场景下的身份保持与轨迹连续性。PART/1痛点现有跟踪方法的两大瓶颈检测与跟踪任务优化冲突纯 Transformer 端到端模型检测漏检、误检率高预检测引导模型仍存在梯度干扰短时序建模有余、长时序恢复不足。长时依赖建模缺失仅依赖相邻帧局部信息缺乏多帧历史上下文感知无长时丢失目标恢复机制遮挡后易出现 ID 跳变、轨迹断裂。PART/2核心创新核心创新长短时双模块协同设计UMOT 构建短时序关联 长时序关联双模块端到端联合优化兼顾邻帧精准匹配与跨帧轨迹找回。1. 短时序关联模块邻帧精准预测耦合YOLOX 预训练检测器MOTR-ConvNeXt网络用 ConvNeXt 替代 ResNet7×7 大感受域捕捉遮挡目标上下文分层特征提升定位精度动态更新跟踪查询与检测查询精准建模邻帧运动与外观变化。MOTR-ConvNext 结构2. 长时序关联模块丢失目标找回该模块是 UMOT 的核心突破由TQMM 记忆模块Hb 历史回溯模块组成。Track Query Memory ModuleTQMM存储多帧轨迹特征通过TEM 时空增强EMA 指数滑动平均平滑更新历史信息用滑动窗口清理过期轨迹。TQMM 模块结构Historical backtracking ModuleHb对短时序未匹配检测与记忆库中丢失轨迹做跨帧全局关联找回长时遮挡 / 消失目标减少 ID 切换。历史回溯模块结构3. 统一损失函数长短时联合优化总损失加权融合短时序分类、回归损失与长时序关联损失平衡检测精度与身份一致性。PART/3实验实验验证SOTA 性能遮挡场景碾压竞品团队在DanceTrack高密相似外观、MOT17常规行人两大基准测试结果亮眼。1. DanceTrack 数据集ID 保持能力大幅提升DanceTrack 数据集对比结果IDF1 较 MOTRv2 提升2.1%较 MOTRv3 提升1.5%AssA 关联精度达60.1%长时轨迹更稳定。2. MOT17 数据集ID 切换数直降 33%MOT17 数据集对比结果HOTA 较 MOTRv2 提升0.9%较 MOTRv3 提升2.7%IDS 身份切换数仅1807较 MOTRv3 减少 33%。3. 不同密度场景越拥挤越强势不同目标密度下性能对比目标数 15 的超高密场景IDF1 达67.3%远超 MOTR、MOTRv2密度越高UMOT 长时记忆优势越明显。4. 消融实验模块缺一不可DanceTrack 验证集组件消融仅加 ConvNeXtHOTA2.2TQMMHbHOTA8.4IDS 减半三模块协同HOTA 达70.7IDF175.2最优平衡。PART/4效果可视化效果可视化彻底解决重复跟踪与 ID 跳变1. 消除重复跟踪Duplicate竞品同一目标被分配多个 ID轨迹冗余UMOT记忆库清理 EMA 平滑杜绝重复 ID。重复跟踪对比2. 根治 ID 切换ID Switch竞品遮挡重现后 ID 彻底跳变UMOT跨帧回溯找回原 ID全程身份稳定。ID 切换对比PART/5总结与展望推理速度9.0 FPSTesla V100在 Transformer 类跟踪器中处于优秀水平模型规模114.6M 参数兼顾性能与工程可行性。未来方向轻量化主干、模块剪枝、内存压缩向边缘设备部署迈进。总结UMOT 通过短时序精准匹配 长时序记忆找回从根本上解决复杂遮挡、外观相似场景的跟踪失效问题在 DanceTrack、MOT17 上实现全面领先为安防、自动驾驶、行为分析等场景提供更鲁棒的多目标跟踪方案。有相关需求的你可以联系我们END转载请联系本公众号获得授权计算机视觉研究院学习群等你加入ABOUT计算机视觉研究院计算机视觉研究院主要涉及深度学习领域主要致力于目标检测、目标跟踪、图像分割、OCR、模型量化、模型部署等研究方向。研究院每日分享最新的论文算法新框架提供论文一键下载并分享实战项目。研究院主要着重”技术研究“和“实践落地”。研究院会针对不同领域分享实践过程让大家真正体会摆脱理论的真实场景培养爱动手编程爱动脑思考的习惯往期推荐YOLO-TLA一种基于 YOLOv5 的高效轻量级小目标检测模型ViT-YOLO基于Transformer的用于目标检测的YOLO算法SSMA-YOLO一种轻量级的 YOLO 模型具备增强的特征提取与融合能力适用于无人机航拍的船舶图像检测LUD-YOLO一种用于无人机的新型轻量级目标检测网络Gold-YOLO基于聚合与分配机制的高效目标检测器Drone-YOLO一种有效的无人机图像目标检测「无人机AI」“空中城管”无人机AI光伏巡检自动化解决方案无人机视角下多类别船舶检测及数量统计机场项目解决飞行物空间大小/纵横比、速度、遮挡等问题引起的实时目标检测问题2PCNet昼夜无监督域自适应目标检测附原代码YOLO-S小目标检测的轻量级、精确的类YOLO网络大改Yolo框架 | 能源消耗极低的目标检测新框架附论文下载改进的检测算法用于高分辨率光学遥感图像目标检测