近日，计算机学院硕导程科教授团队在行人重新识别(ReID)研究方向取得新进展，团队研究成果“MSCMNet: Multi-scale Semantic Correlation Mining for Visible-Infrared Person Re-Identification”被模式识别与人工智能领域国际顶级期刊《Pattern Recognition》接受，并在线发表。论文第一作者为2022级硕士研究生华雪成同学，程科教授为通讯作者，半岛手机网页版,半岛（中国）为第一完成单位，半岛手机网页版,半岛（中国）涂娟娟副教授，江苏大学陆虎副教授、河北工业大学王元全教授和江南大学王士同教授为论文共同作者。
行人重新识别(ReID) 是一种检索摄像机拍摄的行人图像中的人物的技术。随着公共安全的日益重视，全天候监控和检索系统在计算机视觉领域引起了极大关注。现有的 ReID 方法主要用于检索 RGB-RGB 图像之间的行人信息。但是现实环境是复杂多变的，除了白天外，大多数在线监控场合都在夜间和低光照条件下。为了解决这个问题，许多全天候监控系统都采用了红外 (IR) 摄像机来捕捉弱光环境下的场景。然而，红外光的较长波长和散射增加会导致可见图像中通常存在的颜色、纹理和细节信息的丢失。因此，由于跨模态差异很大，需要针对RGB和IR图像的不同特性设计一种用于可见光-红外行人检测的模型。
为了充分挖掘RGB-IR的模态信息，研究提出了基于深度学习的多尺度语义关联挖掘网络MSCMNet。通过设计多尺度信息关联挖掘块 (MIMB) 探索融合特征的隐含语义关联，并设计四流特征提取器 (QFE) 尽可能保留原始数据的不同的语义信息。最后提出了一种新颖的四中心三元组损失 (QCT) 来处理跨模态特征中的语义信息差异。大量SYSU-MM01、RegDB 和 LLCM 数据集上的实验表明他们提出的 MSCMNet 在 VI-RelD 任务中的表现优于目前其他最先进的方法。
《Pattern Recognition》被认为是模式识别与人工智能领域的顶级国际期刊之一，创刊于1968年。2023年该期刊的影响因子为8.0，属于中科院计算机科学SCI一区TOP期刊。中国自动化学会（CAA）则将其列为A类推荐期刊，中国计算机学会（CCF）评价该期刊为“国际重要期刊，具有重要的国际学术影响力”。
论文链接：https://doi.org/10.1016/j.patcog.2024.111090
（撰稿：涂娟娟 初审：程鹏 二审：程珉 终审：周春燕 编辑：程鹏）
