近日，重庆交通大学信息科学与工程学院杨建喜教授团队的最新研究成果“A multimodal link prediction approach for bridge maintenance via spatiotemporal feature fusion and cross-modal contrastive interaction”在计算机科学学科高水平SCI期刊《Computers in Industry》（中科院一区TOP，JCR一区，影响因子9.1）正式发表。团队博士生杨小霞为该论文第一作者，杨建喜教授、李韧教授为共同通讯作者，参研人员还包括蒋仕新副教授和博士生李昊、肖桥。

该论文创新性地将多模态数据驱动的桥梁缺陷诊断与养护决策归结为领域知识图谱链接预测问题，并提出一种联合时空特征融合与跨模态对比交互的多模态链接预测方法。首先，论文构建了一个面向桥梁管养领域的多模态知识图谱BM3KG。然后，论文提出了结合深度优先搜索DFS与关系图注意力网络RGAT的多模态信息编码策略。其次，论文提出的模型通过对比语言-图像预训练模型CLIP实现跨模态联合嵌入，融合图像与文本中的时空语义信息，并引入虚拟嵌入机制以处理个别图像模态缺失问题。论文还采用时空图注意力网络ST-GAT对文本描述和图像所蕴含的时间与空间特征进行联合建模。通过渐进式跨模态对比交互策略，模型在保持模态内特征表达能力的同时增强模态间语义对齐，从而提升实体-关系链接预测性能。研究结果表明，论文提出方法在桥梁养护决策多模态链接预测任务中表现出显著的性能优势，能够为桥梁缺陷诊断与养护决策提供细粒度的多模态知识推理支持。

近年来，杨建喜教授团队持续推进“AI+桥梁智能管养”等方面的技术攻关与应用，在面向桥梁工程领域复杂场景的结构表观病害识别、领域知识智能问答、BIM模型智能合规性审查、领域多模态大模型及多智能体关键技术等方面开展了一系列研究和应用，为学校计算机科学学科进入ESI前1%提供了有效支撑。