面向大语言模型的医学图像语义挖掘跨模态哈希

来源：电子与信息学报杂志2026年第3期北京时间：

作者：刘青海, 吴钱林, 罗佳, 唐伦, 徐黎明

单位：1.重庆邮电大学通信与信息工程学院 重庆 4000652.重庆邮电大学网络空间安全与信息法学院 重庆 4000653.四川省人工智能研究院 宜宾 644005

摘要：针对医学图像与文本深层语义关系建模不足的挑战，该文提出基于大语言模型(LLM)驱动的医学图像语义挖掘哈希方法。首先，联合大语言模型的语义泛化能力，设计了图像描述型、诊断报告总结型和联合模态推理型提示模板进行模态数据增强，从而实现了对医学图像和诊断报告数据的深层次语义挖掘。其次，设计了结构化编码层，以确保图像和文本的特征能够在统一的嵌入空间内进行精确匹配。然后，设计了提示指令模板，采用软提示和硬提示相结合的方式微调大语言模型，实现图像和文本特征的对齐。最后，引入高斯2元受限玻尔兹曼机进行概率化哈希映射，有效保留数据结构信息。实验验证，该方法与最近的经典跨模态哈希检索方法相比，在两个数据集上平均检索精度分别提升7.21%和7.72%。

关键词：跨模态检索, 哈希编码, 大语言模型, 语义对齐, 数据增强

基金资助：国家自然科学基金(62071078)，重庆市教委科学技术研究项目(KJQN202400643)，四川省科技计划(2021YFQ0053)