多模态大模型在医疗辅助诊断中的应用验证
谢玖辰

山东建筑大学计算机科学与技术学院，山东济南，250101；

摘要：近年来，多模态大模型（Multimodal Large Models, MLMs）凭借其融合文本、图像、语音、时序信号等多源异构数据的能力，在人工智能领域取得突破性进展。本文聚焦于MLMs在医疗辅助诊断中的实际应用验证，提出“临床对齐驱动的多模态融合机制”新观点，强调模型输出需与临床诊疗路径深度耦合，而非仅追求算法精度。通过在放射影像、电子病历、病理切片及可穿戴设备数据等典型场景中开展实证研究，系统评估MLMs在疾病筛查、鉴别诊断与风险预测中的效能。研究发现，引入临床知识图谱引导的注意力机制可显著提升模型的可解释性与泛化能力。同时，本文构建了一套面向真实医疗环境的验证框架，涵盖数据合规性、临床效用评估与人机协同效率三大维度，为MLMs从实验室走向临床落地提供科学依据与实践路径。

关键词：多模态大模型；医疗辅助诊断；临床对齐；可解释性

参考文献

[1]冉林,谷新,姜方清,等.多模态医学影像融合与人工智能技术在宫颈癌AI辅助诊断中的应用效果观察[J].影像科学与光化学,2025(6).

[2]托静美,司晓娟,宋和琴.AI辅助多模态超声联合血清促甲状腺激素对甲状腺结节定性的诊断效能[J].中华全科医学,2024,22(10):1737-1741.DOI:10.16766/j.cnki.issn.1674-4152.003723.

[3]许万星,王琳,郭巧梅,等.多模态肺结节诊断模型的临床验证及应用价值探索[J].上海交通大学学报（医学版）,2024,44(8):1030-1036.