基于视觉——语言模型的医学影像描述文献综述 

宋莲君 

天津财经大学珠江学院，天津，301811； 

摘要：医学图像辅助诊断是指使用计算机技术来分析医学成像数据,旨在从医学图像中提取有用的特征信息,以帮 助诊断疾病和评估治疗效果。自动理解医学图像是新型的人工智能的一个分支，结合了医学、计算机视觉和自然 语言处理领域相关知识。本篇文章将回顾医学影像描述的各种方法，将其分类为基于模板的方法、基于检索的方 法、基于生成的方法其中包括编码器-解码器模型和基于注意力机制的模型等。 

关键词：深度学习；计算机视觉；医学影像描述；自动图像字幕；报告生成 

参考文献

[1]朱翌，李秀，医学图像描述综述:编码、解码及最新进展[DOI：10.11834/jig.21102]

[2]Shin H C,Roberts K,Lu L, Demner-Fushman D, Yao J H and Summers R M. 2016 Learning to read chest X-rays: recurrent neural cascade model for automated image annotation

[3]Gale W, Oakden-Rayner L, Carneiro G, Palmer L J and Bradley A P. 2019. Producing radiologistquality reports for interpretable deep learning//The 16th IEEE International Symposium on Biomedical Imaging. Venice, Italy: IEEE: 1275-1279 ［DOI: 10.1109/ISBI.2019.8759236］

[4]Ayesha H, Iqbal S, Tariq M, et al (2021) Automatic medical image interpretation: state of the art and future directions. Pattern Recognition, p 107856

[5]Wang. X, Peng. Y, Lu. L, Tienet: text-image embedding network for common thorax disease classification and reporting in chest x-rays, in: Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition, 2018, p. 9049-9058.

[6] Zeng X, Wen L, Liu B et al (2020) Deep learning for ultrasound image caption generation based on object detection. Neurocomputing 392:132–141

[7]Li M, Wang F, Chang X, Liang X Auxiliary Signal-Guided Knowledge Encoder-Decoder for Medical Report Generation

[8]Chen W, Liu Y, Wang C, Zhu J, Li G, Lin G Cross-Modal Causal Intervention for Medical Report

Generation  

作者简介：宋莲君（1998年1-），女，汉，北京，天津财经大学珠江学院数据工程学院信息科学与技术系教师，医学影像处理。