用AI技术全面解读心脏超声检查

超声心动图是应用最广泛的心脏影像检查方式，通过捕捉超声视频数据来评估心脏结构和功能1。超声心动图领域的人工智能（AI）有望简化人工操作，提高可重复性和准确性2。然而，大多数超声心动图AI模型是单视角、单任务系统，无法整合完整检查中多个视角捕捉到的互补信息3,4，因此性能和应用范围有限。为解决这一问题，我们提出EchoPrime——一种多视角、视角感知的视频视觉-语言基础模型，该模型基于超过1200万对视频-报告数据进行训练。EchoPrime采用对比学习，为全面超声心动图检查中的所有标准视角训练统一嵌入模型，能表征常见和罕见疾病及诊断。随后，EchoPrime利用视角分类和视角感知解剖注意力模块，对视频特定嵌入进行加权，准确映射超声心动图视角与解剖结构的关系。通过检索增强型解读，EchoPrime整合全面检查中所有超声心动图视频的信息，进行整体临床解读。在来自五个国际独立医疗系统的数据集上，EchoPrime在23项不同的心脏形态和功能基准测试中均达到最先进性能，超越了特定任务方法和先前基础模型的表现。经过严格临床评估，EchoPrime可辅助医生完成全面超声心动图的自动化初步评估。