冻结模型、进化专长: 面向多模态医疗AI的模型无关部署经验学习

摘要

大语言模型与视觉语言模型部署后常被冻结，不学习已处理病例；医学领域尤需关注，新证据、指南和疗法会改变实践。微调需权重和额外训练；无参数方法易过拟合固定验证集、缺可靠领域知识或丢失视觉细节。为此，提出模型无关框架，冻结模型通过三类外部专长学习部署经验：指导推理与工具使用的技能、存储可信事实的知识记忆、保留视觉示例并关联检索病例与图像的多模态知识库。仅保留不损害旧病例且助益新病例的更新。六个基准上，用四个基础模型，在线部署时于医学任务上比基础模型提升最高34.2%，可泛化到未见病例、迁移到其他模型，并在非医学领域有效。