多模态知识通过偏好优化转移至大语言模型: MINT框架在生物医学中的应用

摘要

Wang等人提出MINT框架，通过偏好优化将多模态生物医学模型的知识转移至单模态大语言模型（LLM）。该框架应用于罕见病预测和组织类型分类，在提升任务性能的同时保持通用推理能力，为将稀缺的多模态生物医学知识扩展至更灵活的基础模型提供了实用策略。