详细介绍
MedRAX 是一款面向胸部 X 光(CXR)的医学推理智能体,提出于 ICML 2025,旨在将多模态大语言模型与一组专业影像分析工具无缝整合。项目整合了视觉问答(CheXagent、LLaVA-Med)、分割(MedSAM)、定位(Maira-2)、报告生成(SwinV2)与疾病分类(DenseNet-121)等模块,能够在无需额外训练的情况下动态调用这些工具以回答复杂的临床问题。
主要特性
MedRAX 的亮点包括:模块化的工具编排与 LangChain/LangGraph 架构支持;支持本地与云端部署并提供 Gradio 界面;内置针对 CXR 的评估基准 ChestAgentBench(2,500 条复杂问答)用于系统性评测;对权重自动下载与 8-bit/4-bit 量化友好以降低计算资源需求。
使用场景
适用于医学影像研究与临床辅助分析场景,例如自动化胸片报告生成、复杂影像问答与多步临床推理的验证平台、模型对比评估以及作为医院研究团队进行算法开发与基准测试的工具链。项目同时支持选择性初始化工具,以适配资源受限环境。
技术特点
技术上,MedRAX 以 LangChain 为基础实现代理式工具调用,结合多模态 LLM(论文中以 GPT-4o 为示例)和若干专用视觉模型,采用模块化、工具无关的设计便于扩展新能力。项目采用 Apache-2.0 许可并提供完善的安装与示例脚本,便于复现与评估。