简介
Checkpoint Engine 是一个轻量级的中间件，用于在大规模 LLM 推理集群中高效地就地更新模型权重，支持广播（Broadcast）和点对点（P2P）两种更新方式，可显著缩短跨节点模型权重同步时间。
主要特性
- 支持高效的权重广播与 P2P 更新，适配不同拓扑的推理集群。
- 管线化的数据传输，减少拷贝与等待，提升整体吞吐。
- 与 vLLM 等推理引擎兼容，并提供示例脚本与安装包（PyPI）。
使用场景
- 大规模分布式推理时快速同步训练/微调后的新权重。
- 多实例上线/下线场景下的权重迁移与恢复。
- 在需要低延迟权重更新以支持在线训练或 RLHF 工作流的系统中。
技术特点
- 采用三阶段传输（H2D -> broadcast -> reload）以优化内存与带宽利用。
- 提供广播与 P2P 两种实现以兼顾性能与灵活性，支持 RDMA 等高速互联。
- 以 Python 实现并发布到 PyPI，易于集成与部署。