简介
EPLB 是一个面向专家并行场景的负载均衡器，负责在训练过程中动态分发专家请求与计算负载，从而提升训练资源的利用率并减少热点节点压力。它帮助在不均衡负载下维持更稳定的吞吐。
主要特性
- 动态负载分配策略以缓解专家并行中常见的负载不平衡问题。
- 轻量级 Python 实现，便于快速集成与试验。
- 可与现有专家并行训练框架配合使用，提供性能基线与调优手段。
使用场景
- 专家并行训练中出现负载热点或不均衡时的负载调度与均衡。
- 多机多卡训练集群中提升整体吞吐与减少单点瓶颈的场景。
- 研究与工程团队在评估不同负载均衡策略时的实验平台。
技术特点
- 基于策略的动态调度，支持可配置的负载分配策略。
- 使用 Python 实现，便于在训练管线中快速迭代与集成。
- 注重运行时轻量化与低开销，以避免因负载调度本身带来显著性能开销。