简介
Meta Lingua（lingua）是 Facebook Research 开发的轻量级 LLM 训练与推理库，旨在为研究人员提供可快速修改的 PyTorch 组件，以便尝试新架构、损失与数据处理管线，同时关注速度与稳定性分析。
主要特性
- 端到端训练与推理：内置训练、评估与导出工具，包含示例配置与启动脚本。
- 分布式与 SLURM 支持：提供方便的
stool工具与 SLURM 工作流集成，支持多 GPU 并行训练。 - 可扩展组件：模块化的 transformer、优化器、数据加载与检查点管理，便于研究扩展。
- 性能与剖析工具：内置 profiling 支持 MFU/HFU 统计与内存追踪。
使用场景
- LLM 研究原型：快速搭建实验并比较不同架构的可扩展性与性能。
- 小规模训练：在少量 GPU 上对新想法进行迭代验证。
- 教学与示例：作为可解释且简洁的代码基准用于教学与研究复现。
技术特点
- 基于 PyTorch 的纯实现，便于阅读与修改。
- 使用 dataclass 配置与 CLI 参数覆盖，方便实验配置与复现。
- 提供详细文档、示例脚本与引用信息，便于学术引用与工程对接。