简介
LitGPT 是一个由 Lightning AI 维护的高性能 LLM 工具链，收录 20+ 个从零实现的模型，并提供预训练、微调与部署的标准化配方与工作流，面向研究与工程生产环境。
主要特性
- 端到端训练/微调/部署配方（YAML configs）。
- 支持 Flash Attention、FSDP、LoRA/QLoRA、量化等高效训练与推理技术。
- 面向多卡/TPU/低显存场景的优化与示例。
使用场景
- 研究者与工程师快速复现论文实现并进行大规模训练实验。
- 在企业/生产环境中进行模型微调与部署，节省成本并提高吞吐。
- 教学与示例项目：快速上手 LLM 的训练与评估流程。
技术特点
- 以 Python 为主的单文件/轻量实现，便于调试与定制。
- 丰富的训练配方（config_hub）与教程，覆盖 pretrain/finetune/evaluate/deploy。
- Apache-2.0 许可证，社区活跃，适合企业级使用。