简介
《LLMs from Scratch》是配套代码仓库，目标是通过逐步实现从数据处理、模型构建到训练与微调的完整流程，帮助读者理解大型语言模型的内部工作原理与实现要点。该项目以教育为主，强调可读性与可复现性。
主要特性
- 完整章节代码实现，覆盖 GPT 类模型的各个模块。
- 支持在常见笔记本与 GPU 环境上运行的示例与训练脚本。
- 含练习与附录，便于学习与实验。
使用场景
- 学习 LLM 原理与实现细节的教学资料与练习平台。
- 用作模型构建、微调流程的参考实现与研究原型。
技术特点
- 以 PyTorch 为主实现，注重数值稳定性与工程实践细节。
- 提供预训练、微调、生成等完整示例，包含性能与工程优化建议。