简介
ZML 是一个面向生产的高性能推理与编译栈，使用 Zig、MLIR 与 Bazel 构建，旨在在多种硬件（NVIDIA、AMD、TPU 等）上高效运行模型并支持跨平台部署与优化。项目提供丰富的示例、文档与工具链，便于在研究与工程中集成。
主要特性
- 高性能运行时：为多种加速器（CUDA、ROCm、TPU 等）提供支持与优化。
- 可移植构建：基于 Bazel 的构建系统，支持交叉编译与多平台部署。
- 丰富示例与工具：包含示例模型、测试套件与运行时工具，便于快速上手与验证性能。
使用场景
- 在生产环境中部署高吞吐量的推理服务和定制模型运行时。
- 在异构硬件集群上进行模型编译与性能基准测试。
- 用于研究高性能推理技术与跨设备协同推理实验。
技术特点
- 使用 Zig 语言实现核心组件以获得低开销与可移植性。
- 集成 MLIR/OPENXLA 工具链以支持编译优化与多后端目标。
- 通过 Bazel 管理依赖与构建流程，提供可重复的构建环境。