Transformer Engine

简介

Transformer Engine 为 Transformer 模型提供优化内核、FP8/混合精度支持与易用的集成接口，可显著提升训练与推理性能。

主要特性

• 高性能内核与 FP8 支持。
• 多种后端与示例集成（PyTorch、JAX 等）。

使用场景

• 加速大规模 Transformer 训练与推理。

技术特点

• 针对 NVIDIA 平台的内核优化与示例集成。