vLLM

本地推理服务

使用 vLLM 在 Mac Mini M4 上构建高性能本地推理服务，兼容 OpenAI API，提升大语言模型的推理速度与吞吐量。

推理加速

深入剖析 vLLM 推理加速的工程原理，理解 KV Cache、PagedAttention、动态批处理等关键优化。

部署与性能优化

介绍 vLLM 在生产环境中的应用场景、优势以及实际案例。