简介
Kgateway 是一个面向 Kubernetes 的 Envoy 驱动网关，既可作为高性能 API 网关，也可作为 AI 网关，统一管理 LLM/推理后端与服务流量，支持自托管模型与多云后端。
主要特性
- 多后端与模型接入：集成 OpenAI、Azure、Vertex、Bedrock 及自托管推理后端。
- 云原生与可扩展：基于 Gateway API 与 Envoy，支持 Kubernetes 原生资源与 Helm 部署。
- 灵活路由与策略：支持函数级路由、认证、限流、header 变换与流量分层。
- 观测与运维：支持指标导出、日志与 OpenTelemetry 集成。
使用场景
- 作为企业级入口，将多种 LLM 服务统一管理并实施认证与审计。
- 在边缘或私有云中部署自托管推理，以满足合规与数据隐私需求。
- 将 Legacy 服务逐步迁移到云原生架构，混合部署与流量治理应用场景。
技术特点
- 使用 Go 与 Envoy 生态实现，兼容多语言后端与平台工具链。
- 支持 MCP（Model Context Protocol）与 Inference Extension，具备高可用与扩展能力。