简介
Seldon Core 是一个面向生产环境的 MLOps 与 LLMOps 平台，可将训练好的模型（TensorFlow、PyTorch、Scikit-learn 等）或语言包装器打包为 Kubernetes 上的微服务，支持大规模模型部署与管理。它提供了实验、路由、可观测性和扩展能力，适用于跨云和本地环境的生产推理场景。
主要特性
- 支持多种模型类型与语言包装器（Python、Java、R 等）。
- 预打包的高性能推理服务器与自定义服务器选项，支持 REST/GRPC 接口。
- 丰富的观测与分析集成（Prometheus、Grafana、Jaeger、ELK），支持请求日志和分布式追踪。
- 支持可组合的推理图（predictors、transformers、routers 等），以及 A/B 测试、Canary 与实验功能。
使用场景
- 将训练好的模型部署到 Kubernetes 集群并对外提供稳定的推理服务。
- 在 MLOps 流水线中实现流量路由、模型比较实验与灰度发布策略。
- 集成监控与可解释性工具以支持模型监控、告警与故障定位。
技术特点
- 基于 Kubernetes，支持 Helm 部署与 Kustomize。
- 支持多模型共存（multi-model serving）与资源 overcommit 策略以节约成本。
- 提供 Python 客户端与 CLI，便于自动化部署与测试。
- 文档完善且社区活跃，支持 Core v2 特性与企业付费方案。