我们不再问“Kubernetes 能不能跑 AI”，而是开始问：AI 跑起来之后，谁来管它，谁来为它负责。
最近我的日程几乎被技术大会占满了。10 月底在 ContainerDays Singapore 2026 和同事做了一场 HAMi GPU 共享 Workshop；接下来的 COSCon'26 和 KCD 杭州 2026，我参与了部分议题的评审；明天（11 月 10 日），KubeCon + CloudNativeCon 北美 2026 将在盐湖城开幕。
过去十年我跑过的云原生大会不算少。Kubernetes、服务网格、GitOps、平台工程，每个词都是先从某一年的议程上冒出来，再过两三年变成人人都在谈的东西。但今年把这几份议程摊在一起读，我有个以前没有过的感觉：这套我们已经很熟的技术体系，正在接一批完全不同的活。
下面就按我自己的理解，把这几场会放到一起说说。
先从议程说起
我把 11 月 9 日能看到的公开议程都翻了一遍，按标题里的关键词粗略数了数，画成下面这张图。统计方法很土，就是看标题，所以只能当个大概。
新加坡那场离开发者最近。64 场内容里有 22 场标题跟 Agent 和工具运行有关：怎么给编程 Agent 加沙箱，怎么给 MCP 工具做细粒度授权，团队内部怎么做评测。这些话题一两年前还更像 AI 创业公司的内部讨论，现在直接排进了容器大会的议程。
KubeCon 北美这次最显眼的动作，是 CNCF 新开了一条 AI Inference + Agentic track。我数了一下，11 个 track 总共 174 场分享，这一条就占了 45 场，大约四分之一。而且这还只是挂在这条 track 名下的，平台工程 track 里的 DRA GPU 共享、可观测性 track 里的 AI 辅助排障，按内容算其实也该归进去。
COSCon'26 的面铺得最开。Agent、模型分发、硬件隔离之外，还有青少年开源、RISC-V、开源法律这些跟基础设施没什么直接关系的议题。评审的时候我的感觉是，AI 在这里不只是个技术话题，它也在改变开源社区怎么协作、怎么教人、怎么治理。
KCD 杭州反而最集中，只设了三个方向：Agent Infra、AI Infra & LLM Serving、AI Observability & Reliability。翻成大白话就是 Agent 怎么跑、推理怎么省、系统怎么不出事。25 场里有 22 场标题能对上 AI 基础设施相关的词，基本上是一场专门的 AI Infra 大会了。
再强调一次，这些数字只能说明议程是怎么组织的，不能拿来比哪场会更热，更算不出什么同比增速，几场会的定位和分类方法本来就不一样。但有一件事不需要统计也能看出来：AI 不再是云原生大会上的一个分会场，它成了串起整份议程的那条线。
从部署 AI 到运行 AI
AI/ML 这个词 2023 年就在 KubeCon 议程上了，2024 和 2025 年大家讨论的主要还是怎么把训练和推理搬到 Kubernetes 上。今年的问题明显往下钻了一层：一条推理请求该路由到哪台实例？GPU 和显存怎么切？KV Cache 怎么复用？Agent 要执行代码，给它什么样的隔离？任务跑到一半断了，从哪一步接着来？
Kubernetes 那套抽象，Pod、Deployment、Service、HPA，当初是围着无状态微服务设计的，关心的是副本数、资源请求、服务发现、挂了怎么拉起来。AI 负载的要求不太一样。调度不能只看 CPU 和内存，还得看设备拓扑、显存大小、能不能共享、怎么隔离。推理服务里，Prefill 和 Decode 两个阶段的计算特征差很多，KV Cache 在哪台机器上会影响路由，模型加载要花多久直接决定冷启动延迟。GPU 利用率这个数字看着很高，也不代表吞吐、延迟和成本就已经理顺了。
这也是为什么 DRA、HAMi、Kueue、Volcano、KServe、llm-d、vLLM 这一串项目会同时出现在议程里。它们管的层次不一样，有的管设备，有的管作业排队和编排，有的管推理请求本身，彼此之间谈不上替代，更像是在各自的位置上试探 AI 基础设施的控制边界该划在哪。CNCF 2025 年度调查里有个数字可以参考：在托管 AI 工作负载的受访组织中，66% 用 Kubernetes 跑了部分或全部推理负载。底座复用这件事，已经不用再争论了。
说白了，过去我们调度的是容器和算力，接下来还得看懂模型、请求、缓存和任务这些东西的执行语义。Kubernetes 没有被取代，被重新设计的是它上面那一层。
把一次值班交给 Agent 试试看
LLM Serving 改的是资源怎么用，Agent 动的东西更靠近工作流本身，我觉得这一块的变化反而更大。
举个例子。你在值班，某个服务突然变慢，你让 Agent 去看日志、比对最近的变更、给个建议。它要是漏掉了二十分钟前的一次发布，结论基本就偏了。而这类上下文平时散落在发布系统、服务目录和值班群里，没有一个地方能一次拿全。KubeCon 北美有一场 SRE 的分享，摘要里说的就是这个：他们把 AI 引进排障流程之后，最先撞上的不是模型能力，是上下文缺口。
再往前走一步，允许它直接执行回滚，问题就变了，不再是“它答得对不对”，而是它用谁的身份？能动哪个环境？超时重试会不会把同一条命令跑两遍？它的建议和当班工程师的判断相反的时候，听谁的？
这些问题让我想起早期做容器的时候。那会儿把应用塞进容器，以为能跑起来就算完了，后来才一样一样补上服务发现、配置管理、身份认证、可观测性。Agent 现在在走差不多的路，只是它的行为更动态，而且会直接对外部系统产生副作用，试错的代价更高。新加坡和杭州的议程里 Agent 沙箱、Checkpoint/Restore、工具授权、任务轨迹这些话题越来越多，原因就在这。
我自己的判断是，接下来几年会有一个专门的领域长出来，姑且叫它 Agentic Runtime，面向智能体任务执行的运行时基础设施。它要处理的是任务生命周期、环境隔离、权限控制、状态恢复和可观测性之间的边界。但我不赞成把一切推倒重来，容器、沙箱、身份、网络策略、控制器这些东西都还能用，难的是分清哪些问题已经有现成答案，哪些真的需要新抽象。
可观测性这边也有类似的落差。Trace 能告诉你 Agent 调了哪些工具、在哪一步报错，但未必能告诉你这个任务最后有没有达成用户想要的结果。基础设施是健康的，和任务是成功的，已经是两件事了。往后做可靠性，恐怕要把 SRE、可观测、模型评测和任务审计放到同一张桌子上。
任务可以委托，责任不能
技术在变，干活的方式也跟着变。AI 写初稿越来越快，很多人觉得自己能同时推进更多事。但如果每个改动落地之前都得有人从头理解一遍，团队只是把排队的地方从“等人写”换成了“等人看”。Agent 能帮我写测试，我还是得知道这些测试到底覆盖了什么；它能给出回滚命令，我还是得清楚哪条命令会影响到用户。
开源维护者对这一点的体会会更直接。提 PR 的门槛在降，维护者的时间可没有变多。一份带着复现步骤、失败用例和设计理由的 PR，可能比十份没经过验证的生成 PR 更值钱。怎么衡量“有效贡献”，恐怕得重新想。
做技术布道的也躲不开。新加坡那场 Workshop，我们已经把实验设计成不需要真 GPU 的本地 kind 集群，现场还是有人卡在依赖安装和操作系统差异上。在维护者眼里 Demo 早就跑通了，在使用者那里可能第一步都没迈出去。AI 可以生成更完整的教程，但替代不了你亲眼看一个开发者在哪一步卡住。详细复盘我写在《从一场 GPU Workshop 看云原生基础设施的开发者体验困境》里。
开放接口比一时的热度更重要
把几场会放在一起看，还能看出不同社区各自从哪里下手。新加坡更靠近开发者工具和安全；KubeCon 北美走的是标准化路线，DRA、Gateway API 推理扩展、OpenTelemetry GenAI 语义约定，都是在给 Kubernetes 补接口；中国社区在 GPU 异构算力、推理优化和 Agent 沙箱上有大量一线实践，同时也在往这些上游项目里贡献代码。
我不想拿几份议程给地区排座次，这没什么意义。我更关心的是，这些各自为战的探索最后能不能汇到同一个开放生态里。云原生过去十年能成，很大程度上是因为全球开发者围着 Kubernetes 和 CNCF 形成了一套开放协作的方式。如果每个模型平台都要自带一套运行时、工具协议和资源管理体系，AI 生态很可能把早期云计算的碎片化再演一遍。
明年的关注点
写到这里，顺便记下几件我打算明年接着看的事。
一件是推理团队怎么衡量省下来的算力。GPU 利用率是最容易拿出来展示的数字，我更想看到延迟、失败重试和成本能在同一组真实负载上一起量出来。
另一件是 Agent 能不能从只读检查往前走到范围有限的写操作，并且留下让别人能接手的记录。
还有一件是开源项目会不会开始追踪验证和维护的成本，比如从收到一个改动到完成有效评审，中间到底花了多久。
总结
把四场大会放在一起看，结论其实不复杂：云原生没有过时，但它身上背的负载换了。讨论重心正从“在 Kubernetes 上部署 AI”挪到“怎么运行和管理 AI”，设备分配、推理路由、Agent 的权限和恢复、任务级的观测和评测，每一层都在冒出新问题。
对工程师来说，变的不只是架构。活可以交给 Agent 干，但验收标准、权限边界、出了事怎么处置，这些得从个人经验变成团队能一起检查的约定。再过一年，判断一套 AI 工作流有没有真正进入团队，最直观的办法可能还是看交接：负责它的人休假了，另一个人能不能从记录里弄清发生了什么，知道该在哪一步把它停下来。
参考文献
- CNCF Reveals KubeCon + CloudNativeCon North America 2026 Schedule - cncf.io
- KubeCon + CloudNativeCon North America 2026 Schedule - linuxfoundation.org
- ContainerDays Singapore 2026 Agenda - containerdays.io
- COSCon'26 议程 - bagevent.com
- KCD Hangzhou 2026 - community.cncf.io
- KCD Hangzhou 2026 议程 - sessionize.com
- Dynamic Resource Allocation - kubernetes.io
- Introducing Gateway API Inference Extension - kubernetes.io
- OpenTelemetry GenAI Semantic Conventions - github.com
- CNCF Annual Survey Report - cncf.io
- 在 COSCon'25 现场，我看到的中国开源真实状态 - jimmysong.io
