Kubernetes

vLLM Project 下面向生成式 AI 推理的云原生开源基础设施，组合网关路由、弹性伸缩、运行时与分布式 KV cache。

KServe 面向生成式 AI 推理的 Kubernetes 自定义资源，用统一声明描述模型、工作负载、路由、调度与并行策略。

Envoy AI Gateway 在 Kubernetes 与 Envoy Gateway 之上统一连接多种模型服务，为生成式 AI 请求提供路由、认证、策略和可观测能力。

面向 Kubernetes 集群的 vLLM 生产参考实现，组合推理引擎、请求路由和可观测组件。