kv-cache

Moonshot AI 为 Kimi 构建并开源的 KV Cache 中心化大模型服务系统，通过预填充与解码分离提高资源利用率。

vLLM 是一个开源的大模型推理与服务引擎，核心用途是让开发者更高效地部署和服务 LLM / 多模态模型。