APIMaster.ai
返回博客
APIMaster 博客

Kimi K3 开源权重：部署方式、成本和已经上线的平台

Kimi K3 的 2.8T 权重已经开源。自建部署的真实显存计算、谁已经上线了 day-0 托管，以及跳过 GPU 集群的 API 方案。

Kimi K3Moonshot AIopen weightsself-hostingAPIMaster

发布于 2026-07-28

快速结论

Moonshot AI 于 2026 年 7 月 27 日在 Hugging Face 上发布了 Kimi K3 的权重。 这是一个 2.8 万亿参数的混合专家（MoE）模型——每个 token 从 896 个专家中激活 16 个，约 104B 激活参数——拥有 1,048,576 token 的上下文窗口和原生视觉能力。Hugging Face 仓库以 96 个 safetensors 分片形式发布，磁盘占用约 1.56TB。

自己跑起来需要真正的 GPU 集群，不是工作站能解决的。 vLLM 官方给出的最低配置是 8× NVIDIA B300 或 8× AMD MI355X；Moonshot 的生产环境建议是 64 卡以上。没有单卡或单机的消费级路径——Mac Studio 的 512GB 统一内存大约只是显存门槛的三分之一，即便是 18 卡 RTX PRO 6000 Blackwell 工作站也只是勉强达标，且没有可行的组网方案来实际运行。

对几乎所有人来说，更现实的选择是 API。 APIMaster.ai 已经在 OpenAI 兼容接口后接入了 kimi-k3，路由同时覆盖 Moonshot 官方 API 和外部云端 GPU 基础设施——这样你不需要为一个大部分时间闲置的集群做采购和付费。

Moonshot 到底发布了什么？

Kimi K3 的模型卡和Moonshot 官方发布文章列出了完整架构：

规格 数值
总参数量 2.8T（仓库元数据显示为 2.7799T）
每 token 激活参数 约 104B（896 个路由专家中激活 16 个）
层数 共 93 层——1 层稠密，69 层 Kimi Delta Attention（KDA），24 层 Gated MLA
上下文窗口 1,048,576 token
视觉编码器 MoonViT-V2，401M 参数，原生支持图像/视频输入
原生量化 MXFP4 权重，MXFP8 激活值（量化感知训练）
权重格式 Safetensors，96 个分片，约 1.56TB / 1.42TiB
许可证 自定义的 "Kimi K3 License"——商业使用前请务必阅读许可证文件

Moonshot 特别强调的两个架构设计——Kimi Delta Attention（KDA） 和 Attention Residuals（AttnRes）——是一种混合线性注意力方案，目的是让这个规模下的百万 token 上下文窗口比标准全注意力机制更便宜地对外提供服务。

官方推荐的推理引擎是 vLLM、SGLang 和 TokenSpeed。目前没有官方的 Ollama、llama.cpp 或 LM Studio 支持——几乎每一篇关于 K3 部署的文章都提到了这一点，因为这些工具本身是围绕单机、消费级硬件推理设计的,跟这个模型的架构规模不匹配。

Kimi K3 到底怎么部署？

如果你有对应的硬件，vLLM 的 day-0 支持文章和模型卡给出了真实可行的路径。这是"怎么部署"最诚实的版本——其中大部分内容只有在你已经拥有多卡节点时才用得上：

最低硬件配置。 vLLM 列出的最低要求是至少一个 8× B300（或 GB300 NVL72）节点，同时也支持 16× B200。AMD 的 ROCm 路径支持 8× MI355X。Moonshot 自己的生产环境建议是 64 卡以上的"超级节点"——8 卡的最低配置只能让模型跑起来,达不到生产环境的吞吐量。

快速启动命令，直接来自模型卡：

pip install vllm
vllm serve "moonshotai/Kimi-K3"

或者用 SGLang：

python -m sglang.launch_server --model-path moonshotai/Kimi-K3

Moonshot 还提供了 Docker 方案：docker model run hf.co/moonshotai/Kimi-K3。

几个不能忽略的配置细节。 vLLM 中 K3 的 prefix caching 默认是关闭的——必须显式传参开启,否则在多轮对话场景下会损失百万 token 上下文带来的大部分收益。MoE 后端的选择取决于你的部署方式（分离式/专家并行场景用 deep_gemm_mega_moe，张量并行度大于 1 时用 flashinfer_trtllm），all-to-all 后端则取决于互联方式（NVLink 用 flashinfer_nvlink_one_sided，RDMA 用 deepep_v2）。视觉编码器默认需要数据并行,因为它的 head_size=12 在 TP=8 下无法均匀切分。

实际吞吐表现。 vLLM 报告的基线数据是 TP8 下单用户 111 token/秒,TP16 下批大小为 1 时 118 token/秒。启用推测解码（DSpark）后可以提升到每用户 331–370 token/秒——加速 3.14 倍,但这需要在已经部署好的集群基础上额外调优推测解码路径才能达到。

自建部署的真实成本

这就是"能不能部署"和"该不该部署"分叉的地方。以下数据交叉参考自vLLM 官方博客和独立的硬件/成本测算文章：

  • 显存门槛：约 1,680GB。 按 2.8T 参数 4-bit 量化计算的理论最小值约为 1.4TB；实际服务时的占用（权重 + KV 缓存 + 各种开销）会更高。
  • 存储：1.56TB 权重文件,建议准备 4TB 的高速 NVMe 用来存放模型权重和临时空间。下载时间从 100Gbps 线路下约 2 分钟,到 100Mbps 连接下接近 35 小时,跨度很大。
  • 能达到门槛的 GPU 配置：8× B300/MI355X（合计 2,304GB）、16× H200（2,256GB）、16× B200（2,880GB）,或 32× H100（2,560GB）。比这些更小的配置都跑不起来。
  • 云端租用成本，以 2026 年 7 月的一份估算为例：8× B300 节点每小时约 59–142 美元（取决于服务商），持续运行的话每月约 43,000–104,000 美元。16× H200 节点每月约 46,600–116,800 美元。
  • 与官方 API 的成本平衡点（按 Moonshot 每百万 token 缓存命中输入 0.30 美元、缓存未命中输入 3.00 美元、输出 15.00 美元计算）：上面最便宜的节点估算,要到每月约 80 亿 token（无缓存）或 125 亿 token（90% 缓存命中率）才能收回成本。

如果你的实际用量远达不到每月 80 亿 token——几乎没有人能达到——租一个集群意味着每月花几万美元,换来的却是比 API 更差的性价比。

谁已经在跑了？

截至本文写作时,K3 的权重发布才几个小时,但 day-0 支持推进得很快,因为 Moonshot 提前和推理服务商做了协调：

  • vLLM 上线了官方 day-0 支持，给出了上面提到的吞吐数据，覆盖 NVIDIA（Hopper 和 Blackwell）以及 AMD（MI355X，发布时即支持 ROCm）。
  • Fireworks AI 在上线当天就把 K3 接入了自己的平台，把它定位为可直接使用的托管推理服务，而不需要自建集群。
  • Baseten 发布了一篇 day-zero API 构建指南，详细讲解了他们自己的托管方案。
  • AMD 官方发布了自己的 Instinct GPU 部署文章，这在新一代前沿开源模型发布并获得硬件厂商 day-0 支持时是常规操作。
  • 多家基础设施类博客——Northflank、Hyperstack——在发布首日就发布了部署和成本测算文章，这说明服务商预期自建部署指南会有相当大的需求，尽管这批读者中真正会去跑集群的人可能寥寥无几。

这个模式和每一次大型开源权重发布几乎一样：少数几家推理平台和硬件厂商在发布当天就跟进支持，随后 24-48 小时内涌现出一批硬件/成本测算文章，而绝大部分实际使用量最终还是走 API,而不是自建部署。

更简单的路径：通过 API 使用 Kimi K3

考虑到上面的硬件门槛，自建部署 K3 只在少数场景下才合理：你已经有一批大规模、大部分时间闲置的 GPU 集群、你的持续用量远超过那个几十亿 token 的成本平衡点，或者出于合规要求数据不能离开你自己的基础设施。除了这些场景,上面的集群成本测算对你不利。

APIMaster.ai 已经在模型市场上线了 kimi-k3，通过 OpenAI 兼容 API 提供服务。该路由既接入 Moonshot 官方 API,也接入运行开源权重的外部云端 GPU 基础设施,所以定价和可用性反映的是同一个模型的多条路径——在把生产流量迁移过来之前,请先查看实时路由信息,因为渠道供给和定价可能会变化。

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_APIMASTER_KEY",
    base_url="https://apimaster.ai/v1",
)

response = client.chat.completions.create(
    model="kimi-k3",
    reasoning_effort="max",
    messages=[
        {"role": "user", "content": "Summarize the tradeoffs of self-hosting a 2.8T MoE model."}
    ],
)

print(response.choices[0].message.content)

开始使用的步骤：

  1. 注册 APIMaster 账号。
  2. 使用支持的支付方式为钱包充值。
  3. 在**APIMaster 控制台**中生成 API key。
  4. 在你现有的 OpenAI SDK 集成中，将 model 设置为 kimi-k3，base URL 设置为 https://apimaster.ai/v1。

Kimi K3 目前也是 APIMaster 正在进行的 DeepSeek、Kimi K3、MiniMax M3 和 GLM-5.2 全线 4 折优惠活动的一部分，投入生产使用前，也可以用免费的** AI 模型指纹检测工具**先验证一下路由。

FAQ

我能在单卡 GPU 或普通工作站上跑 Kimi K3 吗？

不能。现实的显存门槛约为 1,680GB。即便是 18 卡 RTX PRO 6000 Blackwell 工作站（每卡 96GB）在纸面数字上也只是勉强达标，并没有实际可行的组网方式来真正服务这个模型。Mac Studio 最高 512GB 的统一内存大约只是所需显存的三分之一。

合法自建部署 Kimi K3 最便宜的方式是什么？

起点是租用一个 8× B300 或 8× MI355X 的云端节点，根据服务商和实例定价，每月大约 43,000–104,000 美元。只有月用量达到几十亿 token 级别时,这个方案才能在成本上和官方 API 打平。

Ollama 或 LM Studio 支持 Kimi K3 吗？

官方不支持。Moonshot 推荐的推理引擎是 vLLM、SGLang 和 TokenSpeed——这些都是为多卡、数据中心级部署设计的，不是给单机消费级推理用的。

APIMaster 上能用 Kimi K3 吗？

可以。它已经作为 kimi-k3 上线于 APIMaster 模型市场，通过 OpenAI 兼容接口提供服务，路由同时接入 Moonshot 官方 API 和运行开源权重的外部云端 GPU 算力。

K3 的上下文窗口在本地跑和用 API 相比有什么区别？

百万 token 的上下文窗口在两种方式下是完全一样的——这是模型本身的属性，跟服务方式无关。真正会变化的是 prefix caching 的行为和成本：APIMaster 的路由和 Moonshot 官方 API 都支持对重复长前缀的缓存命中定价，而自建的 vLLM 部署需要显式开启 prefix caching（K3 默认是关闭的）才能获得同样的收益。

Sources

Kimi K3 的权重已经开源，但对几乎所有人来说，用起这个模型最快的方式仍然是一次 API 调用，而不是一整个 GPU 集群。在 APIMaster 注册，无需采购任何硬件即可获取 kimi-k3 的 OpenAI 兼容 key。

返回博客