Kimi K3 Pesos Abertos: Implantação, Custo e Quem Está Hospedando

O que a Moonshot realmente lançou?

O model card do Kimi K3 e o anúncio da própria Moonshot detalham a arquitetura:

Especificação	Valor
Parâmetros totais	2,8T (2,7799T por metadados do repositório)
Parâmetros ativos por token	~104B (16 de 896 especialistas roteados)
Camadas	93 no total — 1 densa, 69 Kimi Delta Attention (KDA), 24 Gated MLA
Janela de contexto	1.048.576 tokens
Codificador de visão	MoonViT-V2, 401M parâmetros, entrada nativa de imagem/vídeo
Quantização nativa	Pesos MXFP4, ativações MXFP8 (treinamento ciente de quantização)
Formato dos pesos	Safetensors, 96 fragmentos, ~1,56 TB / ~1,42 TiB
Licença	"Licença Kimi K3" personalizada — leia o arquivo de licença antes do uso comercial

As duas peças arquitetônicas que a Moonshot está destacando — Kimi Delta Attention (KDA) e Attention Residuals (AttnRes) — são um design de atenção linear híbrido destinado a tornar a janela de contexto de 1M de token mais barata de servir do que a atenção total padrão seria nesta escala.

Os mecanismos de serviço oficialmente recomendados são vLLM, SGLang e TokenSpeed. Não há suporte oficial para Ollama, llama.cpp ou LM Studio — um ponto que toda postagem de implantação sobre o K3 sinalizou, porque essas ferramentas são construídas em torno de inferência de hardware de consumidor de nó único que a arquitetura deste modelo não suporta.

Como você realmente implanta o Kimi K3?

Se você tem o hardware, a postagem de suporte do dia 0 do vLLM e o model card fornecem um caminho real. Esta é a versão honesta de "como implantá-lo" — a maior parte só se aplica depois que você já tem um nó multi-GPU:

Hardware mínimo. O vLLM lista pelo menos um nó 8× B300 (ou GB300 NVL72), com 16× B200 também suportado. O caminho ROCm da AMD suporta 8× MI355X. A própria orientação de produção da Moonshot é um "supernó" de 64 ou mais aceleradores — o mínimo de 8 GPUs faz o modelo funcionar, não com taxa de transferência de produção.

Comandos de início rápido, diretamente do model card:

pip install vllm
vllm serve "moonshotai/Kimi-K3"

ou via SGLang:

python -m sglang.launch_server --model-path moonshotai/Kimi-K3

A Moonshot também documenta um caminho Docker: docker model run hf.co/moonshotai/Kimi-K3.

Detalhes de configuração que não são opcionais. O cache de prefixo é desabilitado por padrão para o K3 no vLLM — você precisa passar a flag explicitamente ou perderá a maior parte do benefício do contexto de 1M de token em cargas de trabalho de múltiplas voltas. A escolha do backend MoE depende da sua configuração (deep_gemm_mega_moe para paralelismo de especialista desagregado, flashinfer_trtllm para paralelismo de tensor >1), e o backend all-to-all depende da sua interconexão (flashinfer_nvlink_one_sided para NVLink, deepep_v2 para RDMA). O codificador de visão precisa de paralelismo de dados por padrão, porque seu head_size=12 não pode ser fragmentado uniformemente em TP=8.

Qual é a aparência real da taxa de transferência. O vLLM relata uma linha de base de 111 tokens/seg por usuário em TP8 e 118 tok/s em TP16 com tamanho de lote 1. Com decodificação especulativa (DSpark), isso sobe para 331–370 tok/s por usuário — uma aceleração de 3,14x, mas somente depois de você ter ajustado o caminho de decodificação especulativa em cima de um cluster já provisionado.

O custo real da auto-hospedagem

É aqui que "posso implantá-lo" e "devo implantá-lo" se separam. A matemática, referenciada do blog do vLLM e de análises independentes de hardware/custo:

• Piso de VRAM: ~1.680 GB. O mínimo teórico de 2,8T parâmetros em 4 bits é de cerca de 1,4 TB; a pegada real de serviço (pesos + cache KV + sobrecarga) é maior.
• Armazenamento: 1,56 TB de pesos, então planeje 4 TB de NVMe rápido apenas para manter o checkpoint mais espaço de troca. Baixá-lo leva de ~2 minutos em uma linha de 100 Gbps a quase 35 horas em uma conexão de 100 Mbps.
• Configurações de GPU que ultrapassam o piso: 8× B300/MI355X (2.304 GB agregados), 16× H200 (2.256 GB), 16× B200 (2.880 GB) ou 32× H100 (2.560 GB). Nada menor funciona.
• Aluguel em nuvem, uma estimativa em julho de 2026: um nó 8× B300 custa aproximadamente US$ 59–US$ 142/hora, dependendo do provedor, o que equivale a US$ 43.000–US$ 104.000/mês rodando continuamente. Um nó 16× H200 custa US$ 46.600–US$ 116.800/mês.
• Ponto de equilíbrio contra a API oficial (aos preços de US$ 0,30/US$ 3,00/US$ 15,00 por milhão da Moonshot para entrada com cache hit, entrada com cache miss e saída): a estimativa de nó mais barata acima só se paga após aproximadamente 8 bilhões de tokens/mês sem cache, ou 12,5 bilhões de tokens/mês com uma taxa de cache hit de 90%.

Se seu uso real não está nem perto de 8B tokens por mês — e quase ninguém está — um cluster alugado é uma maneira de gastar dezenas de milhares de dólares por mês para obter um negócio pior do que a API.

Quem já está executando?

Os pesos do K3 têm horas de vida no momento desta escrita, mas o suporte do dia 0 avançou rapidamente porque a Moonshot coordenou o lançamento com fornecedores de inferência com antecedência:

• vLLM enviou suporte oficial do dia 0 com os números de taxa de transferência acima, abrangendo NVIDIA (Hopper e Blackwell) e AMD (MI355X) com suporte ROCm no lançamento.
• Fireworks AI colocou o K3 em sua plataforma no lançamento, posicionando-o como inferência hospedada e própria, em vez de um cluster autogerenciado.
• Baseten publicou um guia de construção de API do dia zero detalhando sua própria configuração de hospedagem.
• AMD publicou seu próprio artigo de implantação em GPU Instinct, o que é uma prática normal quando um novo modelo de fronteira de pesos abertos é lançado com suporte do dia 0 do fornecedor de hardware.
• Vários blogs de infraestrutura — Northflank, Hyperstack — publicaram análises de implantação e custo no primeiro dia, o que mostra quanta demanda os fornecedores esperam por orientação de auto-hospedagem, embora quase nenhum desse público acabe executando o cluster real.

O padrão corresponde a todos os grandes lançamentos de pesos abertos: um punhado de plataformas de inferência e o fornecedor de hardware enviam suporte no dia zero, uma onda de artigos sobre hardware/custo segue dentro de 24–48 horas, e a grande maioria do uso real ainda acaba indo por uma API em vez de uma implantação autogerenciada.

O caminho mais simples: use o Kimi K3 através de uma API

Dado o piso de hardware acima, a auto-hospedagem do K3 faz sentido em um conjunto restrito de casos: você já está executando uma frota de GPU grande e principalmente ociosa, tem uso sustentado bem além do ponto de equilíbrio de vários bilhões de tokens ou tem um motivo de conformidade específico pelo qual os dados não podem sair de sua infraestrutura. Fora desses casos, a matemática do cluster acima funciona contra você.

APIMaster.ai já tem kimi-k3 ao vivo em seu marketplace de modelos, roteado através de uma API compatível com OpenAI. A rota utiliza a própria API da Moonshot, bem como infraestrutura de GPU em nuvem externa executando os pesos abertos, então o preço e a disponibilidade refletem mais de um caminho para o mesmo modelo — verifique o cartão de rota ao vivo antes de mover o volume de produção, pois a oferta e o preço do canal podem mudar.

from openai import OpenAI

client = OpenAI(
    api_key="SUA_CHAVE_APIMASTER",
    base_url="https://apimaster.ai/v1",
)

response = client.chat.completions.create(
    model="kimi-k3",
    reasoning_effort="max",
    messages=[
        {"role": "user", "content": "Resuma as desvantagens de auto-hospedar um modelo MoE de 2,8T."}
    ],
)

print(response.choices[0].message.content)

Para começar:

1. Registre-se para uma conta APIMaster.
2. Adicione crédito à carteira com um método de pagamento suportado.
3. Gere uma chave de API no console APIMaster.
4. Defina model como kimi-k3 e a URL base como https://apimaster.ai/v1 em sua integração existente do SDK OpenAI.

O Kimi K3 também faz parte da atual oferta de 40% de desconto da APIMaster em DeepSeek, Kimi K3, MiniMax M3 e GLM-5.2, e toda rota pode ser verificada com o testador gratuito de impressão digital de modelo de IA antes de você confiar nele em produção.

FAQ

Posso executar o Kimi K3 em uma única GPU ou em uma estação de trabalho normal?

Não. O piso realista de VRAM é de cerca de 1.680 GB. Até mesmo uma estação de trabalho RTX PRO 6000 Blackwell de 18 placas (96 GB por placa) mal ultrapassa esse número no papel, sem uma topologia prática para realmente servir o modelo dessa forma. O máximo de 512 GB de memória unificada de um Mac Studio é cerca de um terço do que é necessário.

Qual é a maneira mais barata de auto-hospedar legitimamente o Kimi K3?

Alugar um nó em nuvem 8× B300 ou 8× MI355X é o ponto de entrada, a aproximadamente US$ 43.000–US$ 104.000/mês, dependendo do provedor e do preço da instância. Isso só se torna competitivo em custo com a API oficial após vários bilhões de tokens de uso mensal.

O Ollama ou o LM Studio suportam o Kimi K3?

Não oficialmente. Os mecanismos de serviço recomendados pela Moonshot são vLLM, SGLang e TokenSpeed — todos construídos para implantação multi-GPU em data center, não para inferência de consumidor em máquina única.

O Kimi K3 está disponível através da APIMaster?

Sim. Está ao vivo no marketplace APIMaster como kimi-k3 por trás de um endpoint compatível com OpenAI, utilizando tanto a própria API da Moonshot quanto capacidade de GPU em nuvem externa executando os pesos abertos.

Como a janela de contexto do K3 se compara ao executá-lo localmente versus através de uma API?

A janela de 1M de token é idêntica de qualquer forma — é uma propriedade do modelo, não do caminho de serviço. O que muda é o comportamento do cache de prefixo e o custo: a rota da APIMaster e a própria API da Moonshot suportam preços de cache hit em prefixos longos repetidos, enquanto uma implantação vLLM auto-hospedada requer habilitar explicitamente o cache de prefixo (está desligado por padrão para o K3) para obter o mesmo benefício.

Fontes

• Model card do Kimi K3, Hugging Face
• Moonshot AI, postagem de lançamento "Open Frontier Intelligence"
• vLLM, "Kimi K3 Is Here: Efficient Day-0 Support on vLLM"
• Fireworks AI, postagem de lançamento do Kimi K3
• Baseten, guia de construção de API do dia zero
• AMD, Kimi K3 em GPUs AMD Instinct
• Kingy.ai, análise de hardware/VRAM/custo
• Northflank, visão geral de benchmarks/preços/auto-hospedagem
• Preços oficiais do Kimi K3

Os pesos do Kimi K3 estão abertos, mas para quase todos o caminho mais rápido para usar o modelo ainda é uma chamada de API, não um cluster de GPU. Registre-se no APIMaster para obter uma chave compatível com OpenAI para kimi-k3 sem provisionar nenhum hardware.