Pesi aperti di Kimi K3: Distribuzione, Costo e Chi lo Ospita

Cosa ha rilasciato effettivamente Moonshot?

La scheda del modello di Kimi K3 e l'annuncio di Moonshot descrivono l'architettura:

Specifica	Valore
Parametri totali	2,8T (2,7799T secondo i metadati del repo)
Parametri attivi per token	~104B (16 esperti su 896 instradati)
Layer	93 totali — 1 denso, 69 Kimi Delta Attention (KDA), 24 Gated MLA
Finestra di contesto	1.048.576 token
Encoder visivo	MoonViT-V2, 401M params, input nativo immagine/video
Quantizzazione nativa	Pesi MXFP4, attivazioni MXFP8 (addestramento consapevole della quantizzazione)
Formato pesi	Safetensors, 96 frammenti, ~1,56TB / ~1,42TiB
Licenza	"Kimi K3 License" personalizzata — leggere il file di licenza prima dell'uso commerciale

I due elementi architetturali che Moonshot sta evidenziando — Kimi Delta Attention (KDA) e Attention Residuals (AttnRes) — sono un design ibrido di attenzione lineare pensato per rendere la finestra di contesto da 1 milione di token più economica da servire rispetto all'attenzione completa standard a questa scala.

I motori di servizio ufficialmente raccomandati sono vLLM, SGLang e TokenSpeed. Non esiste un supporto ufficiale per Ollama, llama.cpp o LM Studio — un punto che ogni articolo sulla distribuzione di K3 ha evidenziato, perché questi strumenti sono costruiti per l'inferenza su singolo nodo e hardware consumer, un'architettura a cui questo modello non si adatta.

Come si distribuisce effettivamente Kimi K3?

Se hai l'hardware, il post di supporto al giorno zero di vLLM e la scheda del modello forniscono un percorso reale. Questa è la versione onesta di "come distribuirlo" — la maggior parte si applica solo dopo aver già un nodo multi-GPU:

Hardware minimo. vLLM elenca almeno un nodo 8× B300 (o GB300 NVL72), con supporto anche per 16× B200. Il percorso AMD ROCm supporta 8× MI355X. La guida alla produzione di Moonshot è un "supernodo" di 64 o più acceleratori — il minimo di 8 GPU fa funzionare il modello, non a throughput di produzione.

Comandi di avvio rapido, direttamente dalla scheda del modello:

pip install vllm
vllm serve "moonshotai/Kimi-K3"

o tramite SGLang:

python -m sglang.launch_server --model-path moonshotai/Kimi-K3

Moonshot documenta anche un percorso Docker: docker model run hf.co/moonshotai/Kimi-K3.

Dettagli di configurazione che non sono opzionali. La cache dei prefissi è disabilitata per impostazione predefinita per K3 in vLLM — devi passare esplicitamente il flag o perdi la maggior parte del vantaggio del contesto da 1 milione di token su carichi di lavoro multi-turno. La scelta del backend MoE dipende dalla tua configurazione (deep_gemm_mega_moe per esperto parallelo disaggregato, flashinfer_trtllm per tensor-parallel >1), e il backend all-to-all dipende dalla tua interconnessione (flashinfer_nvlink_one_sided per NVLink, deepep_v2 per RDMA). L'encoder visivo necessita di parallelismo dei dati per impostazione predefinita, perché il suo head_size=12 non può essere frammentato uniformemente su TP=8.

Che aspetto ha il throughput effettivo. vLLM riporta una baseline di 111 token/sec per utente su TP8 e 118 tok/s su TP16 con batch size 1. Con decodifica speculativa (DSpark) sale a 331–370 tok/s per utente — un aumento di 3,14x, ma solo dopo aver ottimizzato il percorso di decodifica speculativa su un cluster già predisposto.

Il costo reale dell'auto-hosting

È qui che "posso distribuirlo" e "dovrei distribuirlo" si separano. I calcoli, incrociati dal blog di vLLM e da analisi indipendenti di hardware/costi:

• Minimo VRAM: ~1.680 GB. Il minimo teorico da 2,8T parametri a 4 bit è circa 1,4 TB; l'impronta di servizio reale (pesi + cache KV + overhead) è più alta.
• Archiviazione: 1,56 TB di pesi, quindi pianifica 4 TB di NVMe veloce solo per contenere il checkpoint più spazio di lavoro. Scaricarlo richiede da circa 2 minuti su una linea da 100 Gbps a quasi 35 ore su una connessione da 100 Mbps.
• Configurazioni GPU che superano il minimo: 8× B300/MI355X (2.304 GB aggregati), 16× H200 (2.256 GB), 16× B200 (2.880 GB) o 32× H100 (2.560 GB). Niente di più piccolo funziona.
• Noleggio cloud, una stima a luglio 2026: un nodo 8× B300 costa circa $59–$142/ora a seconda del fornitore, che è $43.000–$104.000/mese in esecuzione continua. Un nodo 16× H200 costa $46.600–$116.800/mese.
• Punto di pareggio rispetto all'API ufficiale (ai prezzi di Moonshot di $0,30/$3,00/$15,00 per milione per input con cache hit, input con cache miss e output): la stima del nodo più economico sopra si ripaga solo dopo circa 8 miliardi di token/mese senza caching, o 12,5 miliardi di token/mese con un tasso di cache hit del 90%.

Se il tuo utilizzo effettivo è lontano da 8 miliardi di token al mese — e quasi nessuno lo è — un cluster noleggiato è un modo per spendere decine di migliaia di dollari al mese per ottenere un affare peggiore dell'API.

Chi lo sta già eseguendo?

I pesi di K3 hanno poche ore al momento in cui scriviamo, ma il supporto al giorno zero si è mosso rapidamente perché Moonshot ha coordinato il rilascio con i fornitori di inferenza in anticipo:

• vLLM ha spedito il supporto ufficiale al giorno zero con i numeri di throughput sopra, coprendo NVIDIA (Hopper e Blackwell) e AMD (MI355X) con supporto ROCm al lancio.
• Fireworks AI ha messo K3 sulla sua piattaforma al lancio, posizionandolo come inferenza ospitata e possedibile piuttosto che un cluster autogestito.
• Baseten ha pubblicato una guida alla creazione di un'API day-zero illustrando la loro configurazione di hosting.
• AMD ha pubblicato il suo articolo sulla distribuzione su GPU Instinct, che è una pratica normale quando un nuovo modello open-weight di frontiera viene lanciato con il supporto day-zero del fornitore di hardware.
• Molti blog di infrastruttura — Northflank, Hyperstack — hanno pubblicato analisi di distribuzione e costi entro il primo giorno, il che indica quanta domanda i fornitori si aspettano per le guide all'auto-hosting anche se quasi nessuno di quel pubblico finirà per eseguire il cluster reale.

Lo schema corrisponde a ogni grande rilascio open-weight: una manciata di piattaforme di inferenza e il fornitore di hardware spediscono il supporto al giorno zero, un'ondata di articoli su hardware/costi segue entro 24-48 ore, e la stragrande maggioranza dell'uso effettivo finisce comunque per passare attraverso un'API piuttosto che una distribuzione autogestita.

Il percorso più semplice: usa Kimi K3 tramite un'API

Dato il minimo hardware sopra, l'auto-hosting di K3 ha senso in una serie ristretta di casi: stai già eseguendo una grande flotta GPU per lo più inattiva, hai un utilizzo sostenuto ben oltre il punto di pareggio di diversi miliardi di token, o hai uno specifico motivo di conformità per cui i dati non possono lasciare la tua infrastruttura. Al di fuori di questi casi, i calcoli del cluster sopra giocano contro di te.

APIMaster.ai ha già kimi-k3 live nel suo marketplace di modelli, instradato tramite un'API compatibile con OpenAI. Il percorso attinge sia all'API di Moonshot che all'infrastruttura GPU cloud esterna che esegue i pesi aperti, quindi prezzi e disponibilità riflettono più di un percorso allo stesso modello — controlla la scheda del percorso live prima di spostare il volume di produzione, poiché la fornitura del canale e i prezzi possono cambiare.

from openai import OpenAI

client = OpenAI(
    api_key="YOUR_APIMASTER_KEY",
    base_url="https://apimaster.ai/v1",
)

response = client.chat.completions.create(
    model="kimi-k3",
    reasoning_effort="max",
    messages=[
        {"role": "user", "content": "Riassumi i compromessi dell'auto-hosting di un modello MoE da 2,8T."}
    ],
)

print(response.choices[0].message.content)

Per iniziare:

1. Registrati per un account APIMaster.
2. Aggiungi credito al portafoglio con un metodo di pagamento supportato.
3. Genera una chiave API dalla console APIMaster.
4. Imposta model su kimi-k3 e l'URL di base su https://apimaster.ai/v1 nella tua integrazione SDK OpenAI esistente.

Kimi K3 fa anche parte dell'attuale offerta del 40% di sconto su DeepSeek, Kimi K3, MiniMax M3 e GLM-5.2 di APIMaster, e ogni percorso può essere verificato con il tester gratuito di impronte digitali dei modelli AI prima di fare affidamento su di esso in produzione.

FAQ

Posso eseguire Kimi K3 su una singola GPU o una workstation normale?

No. Il minimo VRAM realistico è di circa 1.680 GB. Persino una workstation con 18 schede RTX PRO 6000 Blackwell (96 GB per scheda) supera a malapena quel numero sulla carta, senza una topologia pratica per servire effettivamente il modello in quel modo. La memoria unificata massima di 512 GB di un Mac Studio è circa un terzo di quanto necessario.

Qual è il modo più economico per auto-ospitare legittimamente Kimi K3?

Noleggiare un nodo cloud 8× B300 o 8× MI355X è il punto di ingresso, a circa $43.000–$104.000/mese a seconda del fornitore e del prezzo dell'istanza. Diventa competitivo in termini di costi con l'API ufficiale solo dopo diversi miliardi di token di utilizzo mensile.

Ollama o LM Studio supportano Kimi K3?

Non ufficialmente. I motori di servizio raccomandati da Moonshot sono vLLM, SGLang e TokenSpeed — tutti costruiti per distribuzione multi-GPU e data center, non per inferenza consumer su singola macchina.

Kimi K3 è disponibile tramite APIMaster?

Sì. È live nel marketplace APIMaster come kimi-k3 dietro un endpoint compatibile con OpenAI, attingendo sia all'API di Moonshot che alla capacità GPU cloud esterna che esegue i pesi aperti.

Come si confronta la finestra di contesto di K3 tra l'esecuzione locale e tramite un'API?

La finestra da 1 milione di token è identica in entrambi i casi — è una proprietà del modello, non del percorso di servizio. Ciò che cambia è il comportamento della cache dei prefissi e il costo: il percorso di APIMaster e l'API di Moonshot supportano entrambi prezzi con cache hit su prefissi lunghi ripetuti, mentre una distribuzione vLLM auto-ospitata richiede l'abilitazione esplicita della cache dei prefissi (è disattivata per impostazione predefinita per K3) per ottenere lo stesso vantaggio.

Fonti

• Scheda del modello Kimi K3, Hugging Face
• Moonshot AI, post di lancio "Open Frontier Intelligence"
• vLLM, "Kimi K3 Is Here: Efficient Day-0 Support on vLLM"
• Fireworks AI, post di lancio Kimi K3
• Baseten, guida alla creazione di un'API day-zero
• AMD, Kimi K3 su GPU AMD Instinct
• Kingy.ai, analisi hardware/VRAM/costi
• Northflank, panoramica benchmark/prezzi/auto-hosting
• Prezzi ufficiali Kimi K3

I pesi di Kimi K3 sono aperti, ma per quasi tutti il percorso più veloce per usare il modello è ancora una chiamata API, non un cluster GPU. Registrati su APIMaster per ottenere una chiave compatibile con OpenAI per kimi-k3 senza dover provisioning di alcun hardware.