Kimi K3 Open Weights: Bereitstellung, Kosten und wer hostet es

Was hat Moonshot tatsächlich veröffentlicht?

Die Modellkarte von Kimi K3 und Moonshots eigene Ankündigung legen die Architektur dar:

Spezifikation	Wert
Gesamtparameter	2,8B (2,7799B laut Repo-Metadaten)
Aktive Parameter pro Token	~104B (16 von 896 gerouteten Experten)
Schichten	93 insgesamt — 1 dicht, 69 Kimi Delta Attention (KDA), 24 Gated MLA
Kontextfenster	1.048.576 Token
Vision-Encoder	MoonViT-V2, 401M Parameter, native Bild-/Videoeingabe
Native Quantisierung	MXFP4-Gewichte, MXFP8-Aktivierungen (quantisierungsbewusstes Training)
Gewichtsformat	Safetensors, 96 Shards, ~1,56 TB / ~1,42 TiB
Lizenz	Benutzerdefinierte "Kimi K3 License" — lesen Sie die Lizenzdatei vor der kommerziellen Nutzung

Die beiden architektonischen Teile, die Moonshot hervorhebt — Kimi Delta Attention (KDA) und Attention Residuals (AttnRes) — sind ein hybrides Linear-Attention-Design, das das 1M-Token-Kontextfenster günstiger bedienen soll, als es die standardmäßige vollständige Aufmerksamkeit in dieser Größenordnung wäre.

Offiziell empfohlene Serving-Engines sind vLLM, SGLang und TokenSpeed. Es gibt keine offizielle Unterstützung für Ollama, llama.cpp oder LM Studio — ein Punkt, der in jedem Bereitstellungsartikel zu K3 hervorgehoben wird, da diese Tools für Single-Node-Inferenz auf Consumer-Hardware ausgelegt sind, für die die Architektur dieses Modells nicht geeignet ist.

Wie setzt man Kimi K3 tatsächlich ein?

Wenn Sie die Hardware haben, bieten der vLLM Day-0-Supportbeitrag und die Modellkarte einen echten Weg. Dies ist die ehrliche Version von "wie man es bereitstellt" — das meiste gilt erst, wenn Sie bereits einen Multi-GPU-Knoten haben:

Mindesthardware. vLLM listet mindestens einen 8× B300 (oder GB300 NVL72) Knoten auf, wobei 16× B200 ebenfalls unterstützt werden. Der AMD ROCm-Pfad unterstützt 8× MI355X. Moonshots eigene Produktionsrichtlinie ist ein "Supernode" mit 64 oder mehr Beschleunigern — das 8-GPU-Minimum bringt das Modell zum Laufen, nicht mit Produktionsdurchsatz.

Schnellstartbefehle, direkt aus der Modellkarte:

pip install vllm
vllm serve "moonshotai/Kimi-K3"

oder über SGLang:

python -m sglang.launch_server --model-path moonshotai/Kimi-K3

Moonshot dokumentiert auch einen Docker-Pfad: docker model run hf.co/moonshotai/Kimi-K3.

Konfigurationsdetails, die nicht optional sind. Prefix-Caching ist in vLLM für K3 standardmäßig deaktiviert — Sie müssen das Flag explizit setzen, sonst verlieren Sie den größten Teil des Vorteils des 1M-Token-Kontexts bei Multi-Turn-Workloads. Die MoE-Backend-Wahl hängt von Ihrem Setup ab (deep_gemm_mega_moe für disaggregierte/Experten-parallele, flashinfer_trtllm für Tensor-parallel >1), und das All-to-All-Backend hängt von Ihrer Verbindung ab (flashinfer_nvlink_one_sided für NVLink, deepep_v2 für RDMA). Der Vision-Encoder benötigt standardmäßig Datenparallelität, da sein head_size=12 nicht gleichmäßig über TP=8 shardiert werden kann.

Wie der Durchsatz tatsächlich aussieht. vLLM berichtet eine Basislinie von 111 Token/Sekunde pro Benutzer auf TP8 und 118 Tok/s auf TP16 bei Batch-Größe 1. Mit spekulativer Dekodierung (DSpark) steigt dies auf 331–370 Tok/s pro Benutzer — eine 3,14-fache Beschleunigung, aber nur, nachdem Sie den spekulativen Dekodierungspfad auf einem bereits bereitgestellten Cluster optimiert haben.

Die wahren Kosten des Self-Hostings

Hier trennt sich "kann ich es bereitstellen" von "sollte ich es bereitstellen". Die Mathematik, abgeglichen mit vLLMs Blog und unabhängigen Hardware-/Kostenaufschlüsselungen:

• VRAM-Minimum: ~1.680 GB. Das theoretische Minimum von 2,8B Parametern bei 4 Bit liegt bei etwa 1,4 TB; der tatsächliche Serving-Fußabdruck (Gewichte + KV-Cache + Overhead) ist höher.
• Speicher: 1,56 TB Gewichte, planen Sie also 4 TB schnelle NVMe nur für den Checkpoint plus Scratch-Space ein. Der Download dauert je nach Verbindung zwischen ~2 Minuten auf einer 100-Gbit/s-Leitung und fast 35 Stunden auf einer 100-Mbit/s-Verbindung.
• GPU-Konfigurationen, die das Minimum erreichen: 8× B300/MI355X (2.304 GB aggregiert), 16× H200 (2.256 GB), 16× B200 (2.880 GB) oder 32× H100 (2.560 GB). Nichts Kleineres funktioniert.
• Cloud-Miete, eine Schätzung ab Juli 2026: Ein 8× B300-Knoten kostet je nach Anbieter etwa 59–142 $/Stunde, was bei Dauerbetrieb 43.000–104.000 $/Monat entspricht. Ein 16× H200-Knoten kostet 46.600–116.800 $/Monat.
• Break-even gegenüber der offiziellen API (bei Moonshots Preisen von 0,30 $/3,00 $/15,00 $ pro Million für Cache-Hit-Eingabe, Cache-Miss-Eingabe und Ausgabe): Die günstigste Knotenschätzung oben amortisiert sich erst ab etwa 8 Milliarden Token/Monat ohne Caching oder 12,5 Milliarden Token/Monat bei einer Cache-Hit-Rate von 90 %.

Wenn Ihre tatsächliche Nutzung nicht annähernd bei 8B Token pro Monat liegt — und das ist bei fast niemandem der Fall —, ist ein gemieteter Cluster ein Weg, Zehntausende von Dollar pro Monat auszugeben, um ein schlechteres Angebot als die API zu erhalten.

Wer betreibt es bereits?

K3s Gewichte sind zum Zeitpunkt dieses Schreibens erst wenige Stunden alt, aber der Day-0-Support ging schnell, da Moonshot die Veröffentlichung im Voraus mit Inferenzanbietern koordinierte:

• vLLM hat offiziellen Day-0-Support mit den obigen Durchsatzzahlen ausgeliefert, der NVIDIA (Hopper und Blackwell) und AMD (MI355X) mit ROCm-Unterstützung zum Start abdeckt.
• Fireworks AI hat K3 zum Start auf seiner Plattform platziert und positioniert es als eigene, gehostete Inferenz und nicht als selbstverwalteten Cluster.
• Baseten hat einen Day-Zero-API-Bauleitfaden veröffentlicht, der das eigene Hosting-Setup beschreibt.
• AMD hat einen eigenen Bereitstellungsartikel für Instinct-GPUs veröffentlicht, was üblich ist, wenn ein neues Frontier-Open-Weight-Modell mit Day-0-Unterstützung durch den Hardware-Anbieter startet.
• Mehrere Infrastruktur-Blogs — Northflank, Hyperstack — haben innerhalb des ersten Tages Bereitstellungs- und Kostenaufschlüsselungen veröffentlicht, was zeigt, wie viel Nachfrage die Anbieter für Self-Hosting-Anleitungen erwarten, obwohl fast keiner dieser Zielgruppe den tatsächlichen Cluster betreiben wird.

Das Muster gleicht jeder großen Open-Weight-Veröffentlichung: Eine Handvoll Inferenzplattformen und der Hardware-Anbieter liefern am Tag Null Support, eine Welle von Hardware-/Kostenartikeln folgt innerhalb von 24–48 Stunden, und die überwältigende Mehrheit der tatsächlichen Nutzung läuft letztendlich über eine API und nicht über eine selbstverwaltete Bereitstellung.

Der einfachere Weg: Kimi K3 über eine API nutzen

Angesichts des obigen Hardware-Minimums ist Self-Hosting von K3 nur in einer engen Reihe von Fällen sinnvoll: Sie betreiben bereits eine große, meist ungenutzte GPU-Flotte, Sie haben eine anhaltende Nutzung weit über dem Break-even-Punkt von mehreren Milliarden Token, oder Sie haben einen spezifischen Compliance-Grund, warum Daten Ihre Infrastruktur nicht verlassen dürfen. Außerhalb dieser Fälle arbeitet die Cluster-Mathematik gegen Sie.

APIMaster.ai hat kimi-k3 bereits live in seinem Modellmarktplatz, geroutet über eine OpenAI-kompatible API. Die Route greift sowohl auf Moonshots eigene API als auch auf externe Cloud-GPU-Infrastruktur zurück, die die offenen Gewichte ausführt, sodass Preisgestaltung und Verfügbarkeit mehr als einen Weg zum selben Modell widerspiegeln — überprüfen Sie die Live-Route-Karte, bevor Sie Produktionsvolumen verschieben, da sich Kanalangebot und Preisgestaltung ändern können.

from openai import OpenAI

client = OpenAI(
    api_key="IHR_APIMASTER_SCHLÜSSEL",
    base_url="https://apimaster.ai/v1",
)

response = client.chat.completions.create(
    model="kimi-k3",
    reasoning_effort="max",
    messages=[
        {"role": "user", "content": "Fassen Sie die Kompromisse beim Self-Hosting eines 2,8B MoE-Modells zusammen."}
    ],
)

print(response.choices[0].message.content)

So legen Sie los:

1. Registrieren Sie sich für ein APIMaster-Konto.
2. Fügen Sie Wallet-Guthaben mit einer unterstützten Zahlungsmethode hinzu.
3. Generieren Sie einen API-Schlüssel aus der APIMaster-Konsole.
4. Setzen Sie model auf kimi-k3 und die Basis-URL auf https://apimaster.ai/v1 in Ihrer bestehenden OpenAI-SDK-Integration.

Kimi K3 ist auch Teil von APIMasters aktuellen 40%-Rabatt auf DeepSeek, Kimi K3, MiniMax M3 und GLM-5.2, und jede Route kann mit dem kostenlosen KI-Modell-Fingerabdruck-Tester überprüft werden, bevor Sie sich in der Produktion darauf verlassen.

FAQ

Kann ich Kimi K3 auf einer einzelnen GPU oder einer normalen Workstation ausführen?

Nein. Das realistische VRAM-Minimum liegt bei etwa 1.680 GB. Selbst eine 18-Karten-RTX-PRO-6000-Blackwell-Workstation (96 GB pro Karte) erreicht diese Zahl auf dem Papier nur knapp, ohne eine praktikable Topologie, um das Modell auf diese Weise tatsächlich zu bedienen. Die maximalen 512 GB Unified Memory eines Mac Studio sind etwa ein Drittel dessen, was benötigt wird.

Was ist der günstigste Weg, Kimi K3 legitim selbst zu hosten?

Die Anmietung eines 8× B300- oder 8× MI355X-Cloud-Knotens ist der Einstiegspunkt, der je nach Anbieter und Instanzpreisgestaltung etwa 43.000–104.000 $/Monat kostet. Dies wird erst ab mehreren Milliarden Token monatlicher Nutzung kosteneffizient im Vergleich zur offiziellen API.

Unterstützen Ollama oder LM Studio Kimi K3?

Nicht offiziell. Moonshots empfohlene Serving-Engines sind vLLM, SGLang und TokenSpeed — alle für Multi-GPU-Rechenzentrumsbereitstellung ausgelegt, nicht für Single-Machine-Consumer-Inferenz.

Ist Kimi K3 über APIMaster verfügbar?

Ja. Es ist live im APIMaster-Marktplatz als kimi-k3 hinter einem OpenAI-kompatiblen Endpunkt, der sowohl auf Moonshots eigene API als auch auf externe Cloud-GPU-Kapazität zurückgreift, die die offenen Gewichte ausführt.

Wie schneidet K3s Kontextfenster im Vergleich zwischen lokalem Betrieb und API-Nutzung ab?

Das 1M-Token-Fenster ist in beiden Fällen identisch — es ist eine Eigenschaft des Modells, nicht des Serving-Pfads. Was sich ändert, ist das Prefix-Caching-Verhalten und die Kosten: APIMasters Route und Moonshots eigene API unterstützen beide Cache-Hit-Preise für wiederholte lange Präfixe, während eine selbst gehostete vLLM-Bereitstellung das explizite Aktivieren des Prefix-Cachings erfordert (es ist für K3 standardmäßig deaktiviert), um denselben Vorteil zu erzielen.

Quellen

• Kimi K3 Modellkarte, Hugging Face
• Moonshot AI, "Open Frontier Intelligence" Launch-Beitrag
• vLLM, "Kimi K3 Is Here: Efficient Day-0 Support on vLLM"
• Fireworks AI, Kimi K3 Launch-Beitrag
• Baseten, Day-Zero-API-Bauleitfaden
• AMD, Kimi K3 auf AMD Instinct GPUs
• Kingy.ai, Hardware-/VRAM-/Kostenaufschlüsselung
• Northflank, Benchmarks/Preise/Self-Hosting-Übersicht
• Kimi K3 offizielle Preisgestaltung

Kimi K3s Gewichte sind offen, aber für fast alle ist der schnellste Weg, das Modell zu nutzen, immer noch ein API-Aufruf, kein GPU-Cluster. Registrieren Sie sich auf APIMaster, um einen OpenAI-kompatiblen Schlüssel für kimi-k3 zu erhalten, ohne Hardware bereitstellen zu müssen.