Kimi K3 z otwartymi wagami: wdrożenie, koszty i kto to hostuje

Co właściwie Moonshot udostępnił?

Karta modelu Kimi K3 oraz własne ogłoszenie Moonshot przedstawiają architekturę:

Specyfikacja	Wartość
Całkowita liczba parametrów	2,8T (2,7799T według metadanych repozytorium)
Aktywne parametry na token	~104B (16 z 896 kierowanych ekspertów)
Warstwy	93 łącznie — 1 gęsta, 69 Kimi Delta Attention (KDA), 24 Gated MLA
Okno kontekstu	1 048 576 tokenów
Enkoder wizyjny	MoonViT-V2, 401M parametrów, natywne wejście obraz/wideo
Natywna kwantyzacja	Wagi MXFP4, aktywacje MXFP8 (trenowanie z uwzględnieniem kwantyzacji)
Format wag	Safetensors, 96 fragmentów, ~1,56 TB / ~1,42 TiB
Licencja	Niestandardowa "Kimi K3 License" — przed użyciem komercyjnym przeczytaj plik licencji

Dwa elementy architektoniczne, które Moonshot podkreśla — Kimi Delta Attention (KDA) i Attention Residuals (AttnRes) — to hybrydowy projekt liniowej uwagi, mający na celu tańsze obsługiwanie okna kontekstu 1M tokenów niż standardowa pełna uwaga przy tej skali.

Oficjalnie rekomendowane silniki obsługi to vLLM, SGLang i TokenSpeed. Nie ma oficjalnego wsparcia dla Ollama, llama.cpp ani LM Studio — punkt, który każdy opis wdrożenia K3 podkreśla, ponieważ te narzędzia są zbudowane wokół wnioskowania na jednym węźle i sprzęcie konsumenckim, do czego ta architektura modelu nie pasuje.

Jak faktycznie wdrożyć Kimi K3?

Jeśli masz sprzęt, post o wsparciu vLLM od dnia 0 i karta modelu podają realną ścieżkę. To jest uczciwa wersja "jak to wdrożyć" — większość dotyczy tylko po posiadaniu już wielo-GPU węzła:

Minimalny sprzęt. vLLM wymienia co najmniej jeden węzeł 8× B300 (lub GB300 NVL72), z obsługą także 16× B200. Ścieżka AMD ROCm obsługuje 8× MI355X. Własne wytyczne produkcyjne Moonshot to "superwęzeł" z 64 lub więcej akceleratorami — minimum 8 GPU uruchamia model, ale nie przy przepustowości produkcyjnej.

Polecenia szybkiego startu, wprost z karty modelu:

pip install vllm
vllm serve "moonshotai/Kimi-K3"

lub przez SGLang:

python -m sglang.launch_server --model-path moonshotai/Kimi-K3

Moonshot dokumentuje również ścieżkę Docker: docker model run hf.co/moonshotai/Kimi-K3.

Szczegóły konfiguracji, które nie są opcjonalne. Buforowanie prefiksów jest domyślnie wyłączone dla K3 w vLLM — musisz jawnie przekazać flagę, w przeciwnym razie stracisz większość korzyści z 1M-tokenowego kontekstu w obciążeniach wieloobrotowych. Wybór backendu MoE zależy od konfiguracji (deep_gemm_mega_moe dla rozdzielonego/równoległego eksperta, flashinfer_trtllm dla równoległości tensorowej >1), a backend all-to-all zależy od interkonektu (flashinfer_nvlink_one_sided dla NVLink, deepep_v2 dla RDMA). Enkoder wizyjny domyślnie wymaga równoległości danych, ponieważ jego head_size=12 nie może być równomiernie podzielone na TP=8.

Jak wygląda rzeczywista przepustowość. vLLM raportuje bazową wartość 111 tokenów/sekundę na użytkownika na TP8 i 118 tok/s na TP16 przy rozmiarze partii 1. Przy spekulacyjnym dekodowaniu (DSpark) wzrasta to do 331–370 tok/s na użytkownika — przyspieszenie 3,14x, ale tylko po dostrojeniu ścieżki spekulacyjnego dekodowania na już zapewnionym klastrze.

Rzeczywisty koszt samodzielnego hostowania

To tutaj "czy mogę to wdrożyć" i "czy powinienem to wdrożyć" się rozchodzą. Matematyka, zweryfikowana na podstawie blogu vLLM i niezależnych analiz sprzętu/kosztów:

• Minimalny VRAM: ~1 680 GB. Teoretyczne minimum z 2,8T parametrów przy 4-bitach wynosi około 1,4 TB; rzeczywista powierzchnia obsługi (wagi + pamięć podręczna KV + narzut) jest wyższa.
• Pamięć masowa: 1,56 TB wag, więc zaplanuj 4 TB szybkiego NVMe tylko na przechowanie punktu kontrolnego plus miejsce tymczasowe. Pobranie zajmuje od ~2 minut na łączu 100 Gbps do prawie 35 godzin na połączeniu 100 Mbps.
• Konfiguracje GPU, które pokonują próg: 8× B300/MI355X (2 304 GB łącznie), 16× H200 (2 256 GB), 16× B200 (2 880 GB) lub 32× H100 (2 560 GB). Nic mniejszego nie działa.
• Wynajem w chmurze, jeden szacunek na lipiec 2026: węzeł 8× B300 kosztuje mniej więcej $59–$142/godzinę w zależności od dostawcy, co daje $43 000–$104 000/miesiąc przy ciągłej pracy. Węzeł 16× H200 kosztuje $46 600–$116 800/miesiąc.
• Próg rentowności w porównaniu z oficjalnym API (przy cenach Moonshot $0,30/$3,00/$15,00 za milion dla trafienia w pamięć podręczną wejścia, chybienia w pamięć podręczną wejścia i wyjścia): najtańszy szacunek węzła powyżej zwraca się dopiero po około 8 miliardach tokenów miesięcznie bez buforowania lub 12,5 miliardach tokenów miesięcznie przy 90% trafień w pamięć podręczną.

Jeśli twoje rzeczywiste użycie nie jest nawet blisko 8B tokenów miesięcznie — a prawie nikt takiego nie ma — wynajęty klaster to sposób na wydawanie dziesiątek tysięcy dolarów miesięcznie, aby uzyskać gorszą ofertę niż API.

Kto już to uruchamia?

Wagi K3 mają zaledwie kilka godzin w chwili pisania tego tekstu, ale wsparcie od dnia 0 działało szybko, ponieważ Moonshot skoordynował wydanie z dostawcami wnioskowania z wyprzedzeniem:

• vLLM dostarczył oficjalne wsparcie od dnia 0 z podanymi powyżej liczbami przepustowości, obejmując NVIDIA (Hopper i Blackwell) i AMD (MI355X) z obsługą ROCm przy starcie.
• Fireworks AI udostępnił K3 na swojej platformie od startu, pozycjonując go jako własne, hostowane wnioskowanie, a nie samodzielnie zarządzany klaster.
• Baseten opublikował przewodnik budowy API od zera opisujący ich własną konfigurację hostingu.
• AMD opublikowało własny opis wdrożenia na GPU Instinct, co jest standardową praktyką, gdy nowy model open-weight klasy frontier startuje z wsparciem od sprzedawcy sprzętu od dnia 0.
• Wiele blogów infrastrukturalnych — Northflank, Hyperstack — opublikowało analizy wdrożenia i kosztów w ciągu pierwszego dnia, co pokazuje, jak dużego popytu dostawcy oczekują na wskazówki dotyczące samodzielnego hostowania, mimo że prawie nikt z tej publiczności nie uruchomi rzeczywistego klastra.

Wzorzec powtarza się przy każdym dużym wydaniu open-weight: garstka platform wnioskowania i sprzedawca sprzętu dostarczają wsparcie od dnia 0, fala artykułów o sprzęcie/kosztach pojawia się w ciągu 24–48 godzin, a zdecydowana większość rzeczywistego użycia i tak trafia do API, a nie do samodzielnie zarządzanego wdrożenia.

Prostsza ścieżka: użyj Kimi K3 przez API

Biorąc pod uwagę powyższy próg sprzętowy, samodzielne hostowanie K3 ma sens w wąskim zestawie przypadków: już masz dużą, w większości bezczynną flotę GPU, masz stałe użycie znacznie przekraczające próg rentowności wielu miliardów tokenów, lub masz konkretny powód zgodności, przez który dane nie mogą opuścić twojej infrastruktury. Poza tymi przypadkami matematyka klastra działa przeciwko tobie.

APIMaster.ai ma już kimi-k3 na żywo na swoim rynku modeli, udostępniony przez API kompatybilne z OpenAI. Trasa korzysta zarówno z własnego API Moonshot, jak i zewnętrznej infrastruktury GPU w chmurze uruchamiającej otwarte wagi, więc ceny i dostępność odzwierciedlają więcej niż jedną ścieżkę do tego samego modelu — sprawdź żywą kartę trasy przed przeniesieniem wolumenu produkcyjnego, ponieważ podaż kanałów i ceny mogą się zmieniać.

from openai import OpenAI

client = OpenAI(
    api_key="TWOJ_KLUCZ_APIMASTER",
    base_url="https://apimaster.ai/v1",
)

response = client.chat.completions.create(
    model="kimi-k3",
    reasoning_effort="max",
    messages=[
        {"role": "user", "content": "Podsumuj kompromisy samodzielnego hostowania modelu MoE o 2,8T parametrów."}
    ],
)

print(response.choices[0].message.content)

Aby zacząć:

1. Zarejestruj konto APIMaster.
2. Dodaj środki do portfela za pomocą obsługiwanej metody płatności.
3. Wygeneruj klucz API w konsoli APIMaster.
4. Ustaw model na kimi-k3 i podstawowy URL na https://apimaster.ai/v1 w swojej istniejącej integracji z SDK OpenAI.

Kimi K3 jest również częścią obecnej promocji 40% zniżki na DeepSeek, Kimi K3, MiniMax M3 i GLM-5.2 w APIMaster, a każdą trasę można sprawdzić za pomocą darmowego testera odcisków palców modeli AI przed poleganiem na niej w produkcji.

FAQ

Czy mogę uruchomić Kimi K3 na pojedynczym GPU lub normalnej stacji roboczej?

Nie. Realistyczny próg VRAM wynosi około 1 680 GB. Nawet 18-kartowa stacja RTX PRO 6000 Blackwell (96 GB na kartę) ledwo osiąga tę liczbę na papierze, bez praktycznej topologii do faktycznego obsługiwania modelu w ten sposób. Mac Studio z maksymalnie 512 GB pamięci ujednoliconej to około jedna trzecia potrzebnej ilości.

Jaki jest najtańszy sposób na legalne samodzielne hostowanie Kimi K3?

Wynajęcie węzła w chmurze 8× B300 lub 8× MI355X to punkt wejścia, kosztujący mniej więcej $43 000–$104 000/miesiąc w zależności od dostawcy i cennika instancji. Staje się to konkurencyjne cenowo w porównaniu z oficjalnym API dopiero po kilku miliardach tokenów miesięcznego użycia.

Czy Ollama lub LM Studio obsługują Kimi K3?

Nie oficjalnie. Rekomendowane silniki obsługi Moonshot to vLLM, SGLang i TokenSpeed — wszystkie zbudowane do wdrożeń wielo-GPU w centrach danych, a nie do wnioskowania konsumenckiego na jednej maszynie.

Czy Kimi K3 jest dostępny przez APIMaster?

Tak. Jest dostępny na żywo na rynku APIMaster jako kimi-k3 za kompatybilnym z OpenAI endpointem, korzystającym zarówno z własnego API Moonshot, jak i zewnętrznej pojemności GPU w chmurze uruchamiającej otwarte wagi.

Jak wypada okno kontekstu K3 w porównaniu przy uruchomieniu lokalnym i przez API?

Okno 1M tokenów jest identyczne w obu przypadkach — to właściwość modelu, a nie ścieżki obsługi. Zmienia się zachowanie buforowania prefiksów i koszt: trasa APIMaster i własne API Moonshot obsługują ceny trafień w pamięć podręczną przy powtarzających się długich prefiksach, podczas gdy samodzielne wdrożenie vLLM wymaga jawnego włączenia buforowania prefiksów (domyślnie wyłączone dla K3), aby uzyskać tę samą korzyść.

Źródła

• Karta modelu Kimi K3, Hugging Face
• Moonshot AI, post startowy "Open Frontier Intelligence"
• vLLM, "Kimi K3 Is Here: Efficient Day-0 Support on vLLM"
• Fireworks AI, post startowy Kimi K3
• Baseten, przewodnik budowy API od zera
• AMD, Kimi K3 na GPU AMD Instinct
• Kingy.ai, analiza sprzętu/VRAM/kosztów
• Northflank, benchmarki/cennik/przegląd samodzielnego hostowania
• Oficjalny cennik Kimi K3

Wagi Kimi K3 są otwarte, ale dla prawie każdego najszybszą ścieżką do użycia modelu jest nadal wywołanie API, a nie klaster GPU. Zarejestruj się w APIMaster, aby uzyskać kompatybilny z OpenAI klucz dla kimi-k3 bez zapewniania żadnego sprzętu.