Jev vs LLM-y: Gdzie model decyzyjny bije promptowanie, a gdzie nie

To nie jest pytanie „lepszy czy gorszy"

Jev i LLM odpowiadają na różne pytania. Jev odpowiada który, ile lub jak prawdopodobnie; LLM odpowiada co należy napisać.

	Jev	Generatywny LLM
Wyjście	Typowane odpowiedzi z prawdopodobieństwem dla każdej opcji i wartością pewności	Tekst, opcjonalnie ograniczony do schematu JSON
Podstawa kosztu	Tylko tokeny wejściowe; wyjście jest darmowe	Tokeny wejściowe plus wyjściowe
Kształt opóźnienia	Jeden przebieg w przód; pytania rozgałęziają się równolegle w jednym stanie	Sekwencyjnie generowane tokeny; modele rozumujące dodają długi ukryty przebieg
Pewność	Skalibrowana liczba, którą możesz progować	Zwykle brak lub samodzielnie zgłaszane zdanie
Schemat	Dopasowuje z założenia	Dopasowuje, dopóki model nie zdecyduje, że nie
Znane wejście	Tylko tekst i stan strukturalny, bez obrazów	Tekst, a dla modeli multimodalnych obrazy
Wygrywa w	Wąskich, wysokowolumenowych osądach	Generowaniu, rozumowaniu, wyjaśnianiu, arytmetyce

W momencie, gdy przestajesz potrzebować tekstu na wyjściu, arytmetyka się zmienia. Zadanie w kształcie klasyfikatora, które produkuje dwadzieścia tokenów prozy na element, płaci za te tokeny przy każdym elemencie, na zawsze.

Pytanie o dokładność, z prawdziwymi liczbami

Porównania marketingowe zwykle zestawiają ulubiony benchmark jednego dostawcy z najgorszym drugiego. Użyteczny opublikowany test, jaki znaleźliśmy, to wczesnodostępny wpis Emila Lindforsa, An early-access test of TypeSafe's Jev, przeprowadzony na 24 odpowiedziach na norweskie konsultacje z 2022 r. dotyczące podatku od renty z tytułu zasobów w hodowli łososi.

Najpierw oznaczył wszystko za pomocą Claude Fable 5.1 w dwóch niezależnych przebiegach, a następnie porównał Jev 1.13 z DeepSeek V4.1 Flash przez OpenRouter — te same pytania w jednym prompcie, wyjście JSON, raz z włączonym rozumowaniem, raz z wyłączonym.

Zadanie	Jev 1.13	DeepSeek, rozumowanie wyłączone	DeepSeek, rozumowanie włączone
Stanowisko, 4 opcje	20 z 24	20 z 24	22 z 24
Typ respondenta, 6 opcji	21 z 23	22 z 23	23 z 23
Argumenty, 192 tak/nie	0,86	0,89	0,88
Istota, dokładny poziom	19 z 24	14 z 24	14 z 24

Z tej tabeli warto odczytać dwie rzeczy. Po pierwsze, autor wyraźnie zaznacza, że to zgodność z etykietami modelu frontier, a nie poprawność — tam, gdzie referencja się myli, a Jev ma rację, Jev jest oceniany jako błędny. Przy 24 dokumentach 95-procentowy przedział dla liczby stanowiska wynosi około ±15 punktów, więc trzy kolumny są takie same dla stanowiska i argumentów. Po drugie, jedyne wyraźne zwycięstwo dotyczy uporządkowanej skali Score, 19 wobec 14: to jest prymityw robiący dokładnie to, do czego został zbudowany, i to rodzaj wyniku, którego w ogóle nie uzyskałbyś z odpowiedzi tekstowej.

Każdy, kto na podstawie tych dowodów twierdzi, że model decyzyjny jest kategorycznie dokładniejszy niż LLM, nadinterpretuje próbę 24 dokumentów. Ciekawsze jest twierdzenie węższe.

Pytanie o koszt

Ten sam test wycenił pracę na 1000 dokumentów:

	Jev 1.13	DeepSeek, rozumowanie wyłączone	DeepSeek, rozumowanie włączone
Koszt na 1000 dokumentów	0,22 USD	1,31 USD	3,08 USD
Mediana opóźnienia	0,32 s	2,7 s	26 s
Najwolniejsze żądanie	1,3 s	17,9 s	250 s

Mniej więcej jedna szósta i jedna czternasta dwóch konfiguracji LLM, przy mniej więcej jednej ósmej i jednej osiemdziesiątej mediany opóźnienia. Własne podsumowanie przyczyny przez autora: rezygnacja z generowania tekstu jest powodem, dla którego cena spada tak daleko, a tokeny rozumowania kupiły dwie dodatkowe etykiety stanowiska na 24 za dziesięciokrotność opóźnienia.

To jedno obciążenie, jeden język, jeden dzień. Twoje liczby będą inne — sama wydajność tokenizera je zmienia. Ten sam wpis zmierzył tokenizer Jeva na około 2,06 znaku na token w języku norweskim, wobec ~4 znaków na token, których domyślnie oczekiwałbyś dla angielskiego, co obniża użyteczny budżet stanu z około 120 000 znaków do około 64 000.

Kalibracja to rzeczywista różnica

To jest część, która decyduje o tym, czy możesz zautomatyzować proces. Model, który ma rację w 86% przypadków i wie, w których 14% się myli, to inne narzędzie niż model, który ma rację w 88% przypadków i brzmi równie pewnie we wszystkich kwestiach.

Z tego samego przebiegu, na 192 osądach argumentów:

Zadeklarowane prawdopodobieństwo Jeva	Osądy	Referencja się zgodziła
0,0 – 0,1	14	0%
0,1 – 0,3	56	4%
0,3 – 0,7	41	34%
0,7 – 0,9	38	97%
0,9 – 1,0	43	98%

Kierunek jest właściwy na każdym kroku, a model jest nieco zbyt mało pewny siebie na obu krańcach — własnym celem TypeSafe jest, aby wyniki przypisane 0,8 występowały w około 80% przypadków, a środkowy przedział wypadł na 34%, a nie ~50%.

Praktyczna wersja tej tabeli to próg. Dzieląc pytania wyboru według najwyższego prawdopodobieństwa:

	Najwyższe prawdopodobieństwo ≥ 0,9	Poniżej 0,9
Stanowisko	14 z 15 się zgadza	6 z 9 się zgadza
Typ respondenta	20 z 20 się zgadza	1 z 3 się zgadza

To jest wzorzec operacyjny: przyjmij pewną większość, eskaluj resztę. Własny cookbook TypeSafe dotyczący dokumentów SEC donosi o 27 z 30 poprawnych przy 0,9 lub wyżej w języku angielskim; przebieg norweski dał 14 z 15.

Porównanie działa tylko w jedną stronę. Z włączonym rozumowaniem DeepSeek umieścił 84 ze swoich 192 odpowiedzi na argumenty powyżej 0,9 — a w oknie 0,7–0,9 jego etykiety zgadzały się z referencją w 48% przypadków. Model, którego pewność nie jest skalibrowana, nie może służyć jako bramka, niezależnie od tego, jak dobre są jego odpowiedzi.

Gdzie LLM jest nadal właściwym wyborem

• Generowanie. Jev nie napisze streszczenia, odpowiedzi ani wiadomości commita. Własna dokumentacja TypeSafe kieruje generowanie do modelu generatywnego.
• Rozumowanie i pytania wieloetapowe. TypeSafe wymienia pośredność jako znaną słabość: pytania z podwójnymi przeczeniami lub wieloma krokami obniżają dokładność.
• Arytmetyka, daty i liczenie. Udokumentowane jako zawodne, a błąd rośnie wraz z rozmiarem liczonej rzeczy. Trzymaj to w kodzie.
• Obrazy i dźwięk. Jev obsługuje tylko tekst. W TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway Bartosz Mikulski przekształcił 400 szkiców w łańcuchy współrzędnych SVG i poprosił Jeva o ich nazwanie. Wyraźnie pobił dziesięcioklasową losową podstawę, przegrał z Claude Sonnet 5 i odpowiedział „samolot" na ponad połowę rysunków. Ta sama treść zakodowana jako base64 wylądowała na poziomie losowości — użyteczne przypomnienie, że model tekstowy czytający liczby czyta je jako tekst.
• Wszystko, co wymaga wyjaśnienia. „Dlaczego oznaczyłeś to w ten sposób" nie jest pytaniem, na które odpowiada prawdopodobieństwo.

Założyciel TypeSafe przedstawia pokrewny argument po stronie LLM, który warto znać, ponieważ podważa popularny obejście: w wątku premierowym argumentował, że dekodowanie ograniczone, jakiego używają strukturalne wyjścia w stylu OpenAI, czyni modele głupszymi, ponieważ maskowanie nieprawidłowych tokenów nie jest tym samym co brak dezorientacji modelu co do nich. Traktuj to jako stanowisko dostawcy, a nie ustalony wynik — ale oznacza to, że „po prostu wymuś JSON z taniego modelu" nie jest automatycznie równoważne typowanej odpowiedzi.

Wzorzec, który działa

Najbardziej użyteczny wniosek z norweskiego wpisu jest taki, że wybór nie jest alternatywą. Własny projekt autora użył trzech modeli do trzech zadań:

Zadanie	Model	Dlaczego
48 starannych etykiet referencyjnych	Fable 5.1	Niewiele dokumentów, decyzje osądowe, koszt nie ma znaczenia
Każdy dokument, każde pytanie	Jev	Niski koszt, szybkość i mówi, kiedy nie jest pewien
Druga opinia na temat niepewnej jednej trzeciej	DeepSeek lub człowiek	Wolniejsze i droższe, więc tylko tam, gdzie to potrzebne

Możesz uruchomić ten kształt już dziś za pomocą jednego klucza zgodnego z OpenAI, używając niskokosztowej warstwy jako pierwszego przebiegu, a silniejszej tylko dla przypadków, których pierwszy przebieg nie rozstrzygnie:

1. Pierwszy przebieg na najtańszej warstwie, która spełnia twój próg. gpt-5.6-luna za 0,022 / 0,134 USD za 1 mln, albo glm-5.3-flash za 0,105 / 0,35, albo deepseek-flash za 0,15 / 0,60.
2. Wymuś decyzję w zamkniętym zbiorze w prompcie i poproś o wynik pewności obok niej. Traktuj wynik jako wskazówkę, nie jako skalibrowane prawdopodobieństwo — to luka, którą wypełnia model decyzyjny, a inżynieria promptów nie.
3. Eskaluj tylko to, co spada poniżej twojego progu. gpt-5.6-sol od 0,297 / 1,781 USD na 19 trasach, albo gemini-3.8-flash od 0,20 / 1,00 USD na 7.
4. Trzymaj arytmetykę, daty i liczenie we własnym kodzie, dla obu warstw. Jest taniej i poprawnie.
5. Zmierz własny wskaźnik zgodności przed skalowaniem. Pięćdziesiąt ręcznie oznaczonych elementów powie ci więcej niż jakakolwiek tabela benchmarków, w tym ta.

Ekonomia tego wzorca jest powodem, dla którego routing istnieje jako kategoria: pierwszy przebieg to miejsce, do którego trafia niemal cały wolumen, a warstwa eskalacji to miejsce, z którego pochodzi niemal cała jakość. Drugiej potrzebujesz tylko dla mniejszości, której nie potrafisz sklasyfikować.

Załóż konto APIMaster, dodaj kredyt rozliczany za rzeczywiste użycie od 1 USD, utwórz klucz w konsoli i skieruj klienta zgodnego z OpenAI na https://apimaster.ai/v1 z dowolnym z powyższych identyfikatorów modeli. Jeden klucz obejmuje rodziny GPT, GLM, DeepSeek, Gemini i Claude, więc ścieżka eskalacji pozostaje w tej samej integracji. Zweryfikuj trasę za pomocą testera modeli, zanim przeniesiesz ruch produkcyjny.

FAQ

Czy Jev jest modelem językowym? Nie. TypeSafe opisuje go jako model danych strukturalnych, a własne sformułowanie założyciela w wątku premierowym jest takie, że „technicznie nie jest modelem językowym (nie generuje języka)". Czyta tekst i zwraca decyzje.

Czy Jev jest dokładniejszy niż LLM? Nie w mierzalnym stopniu, na podstawie opublikowanych dowodów. W norweskim teście na 24 dokumentach Jev i DeepSeek V4.1 Flash zgadzały się z etykietami referencyjnymi w tym samym stopniu w pytaniach o stanowisko i argumenty. Jev był wyraźnie z przodu w jednym zadaniu na skali uporządkowanej.

Czy Jev jest tańszy niż LLM? Tak, na zadanie — nie na token wejściowy. Cena Jeva 0,042 USD za 1 mln tokenów wejściowych jest podcinana przez gpt-5.6-luna za 0,022 USD na wejściu, ale Jev nie emituje żadnych tokenów wyjściowych, a modele generatywne są rozliczane za wyjście. W opublikowanym obciążeniu dało to 0,22 USD na 1000 dokumentów wobec 1,31 i 3,08 USD.

Czym jest „LLM as a judge" i czym się różni? LLM-as-a-judge oznacza poproszenie modelu generatywnego o ocenę lub oznaczenie czegoś i odczytanie odpowiedzi z jego tekstu. To działa, ale płacisz za tekst, czekasz na tokeny, a otrzymana pewność nie jest skalibrowanym prawdopodobieństwem. Model decyzyjny zwraca ten sam osąd jako typowaną odpowiedź, którą możesz progować.

Czy mogę po prostu wymusić wyjście JSON z taniego modelu? Dostajesz schemat, nie kalibrację. Dekodowanie ograniczone sprawia, że wyjście się parsuje; nie mówi ci, którym odpowiedziom nie ufać, a TypeSafe argumentuje, że może obniżyć jakość przez maskowanie tokenów, co do których model był naprawdę niepewny.

Którego użyć do klasyfikacji? Jeśli dokonujesz kilku osądów, gdzie dokładność jest wszystkim i możesz je przejrzeć, dobry LLM wystarczy. Jeśli dokonujesz wielu osądów i musisz automatyzować, użyj tego, co zwraca użyteczny sygnał pewności, i eskaluj niepewne przypadki.

Czy Jev obsługuje tekst w językach innych niż angielski? Tak, z zastrzeżeniami. TypeSafe mówi, że angielski jest tym, w którym dokładność jest najlepsza, a inne języki, w tym CJK, są obsługiwane, ale nie równie dobrze. Powyższy norweski test wykazał, że poprawnie odczytuje zeskanowane protokoły rady, a także zmierzył wydajność tokenizera na około 2,06 znaku na token — warto to sprawdzić w swoim języku, zanim zaplanujesz wokół limitu kontekstu.

Czy Jev widzi obrazy? Nie. Obsługuje tylko tekst. Przekształcenie obrazu w tekst i zapytanie Jeva o niego może pobić losowość, ale przegrywa wyraźnie z modelem, który naprawdę widzi.

Czy Jev jest dostępny na APIMaster? Tak. Użyj jev-latest z natywnym endpointem POST https://apimaster.ai/v1/systemone. Kosztuje 0,042 USD za 1 mln tokenów wejściowych i 0 USD za wyjście; zobacz kartę Jeva w marketplace, aby sprawdzić bieżącą dostępność.

Od którego niskokosztowego modelu zacząć dla pierwszego przebiegu? gpt-5.6-luna to najtańsza warstwa w marketplace za 0,022 / 0,134 USD za 1 mln tokenów na 3 trasach — najniższa stawka wejściowa i wyjściowa w tabeli tego artykułu. glm-5.3-flash za 0,105 / 0,35 i deepseek-flash za 0,15 / 0,60 to kolejne kroki w górę. Zmierz na własnych danych, zanim zobowiążesz wolumen.

Źródła i dalsza lektura

• Emil Lindfors — An early-access test of TypeSafe's Jev — 24 norweskie dokumenty konsultacyjne, Jev przeciwko DeepSeek V4.1 Flash z rozumowaniem i bez, z zgodnością na zadanie, przedziałami kalibracji, kosztem i opóźnieniem
• Bartosz Mikulski — TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway — 400 szkiców jako łańcuchy współrzędnych, losowa podstawa i porównanie z Sonnet 5
• TypeSafe — Models — identyfikator modelu, cennik 42 USD/Btok, limity szybkości, budżet kontekstu i obsługa języków
• TypeSafe — Jev 1.13 jaggedness — opublikowane notatki o zakresie dotyczące dosłownego czytania, arytmetyki, dat, pośredności i generowania
• TypeSafe — Introducing System One Models and Jev — liczba 70–500 ms end-to-end i porównanie 40×–200×
• Wątek premierowy na Hacker News — komentarze założyciela o tym, czym Jev nie jest, o dekodowaniu ograniczonym i o tym, dlaczego wyjście jest darmowe

Wyniki testów zewnętrznych są przytoczone w formie, w jakiej opublikowali je ich autorzy; żaden z autorów nie otrzymał wynagrodzenia za swój wpis ani nie recenzował tej strony. Ceny tras APIMaster zostały odczytane 21 września 2026.