Jev vs. LLMs: Wo ein Entscheidungsmodell das Prompting schlägt – und wo nicht

Es ist keine Frage von „besser oder schlechter"

Jev und ein LLM beantworten unterschiedliche Fragen. Jev beantwortet welches, wie viel oder wie wahrscheinlich; ein LLM beantwortet was geschrieben werden soll.

	Jev	Ein generatives LLM
Ausgabe	Typisierte Antworten mit einer Wahrscheinlichkeit pro Option und einem Konfidenzwert	Text, optional auf ein JSON-Schema beschränkt
Kostenbasis	Nur Input-Tokens; Output ist kostenlos	Input- plus Output-Tokens
Latenzform	Ein Vorwärtsdurchlauf; Fragen fächern sich parallel über einen Zustand auf	Sequenziell generierte Tokens; Reasoning-Modelle fügen einen langen verborgenen Durchlauf hinzu
Konfidenz	Eine kalibrierte Zahl, die man schwellenwertbasiert nutzen kann	Meist keine, oder ein selbst berichteter Satz
Schema	Passt konstruktionsbedingt	Passt, bis das Modell entscheidet, dass es nicht passt
Bekannte Eingabe	Nur Text und strukturierter Zustand, keine Bilder	Text, und Bilder bei multimodalen Modellen
Schlägt es bei	Engen, hochvolumigen Beurteilungen	Generierung, Reasoning, Erklärung, Arithmetik

In dem Moment, in dem man keinen Text mehr als Ausgabe benötigt, ändert sich die Rechnung. Eine klassifikatorförmige Aufgabe, die zwanzig Tokens Prosa pro Element erzeugt, bezahlt diese Tokens für jedes einzelne Element, für immer.

Die Genauigkeitsfrage, mit echten Zahlen

Marketing-Vergleiche stellen üblicherweise den Lieblings-Benchmark des einen Anbieters dem schlechtesten des anderen gegenüber. Der nützliche veröffentlichte Test, den wir gefunden haben, ist Emil Lindfors' Early-Access-Bericht An early-access test of TypeSafe's Jev, durchgeführt an 24 Antworten auf Norwegens Anhörung von 2022 zur Ressourcenrentensteuer für die Lachszucht.

Er labelte zuerst alles mit Claude Fable 5.1 in zwei unabhängigen Durchläufen und verglich dann Jev 1.13 mit DeepSeek V4.1 Flash über OpenRouter – dieselben Fragen in einem Prompt, JSON als Ausgabe, einmal mit aktiviertem Reasoning und einmal ohne.

Aufgabe	Jev 1.13	DeepSeek, Reasoning aus	DeepSeek, Reasoning an
Haltung, 4 Optionen	20 von 24	20 von 24	22 von 24
Respondententyp, 6 Optionen	21 von 23	22 von 23	23 von 23
Argumente, 192 Ja/Nein	0,86	0,89	0,88
Substanz, exakte Stufe	19 von 24	14 von 24	14 von 24

Zwei Dinge lohnt es sich, aus dieser Tabelle herauszulesen. Erstens ist der Autor ausdrücklich der Ansicht, dass dies Übereinstimmung mit den Labels eines Frontier-Modells ist, nicht Korrektheit – wo die Referenz falsch und Jev richtig liegt, wird Jev als falsch gewertet. Bei 24 Dokumenten beträgt das 95%-Intervall bei einer Haltungszahl etwa ±15 Punkte, sodass die drei Spalten bei Haltung und Argumenten gleich sind. Zweitens liegt der eine klare Sieg auf der geordneten Score-Skala, 19 gegen 14: Das ist das Primitiv, das genau das tut, wofür es gebaut wurde, und es ist die Art von Ergebnis, die man aus einer Textantwort überhaupt nicht erhalten würde.

Wer aufgrund dieser Evidenz behauptet, ein Entscheidungsmodell sei kategorisch genauer als ein LLM, überinterpretiert eine Stichprobe von 24 Dokumenten. Die interessante Behauptung ist die engere.

Die Kostenfrage

Derselbe Test bepreiste die Arbeit pro 1.000 Dokumente:

	Jev 1.13	DeepSeek, Reasoning aus	DeepSeek, Reasoning an
Kosten pro 1.000 Dokumente	0,22 $	1,31 $	3,08 $
Median-Latenz	0,32 s	2,7 s	26 s
Langsamste Anfrage	1,3 s	17,9 s	250 s

Etwa ein Sechstel und ein Vierzehntel der beiden LLM-Konfigurationen, bei etwa einem Achtel und einem Achtzigstel der Median-Latenz. Die eigene Zusammenfassung des Autors zur Ursache: Der Wegfall der Textgenerierung ist der Grund, warum der Preis so stark fällt, und die Reasoning-Tokens erkauften zwei zusätzliche Haltungslabels von 24 für die zehnfache Latenz.

Das ist eine Arbeitslast, eine Sprache, ein Tag. Ihre Zahlen werden abweichen – allein die Tokenizer-Effizienz verschiebt sie. Derselbe Bericht maß Jevs Tokenizer bei etwa 2,06 Zeichen pro Token auf Norwegisch, gegenüber den ~4 Zeichen pro Token, die man aus dem Englischen annehmen würde, was das nutzbare Zustandsbudget von etwa 120.000 Zeichen auf etwa 64.000 reduziert.

Kalibrierung ist der eigentliche Unterschied

Das ist der Teil, der entscheidet, ob man automatisieren kann. Ein Modell, das in 86 % der Fälle recht hat und weiß, bei welchen 14 % es falsch liegt, ist ein anderes Werkzeug als ein Modell, das in 88 % der Fälle recht hat und bei allem gleich sicher klingt.

Aus demselben Durchlauf, bei 192 Argumentbewertungen:

Von Jev angegebene Wahrscheinlichkeit	Bewertungen	Referenz stimmte zu
0,0 – 0,1	14	0 %
0,1 – 0,3	56	4 %
0,3 – 0,7	41	34 %
0,7 – 0,9	38	97 %
0,9 – 1,0	43	98 %

Die Richtung stimmt bei jedem Schritt, und das Modell ist an beiden Enden leicht unterkonfident – TypeSafe's eigenes Ziel ist, dass Ergebnisse, denen 0,8 zugewiesen wird, etwa 80 % der Zeit eintreten sollten, und das mittlere Bin kam auf 34 % statt auf ~50 %.

Die praktische Version dieser Tabelle ist ein Schwellenwert. Teilt man die Auswahlfragen an der höchsten Wahrscheinlichkeit auf:

	Höchste Wahrscheinlichkeit ≥ 0,9	Unter 0,9
Haltung	14 von 15 stimmen zu	6 von 9 stimmen zu
Respondententyp	20 von 20 stimmen zu	1 von 3 stimmen zu

Das ist das Betriebsmuster: die konfidente Mehrheit akzeptieren, den Rest eskalieren. TypeSafe's eigenes SEC-Filings-Kochbuch berichtet 27 von 30 korrekt bei 0,9 oder höher auf Englisch; der norwegische Durchlauf erreichte 14 von 15.

Der Vergleich läuft nur in eine Richtung. Mit aktiviertem Reasoning setzte DeepSeek 84 seiner 192 Argumentantworten über 0,9 – und im Fenster 0,7–0,9 stimmten seine Labels 48 % der Zeit mit der Referenz überein. Ein Modell, dessen Konfidenz nicht kalibriert ist, kann nicht als Gate verwendet werden, egal wie gut seine Antworten sind.

Wo ein LLM weiterhin die richtige Wahl ist

• Generierung. Jev wird nicht die Zusammenfassung, die Antwort oder die Commit-Nachricht schreiben. TypeSafe's eigene Dokumentation verweist die Generierung an ein generatives Modell.
• Reasoning und Multi-Hop-Fragen. TypeSafe listet Indirektion als bekannte Schwäche auf: Fragen mit doppelten Verneinungen oder mehreren Sprüngen kosten Genauigkeit.
• Arithmetik, Daten und Zählen. Als unzuverlässig dokumentiert, und der Fehler wächst mit der Größe des Gezählten. Behalten Sie es im Code.
• Bilder und Audio. Jev ist textbasiert. In TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway wandelte Bartosz Mikulski 400 Skizzen in SVG-Koordinatenstrings um und bat Jev, sie zu benennen. Es schlug eine Zehn-Wege-Zufallsbasislinie deutlich, verlor gegen Claude Sonnet 5 und antwortete bei mehr als der Hälfte der Zeichnungen mit „airplane". Derselbe Inhalt als Base64 kodiert landete beim Zufall – eine nützliche Erinnerung daran, dass ein Textmodell, das Zahlen liest, sie als Text liest.
• Alles, was eine Erklärung erfordert. „Warum hast du dieses so gelabelt" ist keine Frage, die eine Wahrscheinlichkeit beantwortet.

Der Gründer von TypeSafe vertritt ein verwandtes Argument auf der LLM-Seite, das es wert ist, gekannt zu werden, da es gegen einen verbreiteten Workaround spricht: Im Launch-Thread argumentierte er, dass constrained Decoding, wie es OpenAI-artige strukturierte Ausgaben verwenden, Modelle dümmer macht, weil das Maskieren ungültiger Tokens nicht dasselbe ist wie ein Modell, das nicht verwirrt über sie ist. Betrachten Sie das als Position eines Anbieters und nicht als gesichertes Ergebnis – aber es bedeutet, dass „einfach JSON aus einem günstigen Modell erzwingen" nicht automatisch gleichwertig mit einer typisierten Antwort ist.

Das Muster, das funktioniert

Die nützlichste Schlussfolgerung im norwegischen Bericht ist, dass die Wahl kein Entweder-oder ist. Das eigene Projekt des Autors verwendete drei Modelle für drei Aufgaben:

Aufgabe	Modell	Warum
48 sorgfältige Referenzlabels	Fable 5.1	Wenige Dokumente, Ermessensentscheidungen, Kosten spielen keine Rolle
Jedes Dokument, jede Frage	Jev	Kostengünstig, schnell und sagt, wenn es unsicher ist
Eine zweite Meinung zum unsicheren Drittel	DeepSeek oder eine Person	Langsamer und teurer, also nur dort, wo es nötig ist

Man kann diese Form heute mit einem einzigen OpenAI-kompatiblen Schlüssel betreiben, indem man eine kostengünstige Stufe als ersten Durchlauf und eine stärkere nur für die Fälle verwendet, die der erste Durchlauf nicht klären kann:

1. Erster Durchlauf auf der günstigsten Stufe, die Ihre Messlatte überschreitet. gpt-5.6-luna zu 0,022 $ / 0,134 $ pro 1 Mio., oder glm-5.3-flash zu 0,105 $ / 0,35 $, oder deepseek-flash zu 0,15 $ / 0,60 $.
2. Erzwingen Sie die Entscheidung in eine geschlossene Menge im Prompt und fordern Sie daneben einen Konfidenzwert an. Behandeln Sie den Wert als Hinweis, nicht als kalibrierte Wahrscheinlichkeit – das ist die Lücke, die ein Entscheidungsmodell füllt und Prompt-Engineering nicht.
3. Eskalieren Sie nur, was unter Ihren Schwellenwert fällt. gpt-5.6-sol ab 0,297 $ / 1,781 $ über 19 Routen, oder gemini-3.8-flash ab 0,20 $ / 1,00 $ über 7.
4. Behalten Sie Arithmetik, Daten und Zählen in Ihrem eigenen Code, für beide Stufen. Es ist günstiger und es ist korrekt.
5. Messen Sie Ihre eigene Übereinstimmungsrate, bevor Sie skalieren. Fünfzig handgelabelte Elemente sagen Ihnen mehr als jede Benchmark-Tabelle, einschließlich dieser.

Die Ökonomie dieses Musters ist der Grund, warum Routing als Kategorie überhaupt existiert: Der erste Durchlauf ist dort, wohin fast das gesamte Volumen geht, und die Eskalationsstufe ist dort, woher fast die gesamte Qualität kommt. Die zweite braucht man nur für die Minderheit, die man nicht klassifizieren kann.

Erstellen Sie ein APIMaster-Konto, fügen Sie Pay-as-you-go-Guthaben ab 1 $ hinzu, erstellen Sie einen Schlüssel in der Konsole und richten Sie einen OpenAI-kompatiblen Client auf https://apimaster.ai/v1 mit einer der oben genannten Modell-IDs. Ein Schlüssel deckt die Familien GPT, GLM, DeepSeek, Gemini und Claude ab, sodass der Eskalationspfad auf derselben Integration bleibt. Validieren Sie eine Route mit dem Modell-Tester, bevor Sie Produktionsverkehr verlagern.

FAQ

Ist Jev ein Sprachmodell? Nein. TypeSafe beschreibt es als strukturiertes Datenmodell, und die eigene Formulierung des Gründers im Launch-Thread lautet, dass es „technically not a language model (it doesn't generate language)" ist. Es liest Text und liefert Entscheidungen.

Ist Jev genauer als ein LLM? Auf Basis der veröffentlichten Evidenz nicht messbar. In einem norwegischen Test mit 24 Dokumenten stimmten Jev und DeepSeek V4.1 Flash bei Haltungs- und Argumentfragen mit derselben Rate mit den Referenzlabels überein. Bei einer geordneten Skalenaufgabe lag Jev klar vorn.

Ist Jev günstiger als ein LLM? Ja, pro Aufgabe – nicht pro Input-Token. Jevs 0,042 $ pro 1 Mio. Input-Tokens werden von gpt-5.6-luna mit 0,022 $ beim Input unterboten, aber Jev gibt überhaupt keine Output-Tokens aus, und generative Modelle werden für den Output abgerechnet. In der veröffentlichten Arbeitslast ergab das 0,22 $ pro 1.000 Dokumente gegenüber 1,31 $ und 3,08 $.

Was ist „LLM as a judge" und wie unterscheidet es sich? LLM-as-a-judge bedeutet, ein generatives Modell zu bitten, etwas zu bewerten oder zu labeln, und die Antwort aus seinem Text herauszulesen. Es funktioniert, aber man bezahlt für den Text, man wartet auf die Tokens, und die zurückerhaltene Konfidenz ist keine kalibrierte Wahrscheinlichkeit. Ein Entscheidungsmodell liefert dieselbe Beurteilung als typisierte Antwort, die man schwellenwertbasiert nutzen kann.

Kann ich stattdessen einfach JSON-Ausgabe aus einem günstigen Modell erzwingen? Das liefert Ihnen das Schema, nicht die Kalibrierung. Constrained Decoding macht die Ausgabe parsebar; es sagt Ihnen nicht, welchen Antworten man misstrauen sollte, und TypeSafe argumentiert, dass es die Qualität verschlechtern kann, indem es Tokens maskiert, bei denen das Modell tatsächlich unsicher war.

Welches sollte ich für die Klassifikation verwenden? Wenn Sie wenige Beurteilungen treffen, bei denen Genauigkeit alles ist, und sie überprüfen können, ist ein gutes LLM in Ordnung. Wenn Sie viele Beurteilungen treffen und automatisieren müssen, verwenden Sie das, was ein nutzbares Konfidenzsignal liefert, und eskalieren Sie die unsicheren.

Verarbeitet Jev nicht-englischen Text? Ja, mit Einschränkungen. TypeSafe sagt, dass Englisch die beste Genauigkeit bietet und andere Sprachen einschließlich CJK verarbeitet werden, aber nicht gleich gut. Der obige norwegische Test ergab, dass es gescannte Ratsprotokolle korrekt las, und maß zudem die Tokenizer-Effizienz bei etwa 2,06 Zeichen pro Token – es lohnt sich, dies in Ihrer eigenen Sprache zu prüfen, bevor Sie um das Kontextlimit herum planen.

Kann Jev Bilder sehen? Nein. Es ist textbasiert. Ein Bild in Text umzuwandeln und Jev danach zu fragen, kann den Zufall schlagen, aber es verliert deutlich gegen ein Modell, das tatsächlich sehen kann.

Ist Jev auf APIMaster verfügbar? Ja. Verwenden Sie jev-latest mit dem nativen Endpunkt POST https://apimaster.ai/v1/systemone. Es kostet 0,042 $ pro 1 Mio. Input-Tokens und 0 $ Output; siehe die Jev-Marktplatzkarte für die Live-Verfügbarkeit.

Mit welchem kostengünstigen Modell sollte ich für einen ersten Durchlauf beginnen? gpt-5.6-luna ist die günstigste Stufe auf dem Marktplatz mit 0,022 $ / 0,134 $ pro 1 Mio. Tokens über 3 Routen – der niedrigste Input- und Output-Tarif in der Tabelle dieses Artikels. glm-5.3-flash zu 0,105 $ / 0,35 $ und deepseek-flash zu 0,15 $ / 0,60 $ sind die nächsten Stufen. Messen Sie an Ihren eigenen Daten, bevor Sie Volumen festlegen.

Quellen und weiterführende Literatur

• Emil Lindfors — An early-access test of TypeSafe's Jev — 24 norwegische Anhörungsdokumente, Jev gegen DeepSeek V4.1 Flash mit und ohne Reasoning, mit Übereinstimmung pro Aufgabe, Kalibrierungs-Bins, Kosten und Latenz
• Bartosz Mikulski — TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway — 400 Skizzen als Koordinatenstrings, Zufallsbasislinie und der Sonnet-5-Vergleich
• TypeSafe — Models — Modell-ID, 42 $/Btok-Preisgestaltung, Ratenlimits, Kontextbudget und Sprachunterstützung
• TypeSafe — Jev 1.13 jaggedness — die veröffentlichten Umfangshinweise zu wörtlichem Lesen, Arithmetik, Daten, Indirektion und Generierung
• TypeSafe — Introducing System One Models and Jev — die End-to-End-Zahl von 70–500 ms und der Vergleich 40×–200×
• Hacker News Launch-Thread — die Kommentare des Gründers dazu, was Jev nicht ist, zu constrained Decoding und dazu, warum der Output kostenlos ist

Testergebnisse von Drittanbietern werden so wiedergegeben, wie ihre Autoren sie veröffentlicht haben; keiner der Autoren wurde für seinen Bericht bezahlt oder hat diese Seite überprüft. APIMaster-Routenpreise wurden am 21. September 2026 ausgelesen.