Jev 対 LLM：意思決定モデルがプロンプティングに勝る場面と、そうでない場面

「優れているか劣っているか」という問題ではない

JevとLLMは異なる問いに答えています。Jevが答えるのはどれか、どれだけか、どのくらいの確率かであり、LLMが答えるのは何を書くべきかです。

	Jev	生成LLM
出力	選択肢ごとの確率と信頼値を持つ型付き回答	テキスト。任意でJSONスキーマに制約可能
コスト基準	入力トークンのみ。出力は無料	入力＋出力トークン
レイテンシの形	1回のフォワードパス。質問は1つの状態上で並列に展開	逐次生成されるトークン。推論モデルは長い隠れたパスを追加
信頼度	しきい値を設定できるキャリブレーション済みの数値	通常はなし、または自己申告の文
スキーマ	構造上必ず一致	モデルが一致しないと判断するまで一致
扱える入力	テキストと構造化状態のみ。画像なし	テキスト、およびマルチモーダルモデルでは画像
優位な領域	狭く大量な判定	生成、推論、説明、算術

テキスト出力が不要になった瞬間、計算は変わります。項目ごとに20トークンの文章を生成する分類器型タスクは、すべての項目で、永遠にそのトークン分を支払い続けます。

精度の問いを、実際の数字で

マーケティング上の比較はたいてい、各ベンダーが最も好むベンチマークを相手の最悪の結果と比べます。私たちが見つけた有用な公開テストは、Emil Lindforsによる早期アクセス記事An early-access test of TypeSafe's Jevで、ノルウェーの2022年サーモン養殖資源レント税に関する意見聴取への24件の回答を対象に実施されました。

彼はまずClaude Fable 5.1で2回の独立したパスに分けてすべてにラベルを付け、その後OpenRouter経由でJev 1.13とDeepSeek V4.1 Flashを比較しました——同じ質問を1つのプロンプトに入れ、JSONで出力し、推論オンとオフの2回実行しました。

タスク	Jev 1.13	DeepSeek、推論オフ	DeepSeek、推論オン
スタンス、4択	24件中20件	24件中20件	24件中22件
回答者タイプ、6択	23件中21件	23件中22件	23件中23件
論点、192件のyes/no	0.86	0.89	0.88
実質、正確なレベル	24件中19件	24件中14件	24件中14件

この表から読み取る価値のある点が2つあります。第一に、著者はこれらがフロンティアモデルのラベルとの一致であり、正しさではないと明言しています——参照が誤っていてJevが正しい場合、Jevは誤りとして採点されます。24文書では、スタンス数値の95%区間は約±15ポイントなので、スタンスと論点では3列は同じです。第二に、明確な勝利は順序付きのScoreスケールでの19対14です。これはプリミティブがまさにそのために作られた通りの働きであり、テキスト回答ではまったく得られない種類の結果です。

この証拠をもとに、意思決定モデルがLLMよりカテゴリ的に高精度だと主張する人は、24文書のサンプルを過大に読んでいます。興味深い主張はより狭いものです。

コストの問い

同じテストで、1,000文書あたりの作業コストが算出されました：

	Jev 1.13	DeepSeek、推論オフ	DeepSeek、推論オン
1,000文書あたりのコスト	$0.22	$1.31	$3.08
中央値レイテンシ	0.32秒	2.7秒	26秒
最遅リクエスト	1.3秒	17.9秒	250秒

2つのLLM構成のおよそ6分の1と14分の1、中央値レイテンシではおよそ8分の1と80分の1です。著者自身による原因の要約：テキスト生成を捨てることが価格をそこまで下げる理由であり、推論トークンは24件中2件の追加スタンスラベルを10倍のレイテンシと引き換えに買ったものでした。

これらは1つのワークロード、1つの言語、1日分の数字です。あなたの数字は異なります——トークナイザ効率だけでも変わります。同じ記事では、Jevのトークナイザがノルウェー語で1トークンあたり約2.06文字と測定されています。英語から想定される1トークンあたり約4文字に対して、使用可能な状態予算は約120,000文字から約64,000文字に減ります。

キャリブレーションこそが実際の違い

ここが自動化できるかどうかを決める部分です。86%の確率で正しく、かつ自分が誤っている14%がどれかを分かっているモデルは、88%の確率で正しく、すべてについて同じくらい自信ありげに聞こえるモデルとは別のツールです。

同じ実行から、192件の論点判定について：

Jevの申告確率	判定数	参照が一致
0.0 – 0.1	14	0%
0.1 – 0.3	56	4%
0.3 – 0.7	41	34%
0.7 – 0.9	38	97%
0.9 – 1.0	43	98%

方向性はどの段階でも正しく、モデルは両端でやや自信不足です——TypeSafe自身の目標は、0.8を割り当てた結果が約80%の割合で発生することであり、中央のビンは約50%ではなく34%でした。

この表の実用的な形はしきい値です。選択式の質問を最大確率で分割すると：

	最大確率 ≥ 0.9	0.9未満
スタンス	15件中14件が一致	9件中6件が一致
回答者タイプ	20件中20件が一致	3件中1件が一致

これが運用パターンです：自信のある多数派を受け入れ、残りをエスカレーションする。 TypeSafe自身のSEC提出書類クックブックは、英語で0.9以上において30件中27件正しいと報告しています。ノルウェー語の実行では15件中14件でした。

比較は一方通行です。推論を有効にすると、DeepSeekは192件の論点回答のうち84件を0.9超に置きました——そして0.7～0.9のウィンドウでは、そのラベルが参照と一致したのは48%でした。信頼度がキャリブレーションされていないモデルは、回答がどれほど優れていてもゲートとして使えません。

LLMが依然として正しい選択となる場面

• 生成。 Jevは要約や返信、コミットメッセージを書きません。TypeSafe自身のドキュメントも生成は生成モデルに任せています。
• 推論とマルチホップの質問。 TypeSafeは間接性を既知の弱点として挙げています：二重否定や複数ホップを含む質問は精度を損ないます。
• 算術、日付、計数。 信頼できないと記録されており、誤差は数える対象のサイズとともに増大します。コードに留めておきましょう。
• 画像と音声。 Jevはテキスト専用です。TypeSafe's Jev Can't See. I Made It Guess What I Drew Anywayでは、Bartosz Mikulskiが400点のスケッチをSVG座標文字列に変換し、Jevにその名前を答えさせました。10択のチャンスベースラインを明確に上回りましたがClaude Sonnet 5には敗れ、半数以上の絵で「airplane」と回答しました。同じ内容をbase64でエンコードするとチャンスレベルに落ちました——テキストモデルが数値を読むとき、それはテキストとして読んでいるという有用なリマインダーです。
• 説明が必要なもの。 「なぜこれをそうラベル付けしたのか」は確率が答える問いではありません。

TypeSafeの創業者はLLM側について関連する主張をしており、一般的な回避策に反するので知っておく価値があります：ローンチスレッドで彼は、OpenAI式の構造化出力が使うような制約付きデコーディングはモデルを愚かにすると主張しました。無効なトークンをマスクすることは、モデルがそれらについて混乱していないことと同じではないからです。これは確定した結果ではなくベンダーの立場として扱うべきですが、「安価なモデルから無理やりJSONを出させる」ことが型付き回答と自動的に等価ではないことは意味しています。

うまくいくパターン

ノルウェー語の記事で最も有用な結論は、選択が二者択一ではないということです。著者自身のプロジェクトでは3つの仕事に3つのモデルを使いました：

仕事	モデル	理由
48件の慎重な参照ラベル	Fable 5.1	文書数が少なく、判断が求められ、コストは問題にならない
すべての文書、すべての質問	Jev	低コスト、高速、そして不確かなときにそれを言う
不確かな3分の1に対するセカンドオピニオン	DeepSeekまたは人間	遅く高価なので、必要な箇所だけ

この形は今日、1つのOpenAI互換キーで実行できます。安価なティアを最初のパスとして使い、最初のパスで決着できないケースだけにより強力なティアを使います：

1. 基準をクリアする最も安価なティアで最初のパスを行う。 gpt-5.6-lunaが100万あたり$0.022 / $0.134、またはglm-5.3-flashが$0.105 / $0.35、またはdeepseek-flashが$0.15 / $0.60。
2. プロンプトで決定を閉じた集合に強制し、それと併せて信頼スコアを求めます。スコアはヒントとして扱い、キャリブレーション済みの確率としては扱いません——それが意思決定モデルが埋めるギャップであり、プロンプトエンジニアリングでは埋まりません。
3. しきい値を下回ったものだけをエスカレーションする。 gpt-5.6-solが19ルートで$0.297 / $1.781から、またはgemini-3.8-flashが7ルートで$0.20 / $1.00から。
4. 算術、日付、計数は自分のコードに保持する（両ティアとも）。安価で、かつ正確です。
5. スケールする前に自分の一致率を測定する。 手作業でラベル付けした50件は、この記事を含むどんなベンチマーク表よりも多くを教えてくれます。

このパターンの経済性こそが、ルーティングがカテゴリとして存在する理由です：最初のパスにほぼすべてのボリュームが流れ、エスカレーション層からほぼすべての品質が得られます。分類できない少数派にだけ2つ目が必要です。

APIMasterアカウントを作成し、$1から従量課金クレジットを追加し、コンソールでキーを作成し、上記のいずれかのモデルIDを使ってOpenAI互換クライアントをhttps://apimaster.ai/v1に向けてください。1つのキーでGPT、GLM、DeepSeek、Gemini、Claudeファミリーをカバーするため、エスカレーションパスも同じ統合のままです。本番トラフィックを移す前にモデルテスターでルートを検証してください。

FAQ

Jevは言語モデルですか？ いいえ。TypeSafeはそれを構造化データモデルと説明しており、創業者自身のローンチスレッドでの表現は「技術的には言語モデルではない（言語を生成しない）」というものです。テキストを読み、意思決定を返します。

JevはLLMより高精度ですか？ 公開されている証拠では、測定可能な差はありません。24文書のノルウェー語テストでは、JevとDeepSeek V4.1 Flashはスタンスと論点の質問で参照ラベルと同率で一致しました。Jevは1つの順序尺度タスクで明確に先行していました。

JevはLLMより安いですか？ タスクあたりでははい——入力トークンあたりではありません。Jevの100万入力トークンあたり$0.042は、入力でgpt-5.6-lunaの$0.022に下回られますが、Jevは出力トークンを一切生成せず、生成モデルは出力に課金されます。公開されたワークロードでは、1,000文書あたり$0.22対$1.31と$3.08でした。

「LLM as a judge」とは何で、どう違うのですか？ LLM-as-a-judgeとは、生成モデルに何かを評価またはラベル付けさせ、そのテキストから答えを読み取ることです。機能しますが、テキストに支払い、トークンを待ち、返ってくる信頼度はキャリブレーション済みの確率ではありません。意思決定モデルは同じ判定を、しきい値を設定できる型付き回答として返します。

代わりに安価なモデルからJSON出力を強制するだけではだめですか？ それで得られるのはスキーマであり、キャリブレーションではありません。制約付きデコーディングは出力をパース可能にしますが、どの回答を疑うべきかは教えてくれず、TypeSafeはモデルが本当に不確かだったトークンをマスクすることで品質を劣化させ得ると主張しています。

分類にはどちらを使うべきですか？ 精度がすべてでありレビューできる少数の判定を行うなら、優れたLLMで問題ありません。多数の判定を行い自動化が必要なら、使える信頼シグナルを返すものを使い、不確かなものをエスカレーションしてください。

Jevは非英語テキストを扱えますか？ 扱えますが、注意点があります。TypeSafeによれば、精度が最も高いのは英語であり、CJKを含む他の言語も扱われますが同等ではありません。上記のノルウェー語テストでは、スキャンされた議事録を正しく読んでおり、またトークナイザ効率が1トークンあたり約2.06文字と測定されました——コンテキスト上限を前提に計画する前に、自分の言語で確認する価値があります。

Jevは画像を見られますか？ いいえ。テキスト専用です。画像をテキストに変換してJevに尋ねるとチャンスレベルを上回ることはありますが、実際に見られるモデルには大差で敗れます。

JevはAPIMasterで利用できますか？ はい。ネイティブのPOST https://apimaster.ai/v1/systemoneエンドポイントでjev-latestを使ってください。100万入力トークンあたり$0.042、出力$0です。最新の提供状況はJevマーケットプレイスカードをご覧ください。

最初のパスにはどの低コストモデルから始めるべきですか？ gpt-5.6-lunaはマーケットプレイスで最も安価なティアで、3ルートで100万トークンあたり$0.022 / $0.134です——この記事の表で最も低い入力・出力レートです。次がglm-5.3-flashの$0.105 / $0.35、deepseek-flashの$0.15 / $0.60です。ボリュームを投入する前に自分のデータで測定してください。

出典と参考資料

• Emil Lindfors — An early-access test of TypeSafe's Jev — ノルウェー語の意見聴取文書24件、推論あり・なしのDeepSeek V4.1 Flashに対するJev、タスク別一致率、キャリブレーションビン、コストとレイテンシ
• Bartosz Mikulski — TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway — 座標文字列にした400点のスケッチ、チャンスベースラインとSonnet 5との比較
• TypeSafe — Models — モデルID、$42/Btokの価格、レート制限、コンテキスト予算、言語サポート
• TypeSafe — Jev 1.13 jaggedness — 逐語的な読み、算術、日付、間接性、生成に関する公開スコープノート
• TypeSafe — Introducing System One Models and Jev — エンドツーエンド70～500msという数字と40倍～200倍の比較
• Hacker News launch thread — Jevが何ではないか、制約付きデコーディング、出力が無料である理由に関する創業者のコメント

第三者によるテスト結果は著者が公開したままを再掲しています。どちらの著者も記事の対価を受け取っておらず、このページをレビューしていません。APIMasterのルート価格は2026年9月21日時点で取得しました。