Jev 對比 LLM：決策模型在哪裡勝過下提示詞，又在哪裡不敵

這不是「哪個更好或更差」的問題

Jev 與 LLM 回答的是不同的問題。Jev 回答的是哪一個、多少、或可能性多高；LLM 回答的是應該寫什麼。

	Jev	生成式 LLM
輸出	具型別的答案，每個選項附帶一個概率與一個信心值	文字，可選擇性地約束為 JSON schema
成本基礎	僅輸入 token；輸出免費	輸入加輸出 token
延遲形態	一次前向傳遞；問題在單一狀態上平行展開	循序生成的 token；推理模型會加上一段冗長的隱藏傳遞
信心	一個經過校準、可供設閾值的數字	通常沒有，或是一句自陳的話
Schema	依建構方式即相符	相符，直到模型決定它不相符
已知輸入	僅文字與結構化狀態，不含圖像	文字，多模態模型則含圖像
勝過對方之處	狹窄、高量的判斷	生成、推理、解釋、算術

當你不再需要輸出文字的那一刻，這筆帳就變了。一個每項產出二十個 token 散文的分類式任務，等於每一項、永遠都在為那些 token 付費。

準確度問題，附上真實數字

行銷式比較通常拿每個供應商最愛的基準去比對另一家的最差表現。我們找到的有用已發表測試，是 Emil Lindfors 的早期存取評測，An early-access test of TypeSafe's Jev，針對挪威 2022 年鮭魚養殖資源租稅聽證的 24 份回應進行。

他先用 Claude Fable 5.1 以兩次獨立作業為所有內容標註，再透過 OpenRouter 將 Jev 1.13 與 DeepSeek V4.1 Flash 相比——同樣的問題放在同一個提示中，輸出 JSON，一次啟用推理、一次關閉。

任務	Jev 1.13	DeepSeek，關閉推理	DeepSeek，啟用推理
立場，4 個選項	24 份中 20 份	24 份中 20 份	24 份中 22 份
回應者類型，6 個選項	23 份中 21 份	23 份中 22 份	23 份中 23 份
論點，192 項是/否	0.86	0.89	0.88
實質內容，精確層級	24 份中 19 份	24 份中 14 份	24 份中 14 份

這張表有兩點值得一讀。第一，作者明確指出這些是與前沿模型標籤的一致程度，而非正確性——當參考標籤錯了而 Jev 對了，Jev 仍會被計為錯誤。在 24 份文件下，立場數字的 95% 區間約為 ±15 個百分點，因此三個欄位在立場與論點上其實是相同的。第二，唯一明顯的勝出是在有序的 Score 尺度上，19 對 14：那正是這個基本元件被打造出來要做的事，而且是你從文字答案根本得不到的那種結果。

任何人若憑這項證據就宣稱決策模型在類別上比 LLM 更準確，都是對一份 24 份文件樣本的過度解讀。真正有意思的主張是更狹隘的那一個。

成本問題

同一項測試為這項工作以每 1,000 份文件計價：

	Jev 1.13	DeepSeek，關閉推理	DeepSeek，啟用推理
每 1,000 份文件成本	$0.22	$1.31	$3.08
中位延遲	0.32 秒	2.7 秒	26 秒
最慢請求	1.3 秒	17.9 秒	250 秒

大約是兩種 LLM 配置的六分之一與十四分之一，中位延遲則約為八分之一與八十分之一。作者自己對成因的總結是：捨棄文字生成正是價格能降這麼多的原因，而那些推理 token 只換來 24 份中多兩個立場標籤，代價卻是十倍的延遲。

那只是單一工作負載、單一語言、單一天。你的數字會不同——光是分詞器效率就能改變它們。同一篇評測測得 Jev 的分詞器在挪威語上約為每 token 2.06 個字元，相對於你從英文會假設的每 token 約 4 個字元，這會把可用的狀態預算從約 120,000 個字元削減到約 64,000 個。

校準才是真正的差異

這正是決定你能否自動化的部分。一個準確率 86%、且知道自己錯在哪 14% 的模型，與一個準確率 88%、對所有事聽起來都同樣確定的模型，是不同的工具。

同樣來自該次執行，在 192 項論點判斷上：

Jev 陳述的概率	判斷數	參考標籤一致
0.0 – 0.1	14	0%
0.1 – 0.3	56	4%
0.3 – 0.7	41	34%
0.7 – 0.9	38	97%
0.9 – 1.0	43	98%

方向在每一步都是對的，而模型在兩端都略微偏向低自信——TypeSafe 自家的目標是被指派 0.8 的結果應約有 80% 的時間發生，而中間那一格落在 34%，而非約 50%。

那張表的實務版本就是一個閾值。以最高概率切分選擇題：

	最高概率 ≥ 0.9	低於 0.9
立場	15 份中 14 份一致	9 份中 6 份一致
回應者類型	20 份中 20 份一致	3 份中 1 份一致

那就是運作模式：接受有信心的多數，升級其餘的。 TypeSafe 自家的 SEC 申報文件操作指南在英文上回報 30 份中 27 份在 0.9 以上正確；挪威語那次則是 15 份中 14 份。

這項比較只單向成立。啟用推理時，DeepSeek 把 192 項論點答案中的 84 項放在 0.9 以上——而在 0.7–0.9 這個區間，它的標籤與參考標籤相符的時間只有 48%。一個信心未經校準的模型無法當作閘門使用，無論它的答案有多好。

LLM 仍然是正確選擇的地方

• 生成。 Jev 不會寫摘要、回覆或提交訊息。TypeSafe 自家的文件也把生成導向生成式模型。
• 推理與多跳問題。 TypeSafe 將間接性列為已知弱點：帶有雙重否定或多重跳躍的問題會犧牲準確度。
• 算術、日期與計數。 已記載為不可靠，且誤差會隨被計數之物的規模而增大。把它留在程式碼裡。
• 圖像與音訊。 Jev 是純文字的。在 TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway 中，Bartosz Mikulski 將 400 張草圖轉換成 SVG 座標字串，並要求 Jev 為它們命名。它明顯勝過十選一的隨機基準，輸給了 Claude Sonnet 5，並且對超過一半的圖都回答了「airplane」。同樣的內容以 base64 編碼後則落回隨機水準——這是有用的提醒：一個讀數字的文字模型，是把數字當文字在讀。
• 任何需要解釋的東西。 「你為什麼把這個標成那樣」不是一個概率能回答的問題。

TypeSafe 的創辦人在 LLM 那一側提出了一個相關論點，值得一知，因為它與一個常見的變通做法相牴觸：在發布討論串中，他主張 OpenAI 式結構化輸出所用的那種約束解碼會讓模型變笨，因為遮罩無效 token 並不等同於模型對它們不困惑。把那當作供應商的立場，而非定論——但它確實意味著「直接從便宜模型逼出 JSON」並不自動等同於具型別的答案。

行得通的模式

挪威語那篇評測中最有用的結論是：這個選擇並非二選一。作者自己的專案用了三個模型做三件事：

工作	模型	原因
48 個審慎的參考標籤	Fable 5.1	文件少、屬判斷性決定、成本無所謂
每份文件、每個問題	Jev	低成本、快速，且會說出它何時不確定
對不確定的三分之一取得第二意見	DeepSeek 或真人	較慢且較貴，所以只用在需要之處

你今天就能用單一 OpenAI 相容金鑰跑出這個形態，用低成本層做第一輪，只對第一輪無法解決的案例使用更強的一層：

1. 用能達到你標準的最便宜層做第一輪。 gpt-5.6-luna 每 1M 為 $0.022 / $0.134，或 glm-5.3-flash 為 $0.105 / $0.35，或 deepseek-flash 為 $0.15 / $0.60。
2. 在提示中把決策逼進一個封閉集合，並同時要求一個信心分數。把那個分數當作提示，而非校準過的概率——那正是決策模型能填補、而提示工程填補不了的落差。
3. 只升級低於你閾值的部分。 gpt-5.6-sol 在 19 條路由上自 $0.297 / $1.781 起，或 gemini-3.8-flash 在 7 條路由上自 $0.20 / $1.00 起。
4. 把算術、日期與計數留在你自己的程式碼裡，兩層皆然。它更便宜，而且它是正確的。
5. 在擴大規模前先量測你自己的相符率。 五十筆人工標註的項目，會比任何基準表——包括這一張——告訴你更多。

這個模式的經濟學，正是路由之所以作為一個類別存在的原因：第一輪是幾乎所有流量所在之處，而升級層是幾乎所有品質來源之處。你只需要對你無法分類的少數使用第二層。

建立 APIMaster 帳號，從 $1 起加值隨用隨付額度，在主控台建立金鑰，並將 OpenAI 相容客戶端指向 https://apimaster.ai/v1，搭配上述任一模型 ID。一把金鑰涵蓋 GPT、GLM、DeepSeek、Gemini 與 Claude 系列，因此升級路徑能維持在同一套整合上。在把生產流量切過去之前，先用模型測試器驗證一條路由。

FAQ

Jev 是語言模型嗎？ 不是。TypeSafe 將其描述為結構化資料模型，而創辦人在發布討論串上的原話是它「技術上不是語言模型（它不生成語言）」。它讀取文字並回傳決策。

Jev 比 LLM 更準確嗎？ 就已發表的證據而言，無法測出更準確。在一項 24 份文件的挪威語測試中，Jev 與 DeepSeek V4.1 Flash 在立場與論點問題上與參考標籤一致的比例相同。Jev 在一項有序尺度任務上明顯領先。

Jev 比 LLM 便宜嗎？ 是的，以每項任務計——而非每個輸入 token 計。Jev 每 1M 輸入 token $0.042 的價格被 gpt-5.6-luna 的輸入 $0.022 壓過，但 Jev 完全不產生輸出 token，而生成式模型要為輸出計費。在已發表的工作負載中，這相當於每 1,000 份文件 $0.22，對上 $1.31 與 $3.08。

什麼是「LLM as a judge」，它有何不同？ LLM-as-a-judge 是指要求一個生成式模型為某物評分或標註，再從它的文字中讀出答案。它行得通，但你要為文字付費、要等那些 token，而且你拿回來的信心不是校準過的概率。決策模型則把同樣的判斷回傳成一個你可以設閾值的具型別答案。

我可以改為直接從便宜模型逼出 JSON 輸出嗎？ 那能給你 schema，但給不了校準。約束解碼讓輸出可解析；它不會告訴你哪些答案該存疑，而 TypeSafe 主張它可能因為遮罩模型原本真正不確定的 token 而降低品質。

分類任務我該用哪一個？ 如果你只做少數幾個判斷、準確度就是一切、而且你能逐一審閱，那麼一個好的 LLM 就夠了。如果你要做大量判斷且需要自動化，就用任何能回傳可用信心訊號的方法，並升級不確定的那些。

Jev 能處理非英語文字嗎？ 能，但有附帶條件。TypeSafe 表示英文是準確度最佳之處，其他語言包括 CJK 都能處理，但表現不盡相同。上述挪威語測試發現它能正確讀取掃描的議會會議紀錄，同時也測得它的分詞器效率約為每 token 2.06 個字元——在圍繞上下文上限做規劃之前，值得先在你的語言上查核。

Jev 能看圖像嗎？ 不能。它是純文字的。把圖像轉成文字再問 Jev，可能勝過隨機，但會慘敗給一個真正能看見的模型。

Jev 在 APIMaster 上可用嗎？ 可以。使用 jev-latest 搭配原生 POST https://apimaster.ai/v1/systemone 端點。它每 1M 輸入 token 收費 $0.042、輸出 $0；即時供應情況請參閱 Jev 市集卡片。

第一輪我該從哪個低成本模型開始？ gpt-5.6-luna 是市集上最便宜的層級，3 條路由上每 1M token 為 $0.022 / $0.134——是本文表格中最低的輸入與輸出費率。glm-5.3-flash 的 $0.105 / $0.35 與 deepseek-flash 的 $0.15 / $0.60 則是再往上的下一階。在投入流量之前，先用自己的資料量測。

來源與延伸閱讀

• Emil Lindfors — An early-access test of TypeSafe's Jev — 24 份挪威語聽證文件，Jev 對比啟用與關閉推理的 DeepSeek V4.1 Flash，含逐任務一致度、校準分箱、成本與延遲
• Bartosz Mikulski — TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway — 400 張草圖化為座標字串、隨機基準與 Sonnet 5 的比較
• TypeSafe — Models — 模型 ID、$42/Btok 定價、速率限制、上下文預算與語言支援
• TypeSafe — Jev 1.13 jaggedness — 關於字面解讀、算術、日期、間接性與生成的已發表範圍說明
• TypeSafe — Introducing System One Models and Jev — 70–500ms 端到端數字與 40×–200× 的比較
• Hacker News 發布討論串 — 創辦人關於 Jev 不是什麼、關於約束解碼，以及為何輸出免費的評論

第三方測試結果均依其作者發表時的原樣轉載；兩位作者皆未因其評測獲得報酬，亦未審閱本頁。APIMaster 路由價格讀取於 2026 年 9 月 21 日。