Jev vs LLM：决策模型在何处胜过写提示词，又在何处不敌

这不是"更好或更差"的问题

Jev 和 LLM 回答的是不同的问题。Jev 回答是哪一个、多少、或者多大概率；LLM 回答应该写什么。

	Jev	生成式 LLM
输出	带类型的答案，每个选项一个概率，外加一个置信度值	文本，可选择约束为 JSON schema
成本基础	仅输入 token；输出免费	输入加输出 token
延迟形态	一次前向传播；多个问题在一个状态上并行展开	顺序生成的 token；推理模型还会增加一段很长的隐藏过程
置信度	一个经过校准、可供设阈值的数字	通常没有，或是一句自我陈述
Schema	由构造保证匹配	匹配到模型自己决定不再匹配为止
已知输入	仅文本和结构化状态，不支持图像	文本，多模态模型还支持图像
更擅长的方向	狭窄、高频的判断	生成、推理、解释、算术

当你不再需要输出文本的那一刻，算术就变了。一个分类形态的任务，如果每个条目产生二十个 token 的散文，那就要为每一个条目、永远地为这些 token 付费。

准确率问题，附真实数字

营销式的对比通常拿每个厂商最擅长的基准去比对方最差的表现。我们找到的有用公开测试是 Emil Lindfors 的抢先体验评测 —— An early-access test of TypeSafe's Jev —— 针对挪威 2022 年三文鱼养殖资源租金税听证会的 24 份回复运行。

他先用 Claude Fable 5.1 分两轮独立标注了所有内容，然后把 Jev 1.13 与通过 OpenRouter 调用的 DeepSeek V4.1 Flash 进行对比 —— 同样的问题放在一个提示词中，输出 JSON，一次开启推理、一次关闭推理。

任务	Jev 1.13	DeepSeek，关闭推理	DeepSeek，开启推理
立场，4 个选项	24 份中 20 份	24 份中 20 份	24 份中 22 份
受访者类型，6 个选项	23 份中 21 份	23 份中 22 份	23 份中 23 份
论点，192 项 yes/no	0.86	0.89	0.88
实质性，精确等级	24 份中 19 份	24 份中 14 份	24 份中 14 份

这张表有两点值得解读。第一，作者明确说明这些是与前沿模型标签的一致率，而非正确率 —— 当参考标签错误而 Jev 正确时，Jev 会被记为错误。以 24 份文档计，立场数字的 95% 区间约为 ±15 个百分点，因此三列在立场和论点上其实是相同的。第二，唯一明确的胜出在于有序的 Score 量表上，19 对 14：这正是该原语为其量身打造的用途，也是你从文本答案中根本得不到的那类结果。

任何人凭这一证据断言决策模型在准确率上比 LLM 高出一个类别，都是对一份 24 份文档样本的过度解读。真正有意思的主张要更狭窄。

成本问题

同一测试还计算了每 1,000 份文档的成本：

	Jev 1.13	DeepSeek，关闭推理	DeepSeek，开启推理
每 1,000 份文档成本	$0.22	$1.31	$3.08
中位延迟	0.32 秒	2.7 秒	26 秒
最慢请求	1.3 秒	17.9 秒	250 秒

大致是两种 LLM 配置的六分之一和十四分之一，而中位延迟大致是它们八分之一和八十分之一。作者自己对成因的总结是：去掉文本生成正是价格降到如此低的原因，而推理 token 只换来了 24 份中多 2 个立场标签，代价却是十倍的延迟。

那只是一个工作负载、一种语言、一天的数据。你的数字会不同 —— 仅分词器效率一项就能改变结果。同一篇评测测得 Jev 的分词器在挪威语上约为 每 token 2.06 个字符，而英语你可以假设的约每 token 4 个字符，这会把可用的状态预算从约 120,000 个字符削减到约 64,000 个。

校准度才是真正的差异

这正是决定你能否自动化的部分。一个 86% 正确、并且知道自己错在哪 14% 的模型，与一个 88% 正确、但对一切听起来同样笃定的模型，是不同的工具。

来自同一次运行，针对 192 项论点判断：

Jev 给出的概率	判断数	参考标签一致
0.0 – 0.1	14	0%
0.1 – 0.3	56	4%
0.3 – 0.7	41	34%
0.7 – 0.9	38	97%
0.9 – 1.0	43	98%

每一步的方向都正确，而模型在两端都略微低估置信度 —— TypeSafe 自己的目标是，被赋予 0.8 的结果应约有 80% 的时间发生，而中间那一档落在 34%，而非约 50%。

那张表的实用版本就是一个阈值。按最高概率拆分选择题：

	最高概率 ≥ 0.9	低于 0.9
立场	15 份中 14 份一致	9 份中 6 份一致
受访者类型	20 份中 20 份一致	3 份中 1 份一致

这就是操作模式：接受有把握的大多数，升级其余的。 TypeSafe 自己的 SEC 文件操作手册报告称，英文中在 0.9 或以上有 30 份中 27 份正确；那次挪威语运行得到 15 份中 14 份。

这项比较只朝一个方向成立。开启推理时，DeepSeek 把 192 个论点答案中的 84 个放在 0.9 以上 —— 而在 0.7–0.9 区间，它的标签只有 48% 的时间与参考标签一致。一个置信度未经校准的模型无法用作闸门，无论它的答案有多好。

LLM 仍是正确选择的场景

• 生成。 Jev 不会写摘要、回复或提交信息。TypeSafe 自己的文档把生成交给生成式模型。
• 推理和多跳问题。 TypeSafe 将间接性列为已知弱点：带有双重否定或多次跳跃的问题会牺牲准确率。
• 算术、日期和计数。 被记录为不可靠，且误差随被计数对象的规模增长。把这些留在代码里。
• 图像和音频。 Jev 是纯文本的。在 TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway 中，Bartosz Mikulski 把 400 幅草图转换成 SVG 坐标字符串，让 Jev 来命名。它明显胜过十选一的随机基线，输给了 Claude Sonnet 5，并且对一半以上的图画都回答"airplane"。同样的内容编码为 base64 后则落在随机水平 —— 这提醒我们，读数字的文本模型是把它们当作文本来读的。
• 任何需要解释的场景。"你为什么给它贴这个标签"不是一个概率能回答的问题。

TypeSafe 的创始人在 LLM 一侧提出了一个相关的论点，值得了解，因为它反驳了一种常见的变通做法：在上线讨论帖中，他主张像 OpenAI 式结构化输出所使用的约束解码会让模型变笨，因为屏蔽无效 token 并不等同于模型对这些 token 不困惑。把这当作厂商立场而非定论 —— 但它确实意味着"直接从一个廉价模型里逼出 JSON"并不自动等同于带类型的答案。

行之有效的模式

挪威语评测中最有用的结论是：这不是非此即彼的选择。作者自己的项目用三个模型做三件事：

任务	模型	原因
48 个精细参考标签	Fable 5.1	文档少、需判断、成本无关紧要
每份文档、每个问题	Jev	低成本、快速，且会在不确定时说明
对不确定的三分之一提供第二意见	DeepSeek 或人工	更慢更贵，因此只用在需要的地方

今天你可以用一把 OpenAI 兼容密钥就跑起这种形态，用低成本档位作为第一遍，仅在无法解决的情形使用更强的档位：

1. 在最便宜的、能通过你门槛的档位上做第一遍。 gpt-5.6-luna 每 1M $0.022 / $0.134，或 glm-5.3-flash 每 1M $0.105 / $0.35，或 deepseek-flash 每 1M $0.15 / $0.60。
2. 在提示词中把决策限制到一个封闭集合，并要求同时给出一个置信度分数。把该分数当作提示，而非经过校准的概率 —— 这正是决策模型能填补、而提示词工程填补不了的缺口。
3. 只升级低于你阈值的那些。 gpt-5.6-sol 在 19 条路由上起价 $0.297 / $1.781，或 gemini-3.8-flash 在 7 条路由上起价 $0.20 / $1.00。
4. 把算术、日期和计数留在你自己的代码里，两个档位都如此。这样更便宜，而且正确。
5. 在扩大规模前先测量你自己的致率。 五十个手工标注的条目比任何基准表 —— 包括这张 —— 都能告诉你更多。

这种模式的经济性正是路由能成为一个类别的原因：第一遍承载了几乎全部的量，而升级档位提供了几乎全部的质量。你只需要对无法分类的少数使用第二个。

创建 APIMaster 账户，从 $1 起充值按量付费额度，在控制台中创建密钥，然后让一个 OpenAI 兼容客户端指向 https://apimaster.ai/v1，使用上面任意一个模型 ID。一把密钥覆盖 GPT、GLM、DeepSeek、Gemini 和 Claude 各系列，因此升级路径保持在同一套集成上。在把生产流量切换过去之前，先用模型测试器验证一条路由。

FAQ

Jev 是一个语言模型吗？ 不是。TypeSafe 将其描述为一个结构化数据模型，创始人在上线讨论帖中的原话是它"严格来说不是语言模型（它不生成语言）"。它读取文本并返回决策。

Jev 比 LLM 更准确吗？ 就公开证据而言，并没有可测量的优势。在一项 24 份文档的挪威语测试中，Jev 和 DeepSeek V4.1 Flash 在立场和论点问题上与参考标签的一致率相同。Jev 在一项有序量表任务上明显领先。

Jev 比 LLM 更便宜吗？ 是的，按任务计 —— 而不是按输入 token 计。Jev 每 1M 输入 token $0.042 在输入上被 gpt-5.6-luna 的 $0.022 压过，但 Jev 完全不输出 token，而生成式模型要为输出计费。在已公开的工作负载中，这相当于每 1,000 份文档 $0.22，而另外两者为 $1.31 和 $3.08。

什么是"LLM as a judge"，它有什么不同？ LLM-as-a-judge 指让一个生成式模型对某物评分或贴标签，然后从它的文本中读出答案。它有效，但你要为文本付费、等待 token 生成，而且拿回来的置信度不是经过校准的概率。决策模型把同样的判断作为带类型的答案返回，你可以据以设阈值。

我能不能直接从一个廉价模型里逼出 JSON 输出？ 那样能得到 schema，但得不到校准。约束解码让输出可解析；它不会告诉你哪些答案应当怀疑，而 TypeSafe 主张它可能通过屏蔽模型本就真正不确定的 token 而降低质量。

分类任务我该用哪一个？ 如果你只做少量判断、准确率至上且你能逐条审查，一个好的 LLM 就够了。如果你做大量判断并需要自动化，那就用任何能返回可用置信信号的方案，并升级其中不确定的那些。

Jev 能处理非英语文本吗？ 可以，但有注意事项。TypeSafe 表示英语的准确率最好，包括 CJK 在内的其他语言可以处理，但表现并不同等优秀。上面的挪威语测试发现它能正确读取扫描的市议会会议纪要，同时也测得分词器效率约为每 token 2.06 个字符 —— 在围绕上下文上限做规划之前，值得先在你自己的语言上测一测。

Jev 能看图像吗？ 不能。它是纯文本的。把图像转换成文本再问 Jev，可能胜过随机猜测，但会惨败给一个真正能看的模型。

Jev 在 APIMaster 上可用吗？ 可用。使用 jev-latest 搭配原生 POST https://apimaster.ai/v1/systemone 端点。它每 1M 输入 token 收费 $0.042，输出 $0；实时可用性见 Jev 市场卡片。

第一遍我该从哪个低成本模型开始？ gpt-5.6-luna 是市场上最便宜的档位，每 1M token $0.022 / $0.134，跨 3 条路由 —— 是本文表格中输入和输出费率最低的。glm-5.3-flash 的 $0.105 / $0.35 和 deepseek-flash 的 $0.15 / $0.60 是往上的下一档。在投入量之前先在你自己的数据上测量。

来源与延伸阅读

• Emil Lindfors — An early-access test of TypeSafe's Jev —— 24 份挪威语听证文件，Jev 对比开启与关闭推理的 DeepSeek V4.1 Flash，含逐任务一致率、校准分箱、成本与延迟
• Bartosz Mikulski — TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway —— 400 幅草图作为坐标字符串，随机基线与 Sonnet 5 的对比
• TypeSafe — Models —— 模型 ID、$42/Btok 定价、速率限制、上下文预算与语言支持
• TypeSafe — Jev 1.13 jaggedness —— 关于字面阅读、算术、日期、间接性与生成的已公开范围说明
• TypeSafe — Introducing System One Models and Jev —— 70–500ms 端到端数字与 40×–200× 对比
• Hacker News 上线讨论帖 —— 创始人关于 Jev 不是什么、约束解码以及输出为何免费的评论

第三方测试结果按其作者发布的原样转载；两位作者均未因撰写评测获得报酬，也未审阅本页。APIMaster 路由价格于 2026 年 9 月 21 日读取。