Jev vs LLMs: Onde um Modelo de Decisão Supera Promptar, e Onde Não Supera

Não é uma questão de "melhor ou pior"

Jev e um LLM estão respondendo a perguntas diferentes. Jev responde qual deles, quanto, ou quão provável; um LLM responde o que deve ser escrito.

	Jev	Um LLM generativo
Saída	Respostas tipadas com uma probabilidade por opção e um valor de confiança	Texto, opcionalmente restrito a um esquema JSON
Base de custo	Apenas tokens de entrada; a saída é gratuita	Tokens de entrada mais saída
Forma da latência	Uma passada direta; as perguntas se ramificam em paralelo sobre um estado	Tokens gerados sequencialmente; modelos de raciocínio adicionam uma longa passada oculta
Confiança	Um número calibrado que você pode usar como limiar	Geralmente nenhuma, ou uma frase auto-relatada
Esquema	Corresponde por construção	Corresponde até o modelo decidir que não
Entrada conhecida	Apenas texto e estado estruturado, sem imagens	Texto, e imagens para modelos multimodais
Supera no quê	Julgamentos estreitos e de alto volume	Geração, raciocínio, explicação, aritmética

No momento em que você deixa de precisar de texto na saída, a aritmética muda. Uma tarefa em formato de classificador que produz vinte tokens de prosa por item está pagando por esses tokens em cada item, para sempre.

A questão da acurácia, com números reais

Comparações de marketing costumam comparar o benchmark favorito de cada fornecedor contra o pior do outro. O teste publicado útil que encontramos é o artigo de acesso antecipado do Emil Lindfors, An early-access test of TypeSafe's Jev, rodado em 24 respostas à consulta pública norueguesa de 2022 sobre o imposto sobre renda de recursos da salmonicultura.

Ele rotulou tudo com Claude Fable 5.1 em duas passadas independentes primeiro e depois comparou Jev 1.13 com DeepSeek V4.1 Flash via OpenRouter — as mesmas perguntas em um prompt, JSON na saída, uma vez com raciocínio ativado e uma vez desativado.

Tarefa	Jev 1.13	DeepSeek, raciocínio desativado	DeepSeek, raciocínio ativado
Postura, 4 opções	20 de 24	20 de 24	22 de 24
Tipo de respondente, 6 opções	21 de 23	22 de 23	23 de 23
Argumentos, 192 sim/não	0,86	0,89	0,88
Substância, nível exato	19 de 24	14 de 24	14 de 24

Duas coisas valem a pena extrair dessa tabela. Primeiro, o autor é explícito de que essas são concordâncias com os rótulos de um modelo de fronteira, não acertos — onde a referência está errada e o Jev está certo, o Jev pontua como errado. Com 24 documentos, o intervalo de 95% em um número de postura é de cerca de ±15 pontos, então as três colunas são iguais em postura e argumentos. Segundo, a única vitória clara está na escala ordenada Score, 19 contra 14: essa é a primitiva fazendo exatamente para o que foi construída, e é o tipo de resultado que você não obteria de uma resposta em texto.

Qualquer um que afirme, com base nessa evidência, que um modelo de decisão é categoricamente mais preciso que um LLM está superinterpretando uma amostra de 24 documentos. A afirmação interessante é a mais estreita.

A questão do custo

O mesmo teste precificou o trabalho por 1.000 documentos:

	Jev 1.13	DeepSeek, raciocínio desativado	DeepSeek, raciocínio ativado
Custo por 1.000 documentos	$0,22	$1,31	$3,08
Latência mediana	0,32 s	2,7 s	26 s
Requisição mais lenta	1,3 s	17,9 s	250 s

Aproximadamente um sexto e um quatorze avos das duas configurações de LLM, a aproximadamente um oitavo e um oitenta avos da latência mediana. O próprio resumo do autor sobre a causa: abandonar a geração de texto é a razão pela qual o preço cai tanto, e os tokens de raciocínio compraram dois rótulos de postura extras em 24 por dez vezes a latência.

Isso é uma carga de trabalho, um idioma, um dia. Seus números serão diferentes — só a eficiência do tokenizador já os altera. O mesmo artigo mediu o tokenizador do Jev em cerca de 2,06 caracteres por token em norueguês, contra os ~4 caracteres por token que você assumiria do inglês, o que reduz o orçamento de estado utilizável de cerca de 120.000 caracteres para aproximadamente 64.000.

A calibração é a diferença real

Esta é a parte que decide se você pode automatizar. Um modelo que acerta 86% das vezes e sabe em quais 14% está errado é uma ferramenta diferente de um modelo que acerta 88% das vezes e soa igualmente seguro sobre tudo.

Da mesma execução, em 192 julgamentos de argumento:

Probabilidade declarada pelo Jev	Julgamentos	Referência concordou
0,0 – 0,1	14	0%
0,1 – 0,3	56	4%
0,3 – 0,7	41	34%
0,7 – 0,9	38	97%
0,9 – 1,0	43	98%

A direção está correta em cada passo, e o modelo roda ligeiramente subconfiante nas duas extremidades — a própria meta da TypeSafe é que desfechos aos quais se atribui 0,8 devem ocorrer cerca de 80% das vezes, e o intervalo do meio ficou em 34% em vez de ~50%.

A versão prática dessa tabela é um limiar. Dividindo as perguntas de escolha pela probabilidade máxima:

	Probabilidade máxima ≥ 0,9	Abaixo de 0,9
Postura	14 de 15 concordam	6 de 9 concordam
Tipo de respondente	20 de 20 concordam	1 de 3 concordam

Esse é o padrão operacional: aceite a maioria confiante, escale o resto. O próprio cookbook de documentos da SEC da TypeSafe relata 27 de 30 corretos em 0,9 ou acima em inglês; a execução em norueguês obteve 14 de 15.

A comparação corre em uma direção só. Com raciocínio ativado, o DeepSeek colocou 84 de suas 192 respostas de argumento acima de 0,9 — e na janela de 0,7–0,9 seus rótulos corresponderam à referência 48% das vezes. Um modelo cuja confiança não é calibrada não pode ser usado como filtro, por melhores que sejam suas respostas.

Onde um LLM ainda é a escolha certa

• Geração. O Jev não vai escrever o resumo, a resposta ou a mensagem de commit. A própria documentação da TypeSafe direciona a geração para um modelo generativo.
• Raciocínio e perguntas com múltiplos saltos. A TypeSafe lista a indireção como uma fraqueza conhecida: perguntas com negativas duplas ou múltiplos saltos custam acurácia.
• Aritmética, datas e contagem. Documentadas como não confiáveis, e o erro cresce com o tamanho da coisa sendo contada. Mantenha isso em código.
• Imagens e áudio. O Jev é somente-texto. Em TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway, Bartosz Mikulski converteu 400 esboços em strings de coordenadas SVG e pediu que o Jev os nomeasse. Ele superou claramente uma linha de base de acaso de dez categorias, perdeu para o Claude Sonnet 5 e respondeu "avião" para mais da metade dos desenhos. O mesmo conteúdo codificado em base64 caiu no acaso — um lembrete útil de que um modelo de texto lendo números está lendo-os como texto.
• Qualquer coisa que precise de uma explicação. "Por que você rotulou este assim" não é uma pergunta que uma probabilidade responde.

O fundador da TypeSafe faz um argumento relacionado do lado dos LLMs que vale a pena conhecer, já que vai contra um contorno comum: na thread de lançamento, ele argumentou que a decodificação restrita do tipo que as saídas estruturadas no estilo OpenAI usam torna os modelos mais burros, porque mascarar tokens inválidos não é o mesmo que o modelo não estar confuso sobre eles. Trate isso como a posição de um fornecedor, não como um resultado estabelecido — mas isso significa que "simplesmente forçar JSON de um modelo barato" não é automaticamente equivalente a uma resposta tipada.

O padrão que funciona

A conclusão mais útil do artigo norueguês é que a escolha não é ou/ou. O próprio projeto do autor usou três modelos para três trabalhos:

Trabalho	Modelo	Por quê
48 rótulos de referência cuidadosos	Fable 5.1	Poucos documentos, decisões de julgamento, o custo não importa
Cada documento, cada pergunta	Jev	Baixo custo, rápido, e avisa quando está em dúvida
Uma segunda opinião sobre o terço incerto	DeepSeek ou uma pessoa	Mais lento e mais caro, então só onde é necessário

Você pode rodar esse formato hoje com uma única chave compatível com OpenAI, usando um nível de baixo custo como primeira passada e um mais forte apenas para os casos que a primeira passada não consegue resolver:

1. Primeira passada no nível mais barato que supera seu critério. gpt-5.6-luna a $0,022 / $0,134 por 1M, ou glm-5.3-flash a $0,105 / $0,35, ou deepseek-flash a $0,15 / $0,60.
2. Force a decisão para um conjunto fechado no prompt e peça uma pontuação de confiança junto. Trate a pontuação como uma dica, não como uma probabilidade calibrada — essa é a lacuna que um modelo de decisão preenche e a engenharia de prompt não.
3. Escale apenas o que fica abaixo do seu limiar. gpt-5.6-sol a partir de $0,297 / $1,781 em 19 rotas, ou gemini-3.8-flash a partir de $0,20 / $1,00 em 7.
4. Mantenha a aritmética, datas e contagem no seu próprio código, para ambos os níveis. É mais barato e é correto.
5. Meça sua própria taxa de concordância antes de escalar. Cinquenta itens rotulados à mão vão te dizer mais do que qualquer tabela de benchmark, incluindo esta.

A economia desse padrão é a razão pela qual o roteamento existe como categoria: a primeira passada é onde vai quase todo o volume, e o nível de escalonamento é de onde vem quase toda a qualidade. Você só precisa do segundo para a minoria que não consegue classificar.

Crie uma conta no APIMaster, adicione crédito pré-pago a partir de $1, crie uma chave no console e aponte um cliente compatível com OpenAI para https://apimaster.ai/v1 com qualquer um dos IDs de modelo acima. Uma chave cobre as famílias GPT, GLM, DeepSeek, Gemini e Claude, então o caminho de escalonamento permanece na mesma integração. Valide uma rota com o testador de modelos antes de mover o tráfego de produção.

FAQ

O Jev é um modelo de linguagem? Não. A TypeSafe o descreve como um modelo de dados estruturados, e as próprias palavras do fundador na thread de lançamento são que ele "tecnicamente não é um modelo de linguagem (ele não gera linguagem)". Ele lê texto e retorna decisões.

O Jev é mais preciso que um LLM? Não de forma mensurável, com base na evidência publicada. Em um teste norueguês de 24 documentos, Jev e DeepSeek V4.1 Flash concordaram com os rótulos de referência na mesma taxa em perguntas de postura e argumento. O Jev esteve claramente à frente em uma tarefa de escala ordenada.

O Jev é mais barato que um LLM? Sim, por tarefa — não por token de entrada. Os $0,042 por 1M de tokens de entrada do Jev são superados pelo gpt-5.6-luna a $0,022 na entrada, mas o Jev não emite nenhum token de saída, e modelos generativos são cobrados pela saída. Na carga de trabalho publicada, isso deu $0,22 por 1.000 documentos contra $1,31 e $3,08.

O que é "LLM como juiz" e como isso é diferente? LLM como juiz significa pedir a um modelo generativo que avalie ou rotule algo e ler a resposta a partir do seu texto. Funciona, mas você paga pelo texto, espera pelos tokens, e a confiança que você recebe de volta não é uma probabilidade calibrada. Um modelo de decisão retorna o mesmo julgamento como uma resposta tipada sobre a qual você pode aplicar um limiar.

Posso simplesmente forçar a saída JSON de um modelo barato em vez disso? Isso te dá o esquema, não a calibração. A decodificação restrita faz a saída parsear; ela não te diz em quais respostas desconfiar, e a TypeSafe argumenta que ela pode degradar a qualidade ao mascarar tokens sobre os quais o modelo estava genuinamente incerto.

Qual devo usar para classificação? Se você faz poucos julgamentos onde a acurácia é tudo e você pode revisá-los, um bom LLM serve. Se você faz muitos julgamentos e precisa automatizar, use o que retornar um sinal de confiança utilizável e escale os incertos.

O Jev lida com texto em idiomas que não o inglês? Lida, com ressalvas. A TypeSafe diz que o inglês é onde a acurácia é melhor e que outros idiomas, incluindo CJK, são tratados mas não igualmente bem. O teste norueguês acima o viu lendo atas de conselho escaneadas corretamente e também mediu a eficiência do tokenizador em cerca de 2,06 caracteres por token — vale a pena verificar no seu próprio idioma antes de planejar em torno do limite de contexto.

O Jev consegue ver imagens? Não. É somente-texto. Converter uma imagem em texto e perguntar ao Jev sobre ela pode superar o acaso, mas perde feio para um modelo que consegue de fato ver.

O Jev está disponível no APIMaster? Sim. Use jev-latest com o endpoint nativo POST https://apimaster.ai/v1/systemone. Custa $0,042 por 1M de tokens de entrada e $0 de saída; veja o card do Jev no marketplace para disponibilidade ao vivo.

Com qual modelo de baixo custo devo começar para uma primeira passada? O gpt-5.6-luna é o nível mais barato do marketplace a $0,022 / $0,134 por 1M de tokens em 3 rotas — a menor tarifa de entrada e saída na tabela deste artigo. glm-5.3-flash a $0,105 / $0,35 e deepseek-flash a $0,15 / $0,60 são os próximos degraus. Meça com seus próprios dados antes de comprometer volume.

Fontes e leitura adicional

• Emil Lindfors — An early-access test of TypeSafe's Jev — 24 documentos de consulta noruegueses, Jev contra DeepSeek V4.1 Flash com e sem raciocínio, com concordância por tarefa, intervalos de calibração, custo e latência
• Bartosz Mikulski — TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway — 400 esboços como strings de coordenadas, linha de base de acaso e a comparação com o Sonnet 5
• TypeSafe — Models — ID do modelo, preço de $42/Btok, limites de taxa, orçamento de contexto e suporte a idiomas
• TypeSafe — Jev 1.13 jaggedness — as notas de escopo publicadas sobre leitura literal, aritmética, datas, indireção e geração
• TypeSafe — Introducing System One Models and Jev — o número de ponta a ponta de 70–500ms e a comparação de 40×–200×
• Thread de lançamento no Hacker News — os comentários do fundador sobre o que o Jev não é, sobre decodificação restrita e sobre por que a saída é gratuita

Os resultados de testes de terceiros são reproduzidos conforme seus autores os publicaram; nenhum dos autores foi pago por seu artigo nem revisou esta página. Os preços das rotas do APIMaster foram lidos em 21 de setembro de 2026.