Jev vs LLMs: dónde un modelo de decisión supera el prompting, y dónde no

No es una cuestión de "mejor o peor"

Jev y un LLM responden a preguntas diferentes. Jev responde cuál, cuánto o con qué probabilidad; un LLM responde qué debería escribirse.

	Jev	Un LLM generativo
Salida	Respuestas tipadas con una probabilidad por opción y un valor de confianza	Texto, opcionalmente restringido a un esquema JSON
Base de coste	Solo tokens de entrada; la salida es gratis	Tokens de entrada más salida
Forma de la latencia	Una pasada hacia delante; las preguntas se abren en paralelo sobre un estado	Tokens generados secuencialmente; los modelos de razonamiento añaden una larga pasada oculta
Confianza	Un número calibrado que puedes umbralizar	Normalmente ninguna, o una frase autoinformada
Esquema	Coincide por construcción	Coincide hasta que el modelo decide que no
Entrada conocida	Solo texto y estado estructurado, sin imágenes	Texto, e imágenes para modelos multimodales
Le gana en	Juicios estrechos y de alto volumen	Generación, razonamiento, explicación, aritmética

En el momento en que dejas de necesitar texto de salida, la aritmética cambia. Una tarea con forma de clasificador que produce veinte tokens de prosa por elemento está pagando por esos tokens en cada uno de los elementos, para siempre.

La cuestión de la precisión, con números reales

Las comparaciones de marketing suelen comparar el benchmark favorito de cada proveedor contra el peor del otro. La prueba publicada útil que encontramos es el escrito de acceso anticipado de Emil Lindfors, An early-access test of TypeSafe's Jev, ejecutado sobre 24 respuestas a la audiencia de Noruega de 2022 sobre el impuesto a la renta de los recursos de la acuicultura del salmón.

Primero etiquetó todo con Claude Fable 5.1 en dos pasadas independientes, luego comparó Jev 1.13 contra DeepSeek V4.1 Flash a través de OpenRouter — las mismas preguntas en un prompt, salida JSON, una vez con razonamiento activado y otra con él desactivado.

Tarea	Jev 1.13	DeepSeek, razonamiento desactivado	DeepSeek, razonamiento activado
Postura, 4 opciones	20 de 24	20 de 24	22 de 24
Tipo de encuestado, 6 opciones	21 de 23	22 de 23	23 de 23
Argumentos, 192 sí/no	0.86	0.89	0.88
Sustancia, nivel exacto	19 de 24	14 de 24	14 de 24

Hay dos cosas que merece la pena leer de esa tabla. Primero, el autor es explícito en que estas son coincidencias con las etiquetas de un modelo frontera, no corrección — donde la referencia está equivocada y Jev tiene razón, Jev puntúa como incorrecto. Con 24 documentos, el intervalo del 95% sobre un número de postura es de aproximadamente ±15 puntos, así que las tres columnas son iguales en postura y argumentos. Segundo, la única victoria clara está en la escala ordenada Score, 19 frente a 14: eso es la primitiva haciendo exactamente aquello para lo que fue construida, y es el tipo de resultado que no obtendrías en absoluto de una respuesta de texto.

Cualquiera que afirme, con esta evidencia, que un modelo de decisión es categóricamente más preciso que un LLM está sobreinterpretando una muestra de 24 documentos. La afirmación interesante es la más estrecha.

La cuestión del coste

La misma prueba valoró el trabajo por 1.000 documentos:

	Jev 1.13	DeepSeek, razonamiento desactivado	DeepSeek, razonamiento activado
Coste por 1.000 documentos	$0.22	$1.31	$3.08
Latencia mediana	0.32 s	2.7 s	26 s
Petición más lenta	1.3 s	17.9 s	250 s

Aproximadamente un sexto y un catorceavo de las dos configuraciones de LLM, con aproximadamente un octavo y un ochentaavo de la latencia mediana. El propio resumen del autor sobre la causa: eliminar la generación de texto es la razón por la que el precio cae tanto, y los tokens de razonamiento compraron dos etiquetas de postura extra de 24 a cambio de diez veces la latencia.

Eso es una carga de trabajo, un idioma, un día. Tus números variarán — solo la eficiencia del tokenizador ya los mueve. El mismo escrito midió el tokenizador de Jev en aproximadamente 2.06 caracteres por token en noruego, frente a los ~4 caracteres por token que asumirías del inglés, lo que reduce el presupuesto de estado utilizable de aproximadamente 120,000 caracteres a unos 64,000.

La calibración es la diferencia real

Esta es la parte que decide si puedes automatizar. Un modelo que acierta el 86% de las veces y sabe en qué 14% se equivoca es una herramienta distinta de un modelo que acierta el 88% de las veces y suena igual de seguro sobre todo.

De la misma ejecución, sobre 192 juicios de argumentos:

Probabilidad declarada por Jev	Juicios	La referencia coincidió
0.0 – 0.1	14	0%
0.1 – 0.3	56	4%
0.3 – 0.7	41	34%
0.7 – 0.9	38	97%
0.9 – 1.0	43	98%

La dirección es correcta en cada paso, y el modelo se queda ligeramente subconfiado en ambos extremos — el propio objetivo de TypeSafe es que los resultados asignados a 0.8 ocurran aproximadamente el 80% de las veces, y el bin central quedó en 34% en lugar de ~50%.

La versión práctica de esa tabla es un umbral. Dividiendo las preguntas de elección por la probabilidad superior:

	Probabilidad superior ≥ 0.9	Por debajo de 0.9
Postura	14 de 15 coinciden	6 de 9 coinciden
Tipo de encuestado	20 de 20 coinciden	1 de 3 coinciden

Ese es el patrón operativo: acepta la mayoría segura, escala el resto. El propio recetario de TypeSafe sobre filings de la SEC informa de 27 de 30 correctos con 0.9 o más en inglés; la ejecución noruega obtuvo 14 de 15.

La comparación solo funciona en una dirección. Con el razonamiento activado, DeepSeek puso 84 de sus 192 respuestas de argumentos por encima de 0.9 — y en la ventana de 0.7–0.9 sus etiquetas coincidieron con la referencia el 48% de las veces. Un modelo cuya confianza no está calibrada no puede usarse como puerta, por buenas que sean sus respuestas.

Dónde un LLM sigue siendo la elección correcta

• Generación. Jev no escribirá el resumen, la respuesta ni el mensaje de commit. La propia documentación de TypeSafe envía la generación a un modelo generativo.
• Razonamiento y preguntas de varios saltos. TypeSafe enumera la indirección como una debilidad conocida: las preguntas con dobles negaciones o múltiples saltos cuestan precisión.
• Aritmética, fechas y conteo. Documentado como poco fiable, y el error crece con el tamaño de lo que se cuenta. Mantenlo en código.
• Imágenes y audio. Jev es solo texto. En TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway, Bartosz Mikulski convirtió 400 bocetos en cadenas de coordenadas SVG y le pidió a Jev que los nombrara. Superó claramente una línea base de azar de diez opciones, perdió frente a Claude Sonnet 5 y respondió "airplane" para más de la mitad de los dibujos. El mismo contenido codificado en base64 cayó al azar — un recordatorio útil de que un modelo de texto leyendo números los está leyendo como texto.
• Cualquier cosa que necesite una explicación. "Por qué etiquetaste este de esa manera" no es una pregunta que responda una probabilidad.

El fundador de TypeSafe plantea un argumento relacionado en el lado de los LLM que merece la pena conocer, ya que va contra un apaño común: en el hilo de lanzamiento sostuvo que la decodificación restringida del tipo que usan las salidas estructuradas al estilo OpenAI hace que los modelos sean más tontos, porque enmascarar tokens inválidos no es lo mismo que el modelo no esté confundido respecto a ellos. Trátalo como la posición de un proveedor y no como un resultado asentado — pero sí significa que "forzar simplemente JSON de un modelo barato" no equivale automáticamente a una respuesta tipada.

El patrón que funciona

La conclusión más útil del escrito noruego es que la elección no es o lo uno o lo otro. El propio proyecto del autor usó tres modelos para tres trabajos:

Trabajo	Modelo	Por qué
48 etiquetas de referencia cuidadosas	Fable 5.1	Pocos documentos, decisiones de criterio, el coste no importa
Cada documento, cada pregunta	Jev	Bajo coste, rápido y dice cuándo no está seguro
Una segunda opinión sobre el tercio incierto	DeepSeek o una persona	Más lento y más caro, así que solo donde se necesita

Puedes ejecutar esa forma hoy con una sola clave compatible con OpenAI, usando un nivel de bajo coste como primera pasada y uno más fuerte solo para los casos que la primera pasada no puede resolver:

1. Primera pasada en el nivel más barato que supere tu listón. gpt-5.6-luna a $0.022 / $0.134 por 1M, o glm-5.3-flash a $0.105 / $0.35, o deepseek-flash a $0.15 / $0.60.
2. Fuerza la decisión hacia un conjunto cerrado en el prompt, y pide una puntuación de confianza junto a ella. Trata la puntuación como una pista, no como una probabilidad calibrada — esa es la brecha que cubre un modelo de decisión y que la ingeniería de prompts no cubre.
3. Escala solo lo que caiga por debajo de tu umbral. gpt-5.6-sol desde $0.297 / $1.781 en 19 rutas, o gemini-3.8-flash desde $0.20 / $1.00 en 7.
4. Mantén la aritmética, las fechas y el conteo en tu propio código, para ambos niveles. Es más barato y es correcto.
5. Mide tu propia tasa de coincidencia antes de escalar. Cincuenta elementos etiquetados a mano te dirán más que cualquier tabla de benchmark, incluida esta.

La economía de ese patrón es la razón por la que el enrutamiento existe como categoría: la primera pasada es donde va casi todo el volumen, y el nivel de escalado es de donde viene casi toda la calidad. Solo necesitas el segundo para la minoría que no puedes clasificar.

Crea una cuenta de APIMaster, añade crédito de pago por uso desde $1, crea una clave en la consola y apunta un cliente compatible con OpenAI a https://apimaster.ai/v1 con cualquiera de los IDs de modelo anteriores. Una sola clave cubre las familias GPT, GLM, DeepSeek, Gemini y Claude, así que la ruta de escalado se mantiene en la misma integración. Valida una ruta con el probador de modelos antes de mover tráfico de producción.

FAQ

¿Es Jev un modelo de lenguaje? No. TypeSafe lo describe como un modelo de datos estructurados, y las propias palabras del fundador en el hilo de lanzamiento son que "técnicamente no es un modelo de lenguaje (no genera lenguaje)". Lee texto y devuelve decisiones.

¿Es Jev más preciso que un LLM? No de forma medible, según la evidencia publicada. En una prueba noruega de 24 documentos, Jev y DeepSeek V4.1 Flash coincidieron con las etiquetas de referencia al mismo ritmo en preguntas de postura y argumentos. Jev estuvo claramente por delante en una tarea de escala ordenada.

¿Es Jev más barato que un LLM? Sí, por tarea — no por token de entrada. Los $0.042 de Jev por 1M tokens de entrada quedan por debajo de gpt-5.6-luna a $0.022 en entrada, pero Jev no emite ningún token de salida, y los modelos generativos se facturan por la salida. En la carga de trabajo publicada, eso supuso $0.22 por 1.000 documentos frente a $1.31 y $3.08.

¿Qué es "LLM as a judge" y en qué se diferencia? LLM-as-a-judge significa pedir a un modelo generativo que puntúe o etiquete algo y leer la respuesta de su texto. Funciona, pero pagas por el texto, esperas por los tokens, y la confianza que recibes de vuelta no es una probabilidad calibrada. Un modelo de decisión devuelve ese mismo juicio como una respuesta tipada que puedes umbralizar.

¿Puedo simplemente forzar la salida JSON de un modelo barato en su lugar? Te da el esquema, no la calibración. La decodificación restringida hace que la salida se parsee; no te dice en qué respuestas desconfiar, y TypeSafe sostiene que puede degradar la calidad al enmascarar tokens sobre los que el modelo tenía genuina incertidumbre.

¿Cuál debería usar para clasificación? Si haces unos pocos juicios donde la precisión lo es todo y puedes revisarlos, un buen LLM está bien. Si haces muchos juicios y necesitas automatizar, usa lo que devuelva una señal de confianza utilizable y escala los inciertos.

¿Maneja Jev texto que no está en inglés? Sí, con matices. TypeSafe dice que el inglés es donde la precisión es mejor y que otros idiomas, incluidos los CJK, se manejan pero no igual de bien. La prueba noruega anterior encontró que leía correctamente actas municipales escaneadas, y también midió la eficiencia del tokenizador en aproximadamente 2.06 caracteres por token — merece la pena comprobarlo en tu propio idioma antes de planificar en torno al límite de contexto.

¿Puede Jev ver imágenes? No. Es solo texto. Convertir una imagen a texto y preguntarle a Jev sobre ella puede superar el azar, pero pierde claramente frente a un modelo que puede ver de verdad.

¿Está Jev disponible en APIMaster? Sí. Usa jev-latest con el endpoint nativo POST https://apimaster.ai/v1/systemone. Cuesta $0.042 por 1M tokens de entrada y $0 de salida; consulta la tarjeta de Jev en el mercado para disponibilidad en vivo.

¿Con qué modelo de bajo coste debería empezar para una primera pasada? gpt-5.6-luna es el nivel más barato del mercado a $0.022 / $0.134 por 1M tokens en 3 rutas — la tarifa de entrada y salida más baja de la tabla de este artículo. glm-5.3-flash a $0.105 / $0.35 y deepseek-flash a $0.15 / $0.60 son los siguientes escalones. Mide con tus propios datos antes de comprometer volumen.

Fuentes y lecturas adicionales

• Emil Lindfors — An early-access test of TypeSafe's Jev — 24 documentos de audiencia noruegos, Jev frente a DeepSeek V4.1 Flash con y sin razonamiento, con coincidencia por tarea, bins de calibración, coste y latencia
• Bartosz Mikulski — TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway — 400 bocetos como cadenas de coordenadas, línea base de azar y la comparación con Sonnet 5
• TypeSafe — Models — ID del modelo, precios de $42/Btok, límites de tasa, presupuesto de contexto y soporte de idiomas
• TypeSafe — Jev 1.13 jaggedness — las notas de alcance publicadas sobre lectura literal, aritmética, fechas, indirección y generación
• TypeSafe — Introducing System One Models and Jev — la cifra de 70–500ms de extremo a extremo y la comparación de 40×–200×
• Hacker News launch thread — los comentarios del fundador sobre lo que Jev no es, sobre la decodificación restringida y sobre por qué la salida es gratis

Los resultados de pruebas de terceros se reproducen tal como los publicaron sus autores; ninguno de los dos autores recibió pago por su escrito ni revisó esta página. Los precios de rutas de APIMaster se leyeron el 21 de septiembre de 2026.