Jev vs LLM'ler: Bir Karar Modelinin Prompt'lamayı Nerede Yendiği ve Nerede Yemediği

Bu bir "daha iyi ya da daha kötü" sorusu değil

Jev ve bir LLM farklı soruları yanıtlıyor. Jev hangisi, ne kadar veya ne olasılıkla sorusunu yanıtlar; bir LLM ise ne yazılmalı sorusunu.

	Jev	Üretici bir LLM
Çıkış	Her seçenek için bir olasılık ve bir güven değeri içeren tipli yanıtlar	Metin, isteğe bağlı olarak bir JSON şemasına kısıtlanmış
Maliyet temeli	Yalnızca giriş token'ları; çıkış ücretsiz	Giriş artı çıkış token'ları
Gecikme şekli	Tek ileri geçiş; sorular tek bir durum üzerinde paralel olarak dağılır	Sıralı üretilen token'lar; akıl yürütme modelleri uzun bir gizli geçiş ekler
Güven	Eşikleyebileceğiniz kalibre edilmiş bir sayı	Genellikle yok, ya da kendi bildirdiği bir cümle
Şema	Yapısı gereği eşleşir	Model eşleşmemeye karar verene kadar eşleşir
Bilinen girdi	Yalnızca metin ve yapılandırılmış durum, görüntü yok	Metin ve çok modlu modeller için görüntüler
Şunda yener	Dar, yüksek hacimli yargılar	Üretim, akıl yürütme, açıklama, aritmetik

Metin çıktısına ihtiyaç duymayı bıraktığınız anda aritmetik değişir. Öğe başına yirmi token düzyazı üreten sınıflandırıcı biçimli bir görev, bu token'lar için her bir öğede sonsuza kadar ödeme yapıyor demektir.

Gerçek sayılarla doğruluk sorusu

Pazarlama karşılaştırmaları genellikle her satıcının en sevdiği kıyaslama testini diğerinin en kötüsüyle karşılaştırır. Bulduğumuz faydalı yayımlanmış test, Emil Lindfors'un erken erişim yazısı, An early-access test of TypeSafe's Jev, Norveç'in 2022 somon çiftçiliği kaynak kira vergisi duruşmasına verilen 24 yanıt üzerinde çalıştırıldı.

Önce her şeyi Claude Fable 5.1 ile iki bağımsız geçişte etiketledi, sonra Jev 1.13'ü OpenRouter üzerinden DeepSeek V4.1 Flash ile karşılaştırdı — aynı sorular tek bir prompt'ta, JSON çıkışı, bir kez akıl yürütme açık ve bir kez kapalı.

Görev	Jev 1.13	DeepSeek, akıl yürütme kapalı	DeepSeek, akıl yürütme açık
Duruş pozisyonu, 4 seçenek	24'te 20	24'te 20	24'te 22
Yanıtlayan türü, 6 seçenek	23'te 21	23'te 22	23'te 23
Argümanlar, 192 evet/hayır	0,86	0,89	0,88
İçerik, tam düzey	24'te 19	24'te 14	24'te 14

Bu tablodan okunmaya değer iki şey var. Birincisi, yazar bunların bir frontier modelinin etiketleriyle örtüşme olduğunu, doğruluk olmadığını açıkça belirtiyor — referansın yanlış ve Jev'in doğru olduğu yerde Jev yanlış olarak puanlanıyor. 24 belgeyle, bir duruş pozisyonu sayısı üzerindeki %95 aralığı yaklaşık ±15 puandır, yani üç sütun duruş pozisyonu ve argümanlarda aynıdır. İkincisi, tek net kazanç sıralı Score ölçeğinde, 14'e karşı 19: bu, tam olarak inşa edildiği işi yapan ilkel öğedir ve metin yanıtından hiç elde edemeyeceğiniz türden bir sonuçtur.

Bu kanıtlara dayanarak bir karar modelinin kategorik olarak bir LLM'den daha doğru olduğunu iddia eden herkes, 24 belgelik bir örneklemi aşırı yorumluyor demektir. İlginç olan iddia daha dar olanıdır.

Maliyet sorusu

Aynı test, işi 1.000 belge başına fiyatlandırdı:

	Jev 1.13	DeepSeek, akıl yürütme kapalı	DeepSeek, akıl yürütme açık
1.000 belge başına maliyet	$0,22	$1,31	$3,08
Medyan gecikme	0,32 sn	2,7 sn	26 sn
En yavaş istek	1,3 sn	17,9 sn	250 sn

İki LLM yapılandırmasının kabaca altıda biri ve on dörtte biri, medyan gecikmenin ise kabaca sekizde biri ve seksen katı. Yazarın nedenine ilişkin kendi özeti: metin üretimini bırakmak fiyatın bu kadar düşmesinin nedenidir ve akıl yürütme token'ları 24 duruş pozisyonundan iki ek etiket için on kat gecikme satın aldı.

Bunlar tek bir iş yükü, tek bir dil, tek bir gün. Sizin sayılarınız farklı olacaktır — tek başına tokenizer verimliliği bile onları değiştirir. Aynı yazı, Jev'in tokenizer'ını Norveççe'de yaklaşık token başına 2,06 karakter olarak ölçtü; İngilizce'den varsayacağınız token başına ~4 karaktere karşı, bu da kullanılabilir durum bütçesini kabaca 120.000 karakterden yaklaşık 64.000'e düşürür.

Asıl fark kalibrasyondur

Otomatikleştirip otomatikleştiremeyeceğinize karar veren kısım budur. Zamanın %86'sında doğru olan ve yanıldığı %14'ü bilen bir model, zamanın %88'inde doğru olan ve her şey hakkında eşit derecede emin görünen bir modelden farklı bir araçtır.

Aynı çalıştırmadan, 192 argüman yargısı üzerinde:

Jev'in belirttiği olasılık	Yargılar	Referans aynı fikirde
0,0 – 0,1	14	%0
0,1 – 0,3	56	%4
0,3 – 0,7	41	%34
0,7 – 0,9	38	%97
0,9 – 1,0	43	%98

Yön her adımda doğru ve model her iki uçta da hafifçe az güvenli çalışıyor — TypeSafe'in kendi hedefi 0,8 atanan sonuçların zamanın yaklaşık %80'inde gerçekleşmesi gerektiğidir ve orta kutu ~%50 yerine %34'te geldi.

Bu tablonun pratik hali bir eşiktir. Seçim sorularını en yüksek olasılığa göre ayırmak:

	En yüksek olasılık ≥ 0,9	0,9'un altında
Duruş pozisyonu	15'te 14 aynı fikirde	9'da 6 aynı fikirde
Yanıtlayan türü	20'de 20 aynı fikirde	3'te 1 aynı fikirde

İşletim deseni budur: emin olan çoğunluğu kabul et, gerisini yükselt. TypeSafe'in kendi SEC dosyaları yemek kitabı İngilizce'de 0,9 veya üzerinde 30'da 27 doğru bildiriyor; Norveççe çalıştırma 15'te 14 elde etti.

Karşılaştırma yalnızca tek yönde işliyor. Akıl yürütme etkinken, DeepSeek 192 argüman yanıtından 84'ünü 0,9'un üzerine koydu — ve 0,7–0,9 penceresinde etiketleri referansla zamanın %48'inde örtüştü. Güveni kalibre edilmemiş bir model, yanıtları ne kadar iyi olursa olsun bir kapı olarak kullanılamaz.

Bir LLM'in hâlâ doğru seçim olduğu yer

• Üretim. Jev özeti, yanıtı veya commit mesajını yazmaz. TypeSafe'in kendi dokümantasyonu üretimi üretici bir modele yönlendirir.
• Akıl yürütme ve çok atlamalı sorular. TypeSafe dolaylılığı bilinen bir zayıflık olarak listeliyor: çift olumsuzlamalar veya birden fazla atlama içeren sorular doğruluk kaybettirir.
• Aritmetik, tarihler ve sayma. Güvenilmez olarak belgelenmiştir ve hata sayılan şeyin boyutuyla büyür. Bunu kodda tutun.
• Görüntüler ve ses. Jev yalnızca metindir. TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway yazısında Bartosz Mikulski 400 krokiyi SVG koordinat dizelerine dönüştürdü ve Jev'den onları adlandırmasını istedi. On yönlü bir şans temel çizgisini açıkça yendi, Claude Sonnet 5'e kaybetti ve çizimlerin yarısından fazlası için "uçak" yanıtını verdi. Aynı içerik base64 olarak kodlandığında şans düzeyine indi — bir metin modelinin sayıları okurken onları metin olarak okuduğunun faydalı bir hatırlatıcısı.
• Açıklama gerektiren her şey. "Bunu neden böyle etiketledin" bir olasılığın yanıtlayabileceği bir soru değildir.

TypeSafe'in kurucusu, LLM tarafında bilinmeye değer ilgili bir argüman öne sürüyor, çünkü bu yaygın bir geçici çözüme karşı çıkıyor: lansman başlığında, OpenAI tarzı yapılandırılmış çıktıların kullandığı türden kısıtlı kod çözmenin modelleri aptallaştırdığını savundu, çünkü geçersiz token'ları maskelemek, modelin onlar hakkında kafasının karışmamasıyla aynı şey değildir. Bunu yerleşik bir sonuç değil, bir satıcının tutumu olarak değerlendirin — ama bu, "ucuz bir modelden JSON zorla çıkar" demenin otomatik olarak tipli bir yanıta eşdeğer olmadığı anlamına gelir.

İşleyen desen

Norveççe yazıdaki en faydalı sonuç, seçimin ya/ya da olmadığıdır. Yazarın kendi projesi üç iş için üç model kullandı:

İş	Model	Neden
48 dikkatli referans etiketi	Fable 5.1	Az belge, yargı kararları, maliyet önemli değil
Her belge, her soru	Jev	Düşük maliyetli, hızlı ve emin olmadığında söylüyor
Belirsiz üçte birlik kısım için ikinci görüş	DeepSeek veya bir kişi	Daha yavaş ve daha pahalı, bu yüzden yalnızca gerektiği yerde

Bu şekli bugün tek bir OpenAI uyumlu anahtarla çalıştırabilirsiniz; ilk geçiş olarak düşük maliyetli bir katman ve yalnızca ilk geçişin çözemediği durumlar için daha güçlü bir katman kullanarak:

1. Çubuğunuzu geçen en ucuz katmanda ilk geçiş. 1M başına $0,022 / $0,134 ile gpt-5.6-luna, ya da $0,105 / $0,35 ile glm-5.3-flash, ya da $0,15 / $0,60 ile deepseek-flash.
2. Kararı prompt'ta kapalı bir kümeye zorlayın ve yanında bir güven puanı isteyin. Puanı kalibre edilmiş bir olasılık olarak değil, bir ipucu olarak değerlendirin — bir karar modelinin doldurduğu ve prompt mühendisliğinin doldurmadığı boşluk budur.
3. Yalnızca eşiğinizin altına düşenleri yükseltin. 19 rota genelinde $0,297 / $1,781'den başlayan gpt-5.6-sol, ya da 7 rota genelinde $0,20 / $1,00'dan başlayan gemini-3.8-flash.
4. Aritmetiği, tarihleri ve saymayı kendi kodunuzda tutun, her iki katman için de. Daha ucuz ve doğru.
5. Ölçeklendirmeden önce kendi örtüşme oranınızı ölçün. Elle etiketlenmiş elli öğe size herhangi bir kıyaslama tablosundan, bu dahil, daha fazlasını söyleyecektir.

Bu desenin ekonomisi, yönlendirmenin bir kategori olarak var olmasının nedenidir: ilk geçiş neredeyse tüm hacmin gittiği yerdir ve yükseltme katmanı neredeyse tüm kalitenin geldiği yerdir. İkincisine yalnızca sınıflandıramadığınız azınlık için ihtiyaç duyarsınız.

Bir APIMaster hesabı oluşturun, $1'dan başlayan kullandıkça öde kredisi ekleyin, konsolda bir anahtar oluşturun ve OpenAI uyumlu bir istemciyi yukarıdaki model kimliklerinden herhangi biriyle https://apimaster.ai/v1 adresine yönlendirin. Tek bir anahtar GPT, GLM, DeepSeek, Gemini ve Claude ailelerini kapsar, böylece yükseltme yolu aynı entegrasyonda kalır. Üretim trafiğini taşımadan önce bir rotayı model test aracıyla doğrulayın.

FAQ

Jev bir dil modeli mi? Hayır. TypeSafe onu yapılandırılmış bir veri modeli olarak tanımlıyor ve kurucunun lansman başlığındaki kendi ifadesiyle "teknik olarak bir dil modeli değil (dil üretmez)". Metni okur ve kararlar döndürür.

Jev bir LLM'den daha mı doğru? Yayımlanmış kanıtlara göre ölçülebilir biçimde değil. 24 belgelik bir Norveççe testte, Jev ve DeepSeek V4.1 Flash duruş pozisyonu ve argüman sorularında referans etiketlerle aynı oranda örtüştü. Jev bir sıralı ölçek görevinde açıkça öndeydi.

Jev bir LLM'den daha mı ucuz? Evet, görev başına — giriş token'ı başına değil. Jev'in 1M giriş token'ı başına $0,042'si, girişte $0,022 ile gpt-5.6-luna tarafından alt kesiliyor, ancak Jev hiç çıkış token'ı üretmiyor ve üretici modeller çıkış için faturalandırılıyor. Yayımlanmış iş yükünde bu, $1,31 ve $3,08'e karşı 1.000 belge başına $0,22'ye denk geldi.

"LLM as a judge" nedir ve nasıl farklıdır? LLM-as-a-judge, üretici bir modelden bir şeyi derecelendirmesini veya etiketlemesini istemek ve yanıtı metninden okumak anlamına gelir. İşe yarar, ancak metin için ödeme yaparsınız, token'ları beklersiniz ve geri aldığınız güven kalibre edilmiş bir olasılık değildir. Bir karar modeli aynı yargıyı eşikleyebileceğiniz tipli bir yanıt olarak döndürür.

Bunun yerine ucuz bir modelden JSON çıkışı zorlayamaz mıyım? Bu size şemayı verir, kalibrasyonu değil. Kısıtlı kod çözme çıktıyı ayrıştırılabilir kılar; hangi yanıtlara güvenmemeniz gerektiğini söylemez ve TypeSafe, modelin gerçekten emin olmadığı token'ları maskeleyerek kaliteyi düşürebileceğini savunuyor.

Sınıflandırma için hangisini kullanmalıyım? Doğruluğun her şey olduğu ve gözden geçirebileceğiniz birkaç yargı veriyorsanız, iyi bir LLM yeterlidir. Çok sayıda yargı veriyorsanız ve otomatikleştirmeniz gerekiyorsa, kullanılabilir bir güven sinyali döndüren her neyse onu kullanın ve belirsiz olanları yükseltin.

Jev İngilizce dışındaki metinleri işliyor mu? İşliyor, bazı uyarılarla. TypeSafe doğruluğun en iyi olduğu dilin İngilizce olduğunu ve CJK dahil diğer dillerin işlendiğini ancak eşit derecede iyi olmadığını söylüyor. Yukarıdaki Norveççe test, taranmış meclis tutanaklarını doğru okuduğunu buldu ve ayrıca tokenizer verimliliğini token başına yaklaşık 2,06 karakter olarak ölçtü — bağlam sınırı etrafında planlama yapmadan önce kendi dilinizde kontrol etmeye değer.

Jev görüntüleri görebiliyor mu? Hayır. Yalnızca metindir. Bir görüntüyü metne dönüştürüp Jev'e sormak şansın üzerine çıkabilir, ancak gerçekten görebilen bir modele kötü biçimde kaybeder.

Jev APIMaster'da mevcut mu? Evet. jev-latest'i yerel POST https://apimaster.ai/v1/systemone uç noktasıyla kullanın. 1M giriş token'ı başına $0,042 ve $0 çıkışa mal olur; canlı kullanılabilirlik için Jev pazar yeri kartına bakın.

İlk geçiş için hangi düşük maliyetli modelle başlamalıyım? gpt-5.6-luna, pazar yerindeki en ucuz katman, 3 rota genelinde 1M token başına $0,022 / $0,134 — bu makalenin tablosundaki en düşük giriş ve çıkış ücreti. $0,105 / $0,35 ile glm-5.3-flash ve $0,15 / $0,60 ile deepseek-flash bir sonraki adımlar. Hacim taahhüt etmeden önce kendi verinizde ölçün.

Kaynaklar ve ileri okuma

• Emil Lindfors — An early-access test of TypeSafe's Jev — 24 Norveççe duruşma belgesi, Jev ile DeepSeek V4.1 Flash'ın akıl yürütmeli ve akıl yürütmesiz karşılaştırması, görev başına örtüşme, kalibrasyon kutuları, maliyet ve gecikme ile
• Bartosz Mikulski — TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway — koordinat dizeleri olarak 400 kroki, şans temel çizgisi ve Sonnet 5 karşılaştırması
• TypeSafe — Models — model kimliği, $42/Btok fiyatlandırma, hız sınırları, bağlam bütçesi ve dil desteği
• TypeSafe — Jev 1.13 jaggedness — gerçek okuma, aritmetik, tarihler, dolaylılık ve üretim üzerine yayımlanmış kapsam notları
• TypeSafe — Introducing System One Models and Jev — 70–500ms uçtan uca rakamı ve 40×–200× karşılaştırması
• Hacker News lansman başlığı — kurucunun Jev'in ne olmadığı, kısıtlı kod çözme ve çıkışın neden ücretsiz olduğu üzerine yorumları

Üçüncü taraf test sonuçları yazarlarının yayımladığı biçimde çoğaltılmıştır; yazarların hiçbirine yazıları için ödeme yapılmamıştır ve bu sayfayı gözden geçirmemişlerdir. APIMaster rota fiyatları 21 Eylül 2026'da okunmuştur.