Jev vs LLM: Di Mana Model Keputusan Mengalahkan Prompting, dan Di Mana Tidak

Ini bukan pertanyaan "lebih baik atau lebih buruk"

Jev dan LLM menjawab pertanyaan yang berbeda. Jev menjawab yang mana, seberapa banyak, atau seberapa mungkin; LLM menjawab apa yang harus ditulis.

	Jev	LLM generatif
Output	Jawaban bertipe dengan probabilitas per opsi dan nilai keyakinan	Teks, opsional dibatasi ke skema JSON
Dasar biaya	Hanya token input; output gratis	Token input plus output
Bentuk latensi	Satu forward pass; pertanyaan menyebar paralel pada satu state	Token dihasilkan secara sekuensial; model penalaran menambah pass tersembunyi yang panjang
Keyakinan	Angka terkalibrasi yang bisa Anda beri ambang	Biasanya tidak ada, atau kalimat yang dilaporkan sendiri
Skema	Cocok secara konstruksi	Cocok sampai model memutuskan tidak cocok
Input yang dikenal	Hanya teks dan state terstruktur, tanpa gambar	Teks, dan gambar untuk model multimodal
Unggul pada	Penilaian sempit bervolume tinggi	Generasi, penalaran, penjelasan, aritmetika

Begitu Anda tidak lagi membutuhkan output teks, aritmetikanya berubah. Tugas berbentuk pengklasifikasi yang menghasilkan dua puluh token prosa per item membayar token tersebut pada setiap item, selamanya.

Pertanyaan akurasi, dengan angka nyata

Perbandingan pemasaran biasanya membandingkan benchmark favorit tiap vendor dengan yang terburuk dari vendor lain. Uji terbitan yang berguna yang kami temukan adalah tulisan akses awal Emil Lindfors, An early-access test of TypeSafe's Jev, dijalankan pada 24 tanggapan terhadap dengar pendapat Norwegia 2022 tentang pajak sewa sumber daya budidaya salmon.

Ia melabeli semuanya dengan Claude Fable 5.1 dalam dua pass independen terlebih dahulu, lalu membandingkan Jev 1.13 dengan DeepSeek V4.1 Flash melalui OpenRouter — pertanyaan sama dalam satu prompt, output JSON, sekali dengan penalaran aktif dan sekali nonaktif.

Tugas	Jev 1.13	DeepSeek, penalaran nonaktif	DeepSeek, penalaran aktif
Sikap, 4 opsi	20 dari 24	20 dari 24	22 dari 24
Jenis responden, 6 opsi	21 dari 23	22 dari 23	23 dari 23
Argumen, 192 ya/tidak	0,86	0,89	0,88
Substansi, tingkat persis	19 dari 24	14 dari 24	14 dari 24

Ada dua hal yang layak dibaca dari tabel itu. Pertama, penulis secara eksplisit menyatakan bahwa ini adalah kesepakatan dengan label model frontier, bukan kebenaran — di mana referensi salah dan Jev benar, Jev dinilai salah. Dengan 24 dokumen, interval 95% pada angka sikap adalah sekitar ±15 poin, jadi ketiga kolom itu sama pada sikap dan argumen. Kedua, satu kemenangan jelas ada pada skala Score terurut, 19 berbanding 14: itu adalah primitif yang melakukan persis apa yang dirancang untuknya, dan itulah jenis hasil yang tidak akan Anda dapatkan dari jawaban teks sama sekali.

Siapa pun yang mengklaim berdasarkan bukti ini bahwa model keputusan secara kategoris lebih akurat daripada LLM sedang menafsirkan berlebihan sampel 24 dokumen. Klaim yang menarik adalah yang lebih sempit.

Pertanyaan biaya

Uji yang sama menetapkan harga pekerjaan per 1.000 dokumen:

	Jev 1.13	DeepSeek, penalaran nonaktif	DeepSeek, penalaran aktif
Biaya per 1.000 dokumen	$0,22	$1,31	$3,08
Latensi median	0,32 dtk	2,7 dtk	26 dtk
Permintaan terlambat	1,3 dtk	17,9 dtk	250 dtk

Sekitar seperenam dan seperempat belas dari dua konfigurasi LLM tersebut, pada sekitar seperdelapan dan seperdelapan puluh dari latensi median. Ringkasan penulis sendiri tentang penyebabnya: menghentikan generasi teks adalah alasan harga turun sejauh itu, dan token penalaran membeli dua label sikap tambahan dari 24 dengan latensi sepuluh kali lipat.

Itu satu beban kerja, satu bahasa, satu hari. Angka Anda akan berbeda — efisiensi tokenizer saja sudah menggesernya. Tulisan yang sama mengukur tokenizer Jev sekitar 2,06 karakter per token pada bahasa Norwegia, berbanding ~4 karakter per token yang Anda duga dari bahasa Inggris, yang memotong anggaran state yang dapat digunakan dari sekitar 120.000 karakter menjadi sekitar 64.000.

Kalibrasi adalah perbedaan sebenarnya

Inilah bagian yang menentukan apakah Anda bisa mengotomatiskan. Model yang benar 86% dari waktu dan tahu 14% mana yang salah adalah alat yang berbeda dari model yang benar 88% dari waktu dan terdengar sama yakinnya tentang segalanya.

Dari run yang sama, pada 192 penilaian argumen:

Probabilitas yang dinyatakan Jev	Penilaian	Referensi setuju
0,0 – 0,1	14	0%
0,1 – 0,3	56	4%
0,3 – 0,7	41	34%
0,7 – 0,9	38	97%
0,9 – 1,0	43	98%

Arahnya benar di setiap langkah, dan model sedikit kurang percaya diri di kedua ujung — target TypeSafe sendiri adalah bahwa hasil yang diberi 0,8 seharusnya terjadi sekitar 80% dari waktu, dan bin tengah tercatat 34% alih-alih ~50%.

Versi praktis dari tabel itu adalah ambang batas. Memisahkan pertanyaan pilihan pada probabilitas teratas:

	Probabilitas teratas ≥ 0,9	Di bawah 0,9
Sikap	14 dari 15 setuju	6 dari 9 setuju
Jenis responden	20 dari 20 setuju	1 dari 3 setuju

Itulah pola operasinya: terima mayoritas yang yakin, eskalasi sisanya. Buku resep SEC-filings TypeSafe sendiri melaporkan 27 dari 30 benar pada 0,9 atau lebih dalam bahasa Inggris; run Norwegia mendapat 14 dari 15.

Perbandingannya hanya berjalan satu arah. Dengan penalaran aktif, DeepSeek menempatkan 84 dari 192 jawaban argumennya di atas 0,9 — dan pada jendela 0,7–0,9 labelnya cocok dengan referensi 48% dari waktu. Model yang keyakinannya tidak terkalibrasi tidak bisa dipakai sebagai gerbang, seberapa pun bagus jawabannya.

Di mana LLM tetap menjadi pilihan yang tepat

• Generasi. Jev tidak akan menulis ringkasan, balasan, atau pesan commit. Dokumentasi TypeSafe sendiri mengarahkan generasi ke model generatif.
• Penalaran dan pertanyaan multi-hop. TypeSafe mencantumkan indirection sebagai kelemahan yang diketahui: pertanyaan dengan negasi ganda atau banyak hop menurunkan akurasi.
• Aritmetika, tanggal, dan penghitungan. Terdokumentasi sebagai tidak andal, dan galatnya bertambah seiring ukuran hal yang dihitung. Simpan di kode.
• Gambar dan audio. Jev hanya-teks. Dalam TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway, Bartosz Mikulski mengonversi 400 sketsa menjadi string koordinat SVG dan meminta Jev menamainya. Ia mengalahkan baseline tebakan acak sepuluh arah dengan jelas, kalah dari Claude Sonnet 5, dan menjawab "pesawat" untuk lebih dari separuh gambar. Konten yang sama dikodekan sebagai base64 justru jatuh ke tebakan acak — pengingat berguna bahwa model teks yang membaca angka membacanya sebagai teks.
• Apa pun yang butuh penjelasan. "Kenapa kau melabeli yang ini begitu" bukan pertanyaan yang dijawab oleh probabilitas.

Pendiri TypeSafe membuat argumen terkait di sisi LLM yang perlu diketahui, karena bertentangan dengan solusi umum: pada utas peluncuran ia berargumen bahwa constrained decoding seperti yang dipakai structured outputs bergaya OpenAI membuat model lebih bodoh, karena menutupi token yang tidak valid tidak sama dengan model tidak bingung tentang token tersebut. Perlakukan itu sebagai posisi vendor ketimbang hasil yang sudah final — tetapi itu berarti "paksa saja output JSON dari model murah" tidak otomatis setara dengan jawaban bertipe.

Pola yang berhasil

Kesimpulan paling berguna dalam tulisan Norwegia adalah bahwa pilihannya bukan salah satu/salah satu. Proyek penulis sendiri memakai tiga model untuk tiga pekerjaan:

Pekerjaan	Model	Alasan
48 label referensi yang cermat	Fable 5.1	Sedikit dokumen, keputusan penilaian, biaya tidak masalah
Setiap dokumen, setiap pertanyaan	Jev	Berbiaya rendah, cepat, dan memberi tahu saat tidak yakin
Pendapat kedua untuk sepertiga yang tidak pasti	DeepSeek atau manusia	Lebih lambat dan lebih mahal, jadi hanya di mana diperlukan

Anda bisa menjalankan bentuk itu hari ini dengan satu kunci yang kompatibel dengan OpenAI, menggunakan tingkatan berbiaya rendah sebagai pass pertama dan yang lebih kuat hanya untuk kasus yang tidak bisa diselesaikan pass pertama:

1. Pass pertama pada tingkatan termurah yang melewati standar Anda. gpt-5.6-luna pada $0,022 / $0,134 per 1J, atau glm-5.3-flash pada $0,105 / $0,35, atau deepseek-flash pada $0,15 / $0,60.
2. Paksa keputusan ke dalam himpunan tertutup dalam prompt, dan minta skor keyakinan bersamanya. Perlakukan skor itu sebagai petunjuk, bukan sebagai probabilitas terkalibrasi — itulah celah yang diisi model keputusan dan tidak diisi oleh prompt engineering.
3. Eskalasi hanya yang jatuh di bawah ambang Anda. gpt-5.6-sol mulai dari $0,297 / $1,781 di 19 rute, atau gemini-3.8-flash mulai dari $0,20 / $1,00 di 7.
4. Simpan aritmetika, tanggal, dan penghitungan di kode Anda sendiri, untuk kedua tingkatan. Lebih murah dan benar.
5. Ukur tingkat kesepakatan Anda sendiri sebelum menskalakan. Lima puluh item berlabel tangan akan memberi tahu Anda lebih banyak daripada tabel benchmark mana pun, termasuk yang ini.

Ekonomi dari pola itu adalah alasan routing ada sebagai kategori: pass pertama adalah tempat hampir semua volume mengalir, dan tingkatan eskalasi adalah tempat hampir semua kualitas berasal. Anda hanya memerlukan yang kedua untuk minoritas yang tidak bisa Anda klasifikasikan.

Buat akun APIMaster, tambahkan kredit bayar-sesuai-pemakaian mulai dari $1, buat kunci di konsol, dan arahkan klien yang kompatibel dengan OpenAI ke https://apimaster.ai/v1 dengan salah satu ID model di atas. Satu kunci mencakup keluarga GPT, GLM, DeepSeek, Gemini, dan Claude, sehingga jalur eskalasi tetap pada integrasi yang sama. Validasi rute dengan penguji model sebelum Anda memindahkan lalu lintas produksi.

FAQ

Apakah Jev model bahasa? Bukan. TypeSafe mendeskripsikannya sebagai model data terstruktur, dan kata-kata pendiri sendiri pada utas peluncuran adalah bahwa ia "secara teknis bukan model bahasa (ia tidak menghasilkan bahasa)". Ia membaca teks dan mengembalikan keputusan.

Apakah Jev lebih akurat daripada LLM? Tidak terukur, berdasarkan bukti terbitan. Dalam uji Norwegia 24 dokumen, Jev dan DeepSeek V4.1 Flash menyetujui label referensi pada tingkat yang sama pada pertanyaan sikap dan argumen. Jev jelas unggul pada satu tugas skala terurut.

Apakah Jev lebih murah daripada LLM? Ya, per tugas — bukan per token input. Tarif $0,042 per 1J token input Jev di bawah gpt-5.6-luna pada $0,022 untuk input, tetapi Jev tidak mengeluarkan token output sama sekali, dan model generatif ditagih untuk output. Dalam beban kerja terbitan, itu menjadi $0,22 per 1.000 dokumen berbanding $1,31 dan $3,08.

Apa itu "LLM as a judge" dan apa bedanya? LLM-as-a-judge berarti meminta model generatif menilai atau melabeli sesuatu dan membaca jawabannya dari teksnya. Itu berhasil, tetapi Anda membayar untuk teksnya, menunggu tokennya, dan keyakinan yang Anda dapatkan kembali bukan probabilitas terkalibrasi. Model keputusan mengembalikan penilaian yang sama sebagai jawaban bertipe yang bisa Anda beri ambang.

Bisakah saya paksa saja output JSON dari model murah sebagai gantinya? Itu memberi Anda skemanya, bukan kalibrasinya. Constrained decoding membuat output dapat di-parsing; ia tidak memberi tahu Anda jawaban mana yang harus tidak dipercaya, dan TypeSafe berargumen itu bisa menurunkan kualitas dengan menutupi token yang modelnya benar-benar tidak yakini.

Mana yang sebaiknya saya pakai untuk klasifikasi? Jika Anda membuat sedikit penilaian di mana akurasi adalah segalanya dan Anda bisa meninjaunya, LLM yang baik sudah cukup. Jika Anda membuat banyak penilaian dan perlu mengotomatiskan, gunakan apa pun yang mengembalikan sinyal keyakinan yang dapat digunakan dan eskalasi yang tidak pasti.

Apakah Jev menangani teks non-Inggris? Ya, dengan catatan. TypeSafe menyatakan bahasa Inggris adalah tempat akurasi terbaik dan bahasa lain termasuk CJK ditangani tetapi tidak sama baiknya. Uji Norwegia di atas menemukannya membaca notulen dewan yang dipindai dengan benar, dan juga mengukur efisiensi tokenizer sekitar 2,06 karakter per token — layak diperiksa pada bahasa Anda sendiri sebelum merencanakan berdasarkan batas konteks.

Bisakah Jev melihat gambar? Tidak. Ia hanya-teks. Mengonversi gambar menjadi teks dan menanyakan Jev tentangnya bisa mengalahkan tebakan acak, tetapi ia kalah telak dari model yang benar-benar bisa melihat.

Apakah Jev tersedia di APIMaster? Ya. Gunakan jev-latest dengan endpoint native POST https://apimaster.ai/v1/systemone. Biayanya $0,042 per 1J token input dan $0 output; lihat kartu marketplace Jev untuk ketersediaan langsung.

Model berbiaya rendah mana yang sebaiknya saya mulai untuk pass pertama? gpt-5.6-luna adalah tingkatan termurah di marketplace pada $0,022 / $0,134 per 1J token di 3 rute — tarif input dan output terendah dalam tabel artikel ini. glm-5.3-flash pada $0,105 / $0,35 dan deepseek-flash pada $0,15 / $0,60 adalah langkah berikutnya. Ukur pada data Anda sendiri sebelum berkomitmen volume.

Sumber dan bacaan lanjutan

• Emil Lindfors — An early-access test of TypeSafe's Jev — 24 dokumen dengar pendapat Norwegia, Jev berbanding DeepSeek V4.1 Flash dengan dan tanpa penalaran, dengan kesepakatan per tugas, bin kalibrasi, biaya dan latensi
• Bartosz Mikulski — TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway — 400 sketsa sebagai string koordinat, baseline tebakan acak dan perbandingan Sonnet 5
• TypeSafe — Models — ID model, harga $42/Btok, batas laju, anggaran konteks dan dukungan bahasa
• TypeSafe — Jev 1.13 jaggedness — catatan cakupan terbitan tentang pembacaan literal, aritmetika, tanggal, indirection dan generasi
• TypeSafe — Introducing System One Models and Jev — angka end-to-end 70–500ms dan perbandingan 40×–200×
• Utas peluncuran Hacker News — komentar pendiri tentang apa yang bukan Jev, tentang constrained decoding dan tentang mengapa output gratis

Hasil uji pihak ketiga direproduksi sebagaimana diterbitkan oleh penulisnya; tidak ada penulis yang dibayar untuk tulisannya atau meninjau halaman ini. Harga rute APIMaster dibaca pada 21 September 2026.