Jev vs LLM:t: Missä päätösmalli voittaa kehotteistamisen ja missä ei

Kyse ei ole "parempi vai huonompi" -kysymyksestä

Jev ja LLM vastaavat eri kysymyksiin. Jev vastaa kumpi, kuinka paljon tai kuinka todennäköisesti; LLM vastaa mitä pitäisi kirjoittaa.

	Jev	Generatiivinen LLM
Tuloste	Tyypitettyjä vastauksia, joissa todennäköisyys per vaihtoehto ja luottamusarvo	Tekstiä, valinnaisesti JSON-skeemaan rajattuna
Kustannusperuste	Vain syötetokenit; tuloste on ilmainen	Syöte- ja tulostetokenit
Latenssin muoto	Yksi eteenpäin suuntautuva läpikäynti; kysymykset haarautuvat rinnakkain yhden tilan yli	Peräkkäin generoidut tokenit; päättelymallit lisäävät pitkän piilotetun vaiheen
Luottamus	Kalibroitu luku, jonka voi kynnystää	Yleensä ei mitään, tai itse ilmoitettu lause
Skeema	Täsmää rakenteellisesti	Täsmää, kunnes malli päättää, ettei täsmää
Tunnettu syöte	Vain teksti ja jäsennelty tila, ei kuvia	Teksti ja kuvat multimodaalisille malleille
Voittaa	Kapeissa, suuren volyymin arvioinneissa	Generoinnissa, päättelyssä, selittämisessä, laskutoimituksissa

Heti kun et enää tarvitse tekstiä ulos, aritmetiikka muuttuu. Luokittelijan muotoinen tehtävä, joka tuottaa kaksikymmentä tokenia proosaa per kohde, maksaa noista tokeneista jokaisesta yksittäisestä kohteesta, ikuisesti.

Tarkkuuskysymys, oikeilla luvuilla

Markkinointivertailut vertaavat yleensä kunkin toimittajan suosikkibenchmarkia toisen huonoimpaan. Hyödyllisin löytämämme julkinen testi on Emil Lindforsin early access -kirjoitus, An early-access test of TypeSafe's Jev, joka ajettiin 24 vastaukselle Norjan vuoden 2022 kuulemiseen lohiviljelyn resurssivuokraverosta.

Hän luokitteli kaiken ensin Claude Fable 5.1:llä kahdessa riippumattomassa läpikäynnissä ja vertasi sitten Jev 1.13:a DeepSeek V4.1 Flashiin OpenRouterin kautta — samat kysymykset yhdessä kehotteessa, JSON ulos, kerran päättely päällä ja kerran pois päältä.

Tehtävä	Jev 1.13	DeepSeek, päättely pois	DeepSeek, päättely päällä
Kanta, 4 vaihtoehtoa	20/24	20/24	22/24
Vastaajatyyppi, 6 vaihtoehtoa	21/23	22/23	23/23
Argumentit, 192 kyllä/ei	0,86	0,89	0,88
Substanssi, tarkka taso	19/24	14/24	14/24

Taulukosta kannattaa lukea kaksi asiaa. Ensinnäkin kirjoittaja toteaa selvästi, että nämä ovat yhtäpitävyyttä frontier-mallin luokitusten kanssa, ei oikeellisuutta — kun viite on väärässä ja Jev oikeassa, Jev saa väärän tuloksen. Kun dokumentteja on 24, kannan luvun 95 %:n väli on noin ±15 pistettä, joten kolme saraketta ovat samat kannan ja argumenttien osalta. Toiseksi ainoa selkeä voitto on järjestetyllä Score-asteikolla, 19 vastaan 14: se on primitiivi tekemässä täsmälleen sitä, mitä varten se rakennettiin, ja se on sellainen tulos, jota ei saisi tekstivastauksesta lainkaan.

Kuka tahansa, joka väittää tämän näytön perusteella, että päätösmalli on kategorisesti tarkempi kuin LLM, ylitulkitsee 24 dokumentin otosta. Kiinnostava väite on kapeampi.

Kustannuskysymys

Sama testi hinnoitteli työn 1 000 dokumenttia kohden:

	Jev 1.13	DeepSeek, päättely pois	DeepSeek, päättely päällä
Hinta 1 000 dokumenttia kohden	0,22 $	1,31 $	3,08 $
Mediaanilatenssi	0,32 s	2,7 s	26 s
Hitain pyyntö	1,3 s	17,9 s	250 s

Karkeasti kuudesosa ja neljästoistaosa kahdesta LLM-konfiguraatiosta, ja karkeasti kahdeksasosa ja kahdeksaskymmenesosa mediaanilatenssista. Kirjoittajan oma yhteenveto syystä: tekstin generoinnin pois jättäminen on syy siihen, miksi hinta laskee noin paljon, ja päättelytokenit ostivat kaksi ylimääräistä kantaluokitusta 24:stä kymmenkertaisella latenssilla.

Nämä ovat yksi työkuorma, yksi kieli, yksi päivä. Sinun lukusi poikkeavat — pelkkä tokenisoijan tehokkuus muuttaa niitä. Sama kirjoitus mittasi Jevin tokenisoijan noin 2,06 merkkiin per token norjaksi, vastaan noin 4 merkkiä per token, jonka olettaisit englannista, mikä leikkaa käytettävissä olevan tilabudjetin noin 120 000 merkistä noin 64 000:een.

Kalibrointi on todellinen ero

Tämä on se osa, joka ratkaisee, voitko automatisoida. Malli, joka on oikeassa 86 % ajasta ja tietää, missä 14 %:ssa se on väärässä, on eri työkalu kuin malli, joka on oikeassa 88 % ajasta ja kuulostaa yhtä varmalta kaikesta.

Samasta ajosta, 192 argumenttiarvion osalta:

Jevin ilmoittama todennäköisyys	Arvioita	Viite oli samaa mieltä
0,0 – 0,1	14	0 %
0,1 – 0,3	56	4 %
0,3 – 0,7	41	34 %
0,7 – 0,9	38	97 %
0,9 – 1,0	43	98 %

Suunta on oikea joka askeleella, ja malli on hieman aliluottavainen molemmissa päissä — TypeSafen oma tavoite on, että 0,8:ksi merkityt lopputulokset toteutuvat noin 80 % ajasta, ja keskimmäinen lokero tuli 34 %:iin noin 50 %:n sijaan.

Taulukon käytännöllinen versio on kynnysarvo. Valintakysymysten jakaminen korkeimman todennäköisyyden mukaan:

	Korkein todennäköisyys ≥ 0,9	Alle 0,9
Kanta	14/15 samaa mieltä	6/9 samaa mieltä
Vastaajatyyppi	20/20 samaa mieltä	1/3 samaa mieltä

Tämä on toimintamalli: hyväksy varma enemmistö, eskalaoi loput. TypeSafen oma SEC-ilmoitusten cookbook raportoi 27/30 oikein 0,9:ssä tai sen yläpuolella englanniksi; norjalainen ajo sai 14/15.

Vertailu toimii vain yhteen suuntaan. Päättely päällä DeepSeek asetti 84 sen 192 argumenttivastauksesta yli 0,9:n — ja 0,7–0,9-ikkunassa sen luokitukset täsmäsivät viitteen kanssa 48 % ajasta. Mallia, jonka luottamus ei ole kalibroitu, ei voi käyttää porttina, riippumatta siitä, kuinka hyviä sen vastaukset ovat.

Missä LLM on edelleen oikea valinta

• Generointi. Jev ei kirjoita yhteenvetoa, vastausta tai commit-viestiä. TypeSafen oma dokumentaatio ohjaa generoinnin generatiiviselle mallille.
• Päättely ja monihyppyiset kysymykset. TypeSafe listaa epäsuoruuden tunnetuksi heikkoudeksi: kysymykset, joissa on kaksoiskieltoja tai useita hyppyjä, maksavat tarkkuudessa.
• Laskutoimitukset, päivämäärät ja laskeminen. Dokumentoitu epäluotettavaksi, ja virhe kasvaa laskettavan asian koon mukana. Pidä se koodissa.
• Kuvat ja ääni. Jev on vain tekstiä. Kirjoituksessa TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway Bartosz Mikulski muunsi 400 luonnosta SVG-koordinaattijonoiksi ja pyysi Jeviä nimeämään ne. Se voitti kymmenen vaihtoehdon sattumapohjan selvästi, hävisi Claude Sonnet 5:lle ja vastasi "airplane" yli puoleen piirroksista. Sama sisältö base64-koodattuna päätyi sattuman tasolle — hyödyllinen muistutus siitä, että tekstiä lukeva malli lukee numerot tekstinä.
• Kaikki, mikä vaatii selityksen. "Miksi luokittelit tämän noin" ei ole kysymys, johon todennäköisyys vastaa.

TypeSafen perustaja esittää LLM-puolella läheisen argumentin, joka on syytä tuntea, koska se on vastoin yleistä kiertotietä: julkaisuketjussa hän väitti, että OpenAI-tyylisten jäsenneltyjen tulosteiden kaltainen rajoitettu dekoodaus tekee malleista tyhmempiä, koska virheellisten tokenien peittäminen ei ole sama asia kuin se, ettei malli ole niistä hämmentynyt. Pidä tätä toimittajan kantana pikemminkin kuin vakiintuneena tuloksena — mutta se tarkoittaa, että "pakota vain JSON ulos halvasta mallista" ei automaattisesti vastaa tyypitettyä vastausta.

Kuvio, joka toimii

Hyödyllisin johtopäätös norjalaisessa kirjoituksessa on, että valinta ei ole joko-tai. Kirjoittajan oma projekti käytti kolmea mallia kolmeen tehtävään:

Tehtävä	Malli	Miksi
48 huolellista viiteluokitusta	Fable 5.1	Vähän dokumentteja, harkintaa vaativia päätöksiä, kustannuksella ei väliä
Jokainen dokumentti, jokainen kysymys	Jev	Edullinen, nopea ja kertoo, milloin on epävarma
Toinen mielipide epävarmaan kolmannekseen	DeepSeek tai ihminen	Hitaampi ja kalliimpi, joten vain sinne, missä tarvitaan

Voit ajaa tuota muotoa tänään yhdellä OpenAI-yhteensopivalla avaimella, käyttäen edullista tasoa ensimmäisenä läpikäyntinä ja vahvempaa vain niissä tapauksissa, joita ensimmäinen läpikäynti ei pysty ratkaisemaan:

1. Ensimmäinen läpikäynti halvimmalla tasolla, joka ylittää rimasi. gpt-5.6-luna hintaan 0,022 $ / 0,134 $ per 1M, tai glm-5.3-flash hintaan 0,105 $ / 0,35 $, tai deepseek-flash hintaan 0,15 $ / 0,60 $.
2. Pakota päätös suljettuun joukkoon kehotteessa ja pyydä sen rinnalle luottamuspisteet. Kohtele pistettä vihjeenä, ei kalibroituna todennäköisyytenä — se on aukko, jonka päätösmalli täyttää ja kehotesuunnittelu ei.
3. Eskaloi vain se, mikä jää kynnysarvosi alle. gpt-5.6-sol alkaen 0,297 $ / 1,781 $ 19 reitin yli, tai gemini-3.8-flash alkaen 0,20 $ / 1,00 $ 7 reitin yli.
4. Pidä laskutoimitukset, päivämäärät ja laskeminen omassa koodissasi, molemmilla tasoilla. Se on halvempaa ja se on oikein.
5. Mittaa oma yhtäpitävyysasteesi ennen skaalausta. Viisikymmentä käsin luokiteltua kohdetta kertoo sinulle enemmän kuin mikään benchmark-taulukko, mukaan lukien tämä.

Tuon kuvion taloustiede on syy siihen, miksi reititys on olemassa kategoriana ylipäätään: ensimmäinen läpikäynti on sinne, minne lähes kaikki volyymi menee, ja eskalaatiotaso on sinne, mistä lähes kaikki laatu tulee. Tarvitset toista vain vähemmistöön, jota et pysty luokittelemaan.

Luo APIMaster-tili, lisää pay-as-you-go-krediittiä alkaen 1 $, luo avain konsolissa ja osoita OpenAI-yhteensopiva asiakasohjelma osoitteeseen https://apimaster.ai/v1 millä tahansa yllä olevista mallitunnisteista. Yksi avain kattaa GPT-, GLM-, DeepSeek-, Gemini- ja Claude-perheet, joten eskalaatiopolku pysyy samassa integraatiossa. Vahvista reitti mallitestaajalla ennen kuin siirrät tuotantoliikennettä.

FAQ

Onko Jev kielimalli? Ei. TypeSafe kuvailee sitä jäsennellyksi datamalliksi, ja perustajan oma muotoilu julkaisuketjussa on, että se on "teknisesti ei kielimalli (se ei tuota kieltä)". Se lukee tekstiä ja palauttaa päätöksiä.

Onko Jev tarkempi kuin LLM? Ei mitattavasti julkaistun näytön perusteella. 24 dokumentin norjalaisessa testissä Jev ja DeepSeek V4.1 Flash olivat yhtä mieltä viiteluokitusten kanssa samalla tasolla kannan ja argumenttikysymysten osalta. Jev oli selvästi edellä yhdessä järjestetyn asteikon tehtävässä.

Onko Jev halvempi kuin LLM? Kyllä, tehtävää kohden — ei syötetokenia kohden. Jevin 0,042 $ per 1M syötetokenia alittaa gpt-5.6-luna 0,022 $:lla syötteessä, mutta Jev ei tuota lainkaan tulostetokeneita, ja generatiivisista malleista veloitetaan tulosteesta. Julkaistussa työkuormassa se teki 0,22 $ per 1 000 dokumenttia vastaan 1,31 $ ja 3,08 $.

Mikä on "LLM as a judge" ja miten se eroaa? LLM-as-a-judge tarkoittaa, että pyydetään generatiivista mallia arvioimaan tai luokittelemaan jotain ja luetaan vastaus sen tekstistä. Se toimii, mutta maksat tekstistä, odotat tokeneita, ja takaisin saamasi luottamus ei ole kalibroitu todennäköisyys. Päätösmalli palauttaa saman arvion tyypitettynä vastauksena, jonka voi kynnystää.

Voinko vain pakottaa JSON-tulosteen halvasta mallista sen sijaan? Saat skeeman, et kalibrointia. Rajoitettu dekoodaus tekee tulosteesta jäsennettävän; se ei kerro, mitä vastauksia pitäisi epäillä, ja TypeSafe väittää sen voivan heikentää laatua peittämällä tokeneita, joista malli oli aidosti epävarma.

Kumpaa minun pitäisi käyttää luokitteluun? Jos teet muutamia arviointeja, joissa tarkkuus on kaikki kaikessa ja voit tarkistaa ne, hyvä LLM käy hyvin. Jos teet monia arviointeja ja sinun on automatisoitava, käytä sitä, mikä palauttaa käyttökelpoisen luottamussignaalin, ja eskalaoi epävarmat.

Käsitteleekö Jev muuta kuin englanninkielistä tekstiä? Kyllä, varauksin. TypeSafe sanoo, että englanti on paras tarkkuudessa ja muut kielet, mukaan lukien CJK, käsitellään mutta ei yhtä hyvin. Yllä oleva norjalainen testi havaitsi sen lukevan skannattuja valtuuston pöytäkirjoja oikein ja mittasi myös tokenisoijan tehokkuudeksi noin 2,06 merkkiä per token — kannattaa tarkistaa omalla kielelläsi ennen kuin suunnittelet kontekstirajan ympärille.

Näkeekö Jev kuvia? Ei. Se on vain tekstiä. Kuvan muuntaminen tekstiksi ja Jeviltä kysyminen voi voittaa sattuman, mutta häviää selvästi mallille, joka todella näkee.

Onko Jev saatavilla APIMasterissa? Kyllä. Käytä jev-latest natiivilla POST https://apimaster.ai/v1/systemone -päätepisteellä. Se maksaa 0,042 $ per 1M syötetokenia ja 0 $ tulosteesta; katso Jevin markkinapaikkakortti ajantasaisen saatavuuden osalta.

Millä edullisella mallilla minun kannattaa aloittaa ensimmäistä läpikäyntiä varten? gpt-5.6-luna on markkinapaikan halvin taso hintaan 0,022 $ / 0,134 $ per 1M tokenia 3 reitin yli — tämän artikkelin taulukon alhaisin syöte- ja tulostehinta. glm-5.3-flash hintaan 0,105 $ / 0,35 $ ja deepseek-flash hintaan 0,15 $ / 0,60 $ ovat seuraavat askeleet ylöspäin. Mittaa omalla datallasi ennen kuin sitoudut volyymiin.

Lähteet ja lisälukemisto

• Emil Lindfors — An early-access test of TypeSafe's Jev — 24 norjalaista kuulemisasiakirjaa, Jev vastaan DeepSeek V4.1 Flash päättelyllä ja ilman, tehtäväkohtaisella yhtäpitävyydellä, kalibrointilokeroilla, kustannuksilla ja latenssilla
• Bartosz Mikulski — TypeSafe's Jev Can't See. I Made It Guess What I Drew Anyway — 400 luonnosta koordinaattijonoina, sattumapohja ja Sonnet 5 -vertailu
• TypeSafe — Models — mallitunniste, 42 $/Btok -hinnoittelu, nopeusrajat, kontekstibudjetti ja kielituki
• TypeSafe — Jev 1.13 jaggedness — julkaistut laajuusmuistiinpanot kirjaimellisesta lukemisesta, laskutoimituksista, päivämääristä, epäsuoruudesta ja generoinnista
• TypeSafe — Introducing System One Models and Jev — 70–500 ms:n päästä päähän -luku ja 40×–200× vertailu
• Hacker News -julkaisuketju — perustajan kommentit siitä, mitä Jev ei ole, rajoitetusta dekoodauksesta ja siitä, miksi tuloste on ilmainen

Kolmannen osapuolen testitulokset on toistettu sellaisina kuin niiden tekijät ne julkaisivat; kummallekaan tekijälle ei maksettu kirjoituksesta eikä kumpikaan tarkistanut tätä sivua. APIMasterin reittihinnat luettiin 21. syyskuuta 2026.