Valutare DeepSeek-Coder-6.7B su HumanEval
Esegui python main.py --model deepseek-ai/deepseek-coder-6.7b-instruct --tasks humaneval
Ideale per：Sviluppatori di modelli
Programmazione / Sviluppo
DeepSeek Harness
DeepSeek Harness è un repository GitHub mantenuto da deepseek-ai che offre script di valutazione pronti all'uso e configurazioni delle attività per i modelli DeepSeek basati su lm-evaluation-harness.
Tipo di prodotto: Estensione / PluginPrezzi: SconosciutoIntegrazione APIMaster: Supportato
Classifica uso token OpenRouter
#8
Fonti: OpenRouter
Coding Plan
Smetti di gestire abbonamenti per tanti modelli
Sconti sui modelli Coding Pro
- glm-5.250% off
- glm-5.350% off
- deepseek-v4-flash40% off
- deepseek-v4-pro40% off
- qwen3.8-max40% off
- kimi-k2.7-code30% off
- kimi-k330% off
- minimax-m330% off
- deepseek-flash10% off
Panoramica
Questo prodotto appartiene alla categoria Coding / Developer ed è pensato principalmente per gli sviluppatori che devono eseguirlo e utilizzarlo in locale o sui server. Clonando il repository, installando le dipendenze ed eseguendo i comandi indicati, è possibile eseguire test benchmark standard sui modelli della serie DeepSeek. Il suo principale punto di forza è che il repository include già i file di adattamento e gli elenchi delle attività per i modelli DeepSeek, quindi gli utenti non devono scrivere autonomamente il codice di valutazione. È adatto a ricercatori nel campo dell'AI e team di ingegneria che necessitano di una valutazione coerente di modelli linguistici di grandi dimensioni, open source o proprietari. Rispetto ai framework di valutazione generici, si collega direttamente ai metodi di caricamento dei pesi dei modelli DeepSeek, riducendo la fase di adattamento del modello.
In breve
DeepSeek Harness è un repository GitHub mantenuto da deepseek-ai che offre script di valutazione pronti all'uso e configurazioni delle attività per i modelli DeepSeek basati su lm-evaluation-harness.
A cosa serve
Gli utenti lo utilizzano per eseguire script Python, valutare con benchmark specifici modelli DeepSeek su dataset come MMLU e HumanEval e produrre punteggi. Lo usano inoltre per confrontare in batch i risultati della valutazione tra versioni o checkpoint diversi dello stesso modello.
Ideale per
Sviluppatori, team di ingegneria e responsabili tecnici
Come funziona
In genere inizia leggendo il contesto in un IDE, in un terminale o nell'ambiente del progetto; quindi l'Agent pianifica i passaggi, esegue comandi o modifica file, mentre l'utente verifica i risultati.
Informazioni chiave
Tipo di prodotto
Estensione / Plugin
Prezzi
Sconosciuto
L'attuale dataset arricchito in blocco non contiene informazioni sui prezzi aggiornate in tempo reale per questo prodotto. Consulta il sito web ufficiale o la documentazione ufficiale.
Integrazione APIMaster
Supportato
DeepSeek Harness → Impostazioni → Modelli → Aggiungi un provider personalizzato
Affidabilità dei dati
Media
Ultima verifica: 2026-09-02
Funzioni e punti di forza
Esegui benchmark HumanEval
Carica il dataset HumanEval, esegue la generazione di codice del modello e calcola le metriche pass@1, pass@10 e pass@100
Supporto all'inferenza con backend vLLM
Carica i modelli tramite il motore vLLM per l'inferenza in batch, con supporto al parallelismo dei tensori e al batching continuo
Configurazione personalizzata delle attività in YAML
Utilizza file YAML per definire i nomi delle attività, i percorsi dei dataset, i template dei prompt e le metriche di valutazione
Report di valutazione in formato JSON
Genera file JSON contenenti i risultati dettagliati di ogni campione e le metriche complessive
Caricamento integrato dei modelli da Hugging Face
Carica direttamente da Hugging Face Hub i pesi dei modelli della serie DeepSeek-Coder
Supporto ai dataset MBPP e APPS
Include attività integrate di generazione del codice per MBPP e APPS, con supporto al download e alla preelaborazione automatici
DeepSeek Harness: Casi d’uso
Confrontare le prestazioni dei modelli v1 e v2
Esegui gli stessi test benchmark rispettivamente su deepseek-coder-6.7b-base e deepseek-coder-v2-lite-base e confronta pass@k
Ideale per：Ricercatori
Aggiungere un dataset di codice personalizzato
Scrivi una configurazione YAML che punti a un repository di codice interno, quindi esegui la valutazione per verificare le prestazioni del modello su uno specifico linguaggio di programmazione
Ideale per：Sviluppatori aziendali
Utilizzare vLLM per accelerare la valutazione in batch
Configura il backend vLLM per eseguire MBPP e HumanEval contemporaneamente su più modelli e generare report comparativi
Ideale per：Ingegneri AI
Configurazione di una chiave di terze parti per DeepSeek Harness (integrazione APIMaster)
Passaggi di configurazione
- 1Apri Impostazioni → Modelli e fai clic su Aggiungi un provider personalizzato.
- 2Inserisci Provider ID, Nome visualizzato, URL di base, protocollo API e chiave API.
- 3Aggiungi i modelli disponibili manualmente oppure tramite Recupera modelli disponibili.
- 4Dopo il salvataggio, torna al selettore del modello della conversazione e scegli un modello del provider personalizzato per una verifica preliminare.
Valori di configurazione
Base URL
https://apimaster.ai/v1Variabile d’ambiente della chiave API
API key（Custom provider 配置项）Modello
gpt-5.6-sol oppure claude-sonnet-4-6 oppure deepseek-v4-proDiscussione della community
Riepilogo delle discussioni
Gli utenti considerano generalmente DeepSeek Harness un framework altamente modulare per l'orchestrazione di agenti AI per la programmazione, basato sull'idea centrale che "tutto è un plugin". Questo consente di sostituire liberamente, tramite configurazione o plugin personalizzati, componenti come modelli, strumenti, log delle sessioni, cicli degli agenti e sub-agent. Le discussioni si concentrano sull'uso della sua architettura a plugin per creare workflow personalizzati, integrarsi con modelli locali o agenti di terze parti come Claude Code e Codex e bilanciare flessibilità e stabilità nelle attività di programmazione reali. Gli utenti discutono spesso anche delle differenze architetturali rispetto a strumenti simili come Pi e Hermes, concentrandosi sulla capacità delle estensioni basate su plugin di adattare le funzionalità a scenari diversi.
Argomenti più discussi
- 1
In che modo l'architettura a plugin consente di sostituire i componenti?
Gli utenti discutono di come parti fondamentali come gli adapter dei modelli, la registrazione degli strumenti, i log delle sessioni e i cicli degli agenti possano essere sostituite senza modifiche al codice sorgente del framework tramite dipendenze dichiarate dai plugin, listener degli eventi e registrazione reversibile.
- 2
Come scegliere tra questo prodotto e strumenti come Pi o Claude Code?
Gli utenti confrontano il design completamente basato su plugin e in stile Lego di DeepSeek Harness con la base minimalista di Pi o l'esperienza CLI di Claude Code, analizzando i compromessi nella gestione del contesto, nel controllo dei costi e nella libertà di personalizzazione, oltre agli scenari più adatti ai diversi workflow.
- 3
Supporto ai sub-agent e instradamento delle attività?
Gli utenti si concentrano su come collegare strumenti come Claude Code o Codex come sub-agent nativi, instradando le sottoattività e verificando stato e avanzamento tramite la configurazione per orchestrare la collaborazione tra più agenti.
- 4
Pratiche di integrazione con modelli locali e strumenti?
Gli utenti condividono le proprie esperienze di installazione e configurazione per collegare a Harness modelli locali come Ollama e Qwen, aggiungere plugin di strumenti come tool web e automazione iOS ed eseguire ed estendere il prodotto tramite una Web UI locale.
- 5
Ecosistema dei plugin e sviluppo personalizzato?
Gli utenti discutono dell'uso della directory dei plugin della community, della scrittura di nuovi plugin per estendere le funzionalità di memoria, sandbox o UI e dell'impatto della stabilità delle API dei plugin sullo sviluppo a lungo termine di agenti personalizzati.
Domande frequenti
Che tipo di prodotto è DeepSeek Harness?
Attualmente lo classifichiamo nella categoria "Coding / Developer" e la descrizione della pagina si basa su fonti pubbliche come il sito web ufficiale e OpenRouter.
A cosa serve DeepSeek Harness?
La pagina arricchita di DeepSeek Harness mette in primo piano le attività principali e i casi d'uso già raccolti, aiutandoti a capire rapidamente se il prodotto risponde alle tue esigenze attuali.
DeepSeek Harness può collegarsi direttamente ad APIMaster?
I materiali disponibili hanno confermato che il prodotto supporta chiavi di terze parti o endpoint personalizzati compatibili; puoi quindi proseguire la verifica direttamente seguendo le istruzioni di configurazione della pagina.
Agent simili
Claude Code
Appartiene anch'esso alla categoria Coding / Developer ed è adatto al confronto diretto tra diversi punti di accesso alle attività e formati di prodotto.
Cline
Appartiene anch'esso alla categoria Coding / Developer ed è adatto al confronto diretto tra diversi punti di accesso alle attività e formati di prodotto.
Kilo Code
Appartiene anch'esso alla categoria Coding / Developer ed è adatto al confronto diretto tra diversi punti di accesso alle attività e formati di prodotto.
Fonti：Sito ufficialeDocumentazione ufficialeGitHub
Ultima verifica: 2026-09-02 · Segnala una correzione