Évaluer DeepSeek-Coder-6.7B sur HumanEval
Exécuter python main.py --model deepseek-ai/deepseek-coder-6.7b-instruct --tasks humaneval
Pour qui：Développeurs de modèles
Programmation / Développement
DeepSeek Harness
DeepSeek Harness est un dépôt GitHub maintenu par deepseek-ai qui fournit des scripts d’évaluation prêts à l’emploi et des configurations de tâches pour les modèles DeepSeek, basés sur lm-evaluation-harness.
Type de produit: Extension / PluginTarifs: InconnuIntégration APIMaster: Pris en charge
Classement d’utilisation des tokens OpenRouter
#8
Sources: OpenRouter
Coding Plan
Regroupez vos abonnements de modèles avec une seule clé
Réductions sur les modèles Coding Pro
- glm-5.250% off
- glm-5.350% off
- deepseek-v4-flash40% off
- deepseek-v4-pro40% off
- qwen3.8-max40% off
- kimi-k2.7-code30% off
- kimi-k330% off
- minimax-m330% off
- deepseek-flash10% off
Présentation
Ce produit appartient à la catégorie Programmation / Développement et s’adresse principalement aux développeurs qui souhaitent le déployer et l’utiliser localement ou sur des serveurs. En clonant le dépôt, en installant les dépendances et en exécutant les commandes indiquées, vous pouvez lancer des tests de référence standard sur les modèles de la série DeepSeek. Son principal atout est d’intégrer déjà les fichiers d’adaptation et les listes de tâches pour les modèles DeepSeek : vous n’avez donc pas besoin d’écrire vous-même le code d’évaluation. Il convient aux chercheurs en IA et aux équipes d’ingénierie qui ont besoin d’évaluer de manière cohérente des modèles de langage open source ou propriétaires de grande taille. Contrairement aux frameworks d’évaluation généralistes, il s’appuie directement sur les méthodes de chargement des poids des modèles DeepSeek, ce qui réduit l’étape d’adaptation du modèle.
Résumé en une phrase
DeepSeek Harness est un dépôt GitHub maintenu par deepseek-ai qui fournit des scripts d’évaluation prêts à l’emploi et des configurations de tâches pour les modèles DeepSeek, basés sur lm-evaluation-harness.
À quoi sert-il
Vous pouvez l’utiliser pour exécuter des scripts Python, évaluer des modèles DeepSeek spécifiques sur des jeux de données tels que MMLU et HumanEval, puis produire des scores. Il permet également de comparer par lots les résultats d’évaluation de différentes versions ou de différents checkpoints de modèles.
Pour qui
Développeurs, équipes d’ingénierie et responsables techniques
Fonctionnement
Le processus commence généralement par la lecture du contexte dans un IDE, un terminal ou un environnement de projet. L’Agent planifie ensuite les étapes, exécute les commandes ou modifie les fichiers, puis vous vérifiez les résultats.
Informations clés
Type de produit
Extension / Plugin
Tarifs
Inconnu
L’ensemble de données enrichi actuel ne fournit pas d’informations tarifaires en temps réel pour ce produit. Consultez le site officiel ou la documentation officielle.
Intégration APIMaster
Pris en charge
DeepSeek Harness → Settings → Models → Add a custom provider
Fiabilité des données
Moyenne
Dernière vérification : 2026-09-02
Fonctions et atouts principaux
Exécuter des évaluations HumanEval
Charger le jeu de données HumanEval, exécuter la génération de code par le modèle et calculer les métriques pass@1, pass@10 et pass@100
Prendre en charge l’inférence avec le backend vLLM
Charger les modèles via le moteur vLLM pour effectuer des inférences par lots, avec prise en charge du parallélisme tensoriel et du traitement continu par lots
Configurer des tâches personnalisées en YAML
Utiliser des fichiers YAML pour définir les noms des tâches, les chemins des jeux de données, les modèles d’invite et les métriques d’évaluation
Produire des rapports d’évaluation JSON
Générer des fichiers JSON contenant les résultats détaillés de chaque échantillon ainsi que les métriques globales
Intégrer le chargement des modèles Hugging Face
Charger directement depuis Hugging Face Hub les poids des modèles de la série DeepSeek-Coder
Prendre en charge les jeux de données MBPP et APPS
Profiter de tâches intégrées de génération de code pour MBPP et APPS, avec prise en charge du téléchargement et du prétraitement automatiques
DeepSeek Harness: Cas d’usage
Comparer les performances des modèles v1 et v2
Exécuter les mêmes tests de référence sur deepseek-coder-6.7b-base et deepseek-coder-v2-lite-base, puis comparer les valeurs pass@k
Pour qui：Chercheurs
Ajouter un jeu de données de code personnalisé
Rédiger une configuration YAML pointant vers un dépôt de code interne, puis lancer l’évaluation afin de vérifier les performances du modèle dans un langage de programmation spécifique
Pour qui：Développeurs en entreprise
Accélérer l’évaluation par lots avec vLLM
Configurer le backend vLLM pour exécuter simultanément MBPP et HumanEval sur plusieurs modèles et générer des rapports comparatifs
Pour qui：Ingénieurs IA
Configuration d’une clé tierce pour DeepSeek Harness (intégration APIMaster)
Étapes de configuration
- 1Ouvrez Settings → Models, puis cliquez sur Add a custom provider.
- 2Renseignez le Provider ID, le Display name, la Base URL, le protocole API et la clé API.
- 3Ajoutez les modèles disponibles manuellement ou via Fetch available models.
- 4Après l’enregistrement, revenez au sélecteur de modèle de la conversation et choisissez un modèle auprès de ce fournisseur personnalisé pour effectuer une vérification minimale.
Valeurs de configuration
Base URL
https://apimaster.ai/v1Variable d’environnement de la clé API
API key（Custom provider 配置项）Modèle
gpt-5.6-sol ou claude-sonnet-4-6 ou deepseek-v4-proDiscussions de la communauté
Résumé des discussions
Les utilisateurs considèrent généralement DeepSeek Harness comme un framework d’orchestration d’agents de programmation IA hautement modulaire, fondé sur l’idée centrale que « tout est un plugin ». Les composants tels que les modèles, les outils, les journaux de session, les boucles d’agent et les sous-agents peuvent ainsi être remplacés librement par configuration ou au moyen de plugins personnalisés. Les échanges portent surtout sur l’utilisation de son architecture de plugins pour créer des workflows personnalisés, l’intégration de modèles locaux ou d’agents tiers tels que Claude Code et Codex, ainsi que l’équilibre entre flexibilité et stabilité dans les tâches de programmation réelles. Les utilisateurs discutent également souvent de ses différences architecturales avec des outils similaires comme Pi et Hermes, en s’intéressant à la manière dont les extensions basées sur des plugins peuvent adapter les fonctionnalités à différents scénarios.
Sujets les plus discutés
- 1
Comment l’architecture de plugins permet-elle de remplacer les composants ?
Les utilisateurs expliquent comment les éléments centraux, tels que les adaptateurs de modèles, l’enregistrement des outils, les journaux de session et les boucles d’agent, peuvent être remplacés de manière transparente grâce aux dépendances déclarées par les plugins, aux écouteurs d’événements et à un enregistrement réversible, sans modifier le code source du framework.
- 2
Comment choisir entre cet outil et des solutions comme Pi ou Claude Code ?
Les utilisateurs comparent la conception entièrement basée sur des plugins, semblable à des briques Lego, de DeepSeek Harness avec la base minimaliste de Pi ou l’expérience en ligne de commande de Claude Code. Ils étudient les compromis en matière de gestion du contexte, de contrôle des coûts et de liberté de personnalisation, ainsi que les scénarios adaptés à chaque workflow.
- 3
Prise en charge des sous-agents et routage des tâches ?
Les utilisateurs s’intéressent à la façon de connecter des outils tels que Claude Code ou Codex en tant que sous-agents natifs, de distribuer les sous-tâches et de suivre l’état et la progression au moyen de la configuration afin d’orchestrer une collaboration multi-agent.
- 4
Bonnes pratiques pour intégrer des modèles et des outils locaux ?
Les utilisateurs partagent leur expérience d’installation et de configuration pour connecter à Harness des modèles locaux tels qu’Ollama et Qwen, ajouter des plugins d’outils comme des outils web et l’automatisation iOS, puis l’exécuter et l’étendre dans une interface Web locale.
- 5
Écosystème de plugins et développement personnalisé ?
Les utilisateurs échangent sur l’utilisation du répertoire de plugins de la communauté, la création de nouveaux plugins pour étendre les fonctionnalités de mémoire, de sandbox ou d’interface utilisateur, ainsi que sur l’influence de la stabilité de l’API des plugins sur le développement d’agents personnalisés à long terme.
Questions fréquentes
Quel type de produit est DeepSeek Harness ?
Nous le classons actuellement dans la catégorie « Programmation / Développement », et la description de cette page repose sur des sources publiques telles que le site officiel et OpenRouter.
À quoi DeepSeek Harness convient-il ?
La page enrichie de DeepSeek Harness met en avant les tâches principales et les cas d’utilisation déjà recensés, afin de vous aider à déterminer rapidement s’il répond à vos besoins actuels.
DeepSeek Harness peut-il se connecter directement à APIMaster ?
Les informations actuellement disponibles confirment que le produit prend en charge les clés tierces ou les endpoints compatibles personnalisés. Vous pouvez donc poursuivre la vérification directement en suivant les instructions de configuration de la page.
Agents similaires
Claude Code
Également classé dans la catégorie Programmation / Développement, il convient pour comparer côte à côte différents points d’entrée de tâches et formats de produits.
Cline
Également classé dans la catégorie Programmation / Développement, il convient pour comparer côte à côte différents points d’entrée de tâches et formats de produits.
Kilo Code
Également classé dans la catégorie Programmation / Développement, il convient pour comparer côte à côte différents points d’entrée de tâches et formats de produits.
Sources：Site officielDocumentation officielleGitHub
Dernière vérification : 2026-09-02 · Signaler une correction