DeepSeek-Coder-6.7B mit HumanEval evaluieren
python main.py --model deepseek-ai/deepseek-coder-6.7b-instruct --tasks humaneval ausführen
Geeignet für：Modellentwickler
Coding / Entwicklung
DeepSeek Harness
DeepSeek Harness ist ein von deepseek-ai gepflegtes GitHub-Repository mit fertigen Evaluierungsskripten und Aufgabenkonfigurationen für DeepSeek-Modelle auf Basis von lm-evaluation-harness.
Produkttyp: Erweiterung / PluginPreise: UnbekanntAPIMaster-Integration: Unterstützt
OpenRouter-Token-Nutzungsrang
#8
Quellen: OpenRouter
Coding Plan
Beende das Wechseln zwischen mehreren Modell-Abos
Coding-Pro-Modellrabatte
- glm-5.250% off
- glm-5.350% off
- deepseek-v4-flash40% off
- deepseek-v4-pro40% off
- qwen3.8-max40% off
- kimi-k2.7-code30% off
- kimi-k330% off
- minimax-m330% off
- deepseek-flash10% off
Überblick
Dieses Produkt gehört zur Kategorie Coding / Developer und richtet sich hauptsächlich an Entwickler, die es lokal oder auf Servern bereitstellen und nutzen möchten. Durch das Klonen des Repositorys, die Installation der Abhängigkeiten und die Ausführung der angegebenen Befehle können Nutzer standardisierte Benchmark-Tests für Modelle der DeepSeek-Serie durchführen. Die zentrale Stärke besteht darin, dass das Repository bereits Anpassungsdateien und Aufgabenlisten für DeepSeek-Modelle enthält. Nutzer müssen daher keinen Evaluierungscode selbst schreiben. Das Produkt eignet sich für KI-Forscher und Engineering-Teams, die eine konsistente Bewertung von Open-Source- oder proprietären großen Sprachmodellen benötigen. Im Vergleich zu allgemeinen Evaluierungs-Frameworks ist es direkt an die Methoden zum Laden der Gewichte von DeepSeek-Modellen angebunden, wodurch der Anpassungsschritt für das Modell entfällt.
Kurzfassung
DeepSeek Harness ist ein von deepseek-ai gepflegtes GitHub-Repository mit fertigen Evaluierungsskripten und Aufgabenkonfigurationen für DeepSeek-Modelle auf Basis von lm-evaluation-harness.
Wofür wird es genutzt
Nutzer verwenden es, um Python-Skripte auszuführen, bestimmte DeepSeek-Modelle anhand von Datensätzen wie MMLU und HumanEval zu bewerten und Ergebnisse auszugeben. Außerdem können sie damit Evaluierungsergebnisse verschiedener Modellversionen oder Checkpoints stapelweise vergleichen.
Geeignet für
Entwickler, Engineering-Teams und technische Leiter
So funktioniert es
In der Regel beginnt der Prozess mit dem Einlesen des Kontexts in einer IDE, einem Terminal oder einer Projektumgebung. Anschließend plant der Agent die erforderlichen Schritte, führt Befehle aus oder ändert Dateien, während der Nutzer die Ergebnisse überprüft.
Wichtige Informationen
Produkttyp
Erweiterung / Plugin
Preise
Unbekannt
Derzeit enthält der erweiterte Massendatensatz keine Echtzeit-Preisinformationen für dieses Produkt. Bitte informieren Sie sich auf der offiziellen Website oder in der offiziellen Dokumentation.
APIMaster-Integration
Unterstützt
DeepSeek Harness → Settings → Models → Add a custom provider
Datenzuverlässigkeit
Mittel
Zuletzt geprüft: 2026-09-02
Wichtige Funktionen und Vorteile
HumanEval-Benchmarks ausführen
Den HumanEval-Datensatz laden, die Codegenerierung durch das Modell ausführen und die Metriken pass@1, pass@10 und pass@100 berechnen
Inference mit vLLM-Backend unterstützen
Modelle über die vLLM-Engine für die Stapelverarbeitung laden, einschließlich Unterstützung für Tensor-Parallelismus und kontinuierliches Batching
Benutzerdefinierte YAML-Aufgabenkonfiguration
YAML-Dateien verwenden, um Aufgabennamen, Datensatzpfade, Prompt-Vorlagen und Evaluierungsmetriken zu definieren
Evaluierungsberichte als JSON ausgeben
JSON-Dateien mit detaillierten Ergebnissen für jedes Beispiel und den Gesamtmetriken erzeugen
Integriertes Laden von Hugging-Face-Modellen
Gewichte von Modellen der DeepSeek-Coder-Serie direkt aus dem Hugging Face Hub laden
Unterstützung für MBPP- und APPS-Datensätze
Integrierte Aufgaben zur Codegenerierung für MBPP und APPS mit Unterstützung für automatischen Download und Vorverarbeitung
DeepSeek Harness: Typische Anwendungsfälle
Modellleistung von Version 1 und Version 2 vergleichen
Dieselben Benchmark-Tests jeweils auf deepseek-coder-6.7b-base und deepseek-coder-v2-lite-base ausführen und pass@k vergleichen
Geeignet für：Forscher
Einen benutzerdefinierten Code-Datensatz hinzufügen
Eine YAML-Konfiguration erstellen, die auf ein internes Code-Repository verweist, und anschließend eine Evaluierung ausführen, um die Modellleistung für eine bestimmte Programmiersprache zu überprüfen
Geeignet für：Entwickler in Unternehmen
vLLM zur Beschleunigung der Stapelverarbeitung verwenden
Das vLLM-Backend konfigurieren, um MBPP und HumanEval gleichzeitig auf mehreren Modellen auszuführen und Vergleichsberichte zu erstellen
Geeignet für：KI-Ingenieure
Einrichtung eines Drittanbieter-Keys für DeepSeek Harness (APIMaster-Integration)
Einrichtungsschritte
- 1Settings → Models öffnen und auf Add a custom provider klicken.
- 2Provider ID, Display name, Base URL, API protocol und API key eintragen.
- 3Verfügbare Modelle manuell oder über Fetch available models hinzufügen.
- 4Nach dem Speichern zum Modellauswahlmenü der Unterhaltung zurückkehren und zur grundlegenden Überprüfung ein Modell dieses benutzerdefinierten Providers auswählen.
Konfigurationswerte
Base URL
https://apimaster.ai/v1API-Key-Umgebungsvariable
API key（Custom provider 配置项）Modell
gpt-5.6-sol oder claude-sonnet-4-6 oder deepseek-v4-proCommunity-Diskussion
Zusammenfassung der Diskussion
Nutzer verstehen DeepSeek Harness meist als ein hochgradig modulares Orchestrierungs-Framework für KI-Coding-Agents, das auf der Grundidee "everything is a plugin" basiert. Dadurch lassen sich Komponenten wie Modelle, Tools, Sitzungsprotokolle, Agent-Schleifen und Sub-Agents über die Konfiguration oder benutzerdefinierte Plugins frei austauschen. Im Mittelpunkt der Diskussion steht, wie sich mit der Plugin-Architektur personalisierte Workflows erstellen und lokale Modelle oder Drittanbieter-Agents wie Claude Code und Codex integrieren lassen, während gleichzeitig ein ausgewogenes Verhältnis zwischen Flexibilität und Stabilität bei echten Coding-Aufgaben erhalten bleibt. Nutzer diskutieren außerdem häufig die architektonischen Unterschiede zu ähnlichen Tools wie Pi und Hermes. Dabei geht es insbesondere darum, wie pluginbasierte Erweiterungen Funktionen an unterschiedliche Szenarien anpassen können.
Meistdiskutierte Themen
- 1
Wie ermöglicht die Plugin-Architektur den Austausch von Komponenten?
Nutzer diskutieren, wie zentrale Bestandteile wie Modelladapter, Tool-Registrierung, Sitzungsprotokolle und Agent-Schleifen über von Plugins deklarierte Abhängigkeiten, Event-Listener und rückgängig machbare Registrierungen nahtlos ersetzt werden können, ohne den Quellcode des Frameworks zu ändern.
- 2
Wie entscheidet man sich zwischen diesem Produkt und Tools wie Pi oder Claude Code?
Nutzer vergleichen das vollständig pluginbasierte Lego-Prinzip von DeepSeek Harness mit Pis minimalistischer Grundlage und der CLI-Erfahrung von Claude Code. Dabei untersuchen sie Kompromisse bei Kontextverwaltung, Kostenkontrolle und Anpassungsfreiheit sowie die Eignung der verschiedenen Tools für unterschiedliche Workflows.
- 3
Unterstützung für Sub-Agents und Aufgabenrouting?
Nutzer konzentrieren sich darauf, wie sich Tools wie Claude Code oder Codex als native Sub-Agents anbinden lassen, um Teilaufgaben weiterzuleiten sowie Status und Fortschritt über die Konfiguration zu überprüfen und so die Zusammenarbeit mehrerer Agents zu orchestrieren.
- 4
Praxis der Integration lokaler Modelle und Tools?
Nutzer teilen ihre Erfahrungen bei der Installation und Konfiguration lokaler Modelle wie Ollama und Qwen in Harness, beim Hinzufügen von Tool-Plugins wie Web-Tools und iOS-Automatisierung sowie bei der lokalen Ausführung und Erweiterung über eine Web-UI.
- 5
Plugin-Ökosystem und benutzerdefinierte Entwicklung?
Nutzer diskutieren die Verwendung des Community-Plugin-Verzeichnisses, die Entwicklung neuer Plugins zur Erweiterung von Speicher-, Sandbox- oder UI-Funktionen und den Einfluss der Stabilität der Plugin-API auf die langfristige Entwicklung benutzerdefinierter Agents.
Häufige Fragen
Um welche Art von Produkt handelt es sich bei DeepSeek Harness?
Wir ordnen es derzeit der Kategorie "Coding / Developer" zu. Die Beschreibung dieser Seite basiert auf öffentlichen Quellen wie der offiziellen Website und OpenRouter.
Für wen eignet sich DeepSeek Harness?
Die erweiterte Seite zu DeepSeek Harness stellt die bereits erfassten zentralen Aufgaben und Anwendungsfälle in den Vordergrund. So können Sie schnell einschätzen, ob das Produkt zu Ihren aktuellen Anforderungen passt.
Kann DeepSeek Harness jetzt direkt eine Verbindung zu APIMaster herstellen?
Die aktuellen Unterlagen bestätigen, dass das Produkt Drittanbieter-Keys oder benutzerdefinierte kompatible Endpunkte unterstützt. Sie können dies anhand der Konfigurationsanweisungen auf der Seite direkt weiter überprüfen.
Ähnliche Agents
Claude Code
Ebenfalls der Kategorie Coding / Developer zugeordnet und für den direkten Vergleich verschiedener Aufgabeneinstiege und Produktformate geeignet.
Cline
Ebenfalls der Kategorie Coding / Developer zugeordnet und für den direkten Vergleich verschiedener Aufgabeneinstiege und Produktformate geeignet.
Kilo Code
Ebenfalls der Kategorie Coding / Developer zugeordnet und für den direkten Vergleich verschiedener Aufgabeneinstiege und Produktformate geeignet.
Quellen：Offizielle WebsiteOffizielle DokumentationGitHub
Zuletzt geprüft: 2026-09-02 · Korrektur melden