在 HumanEval 上評估 DeepSeek-Coder-6.7B
執行 python main.py --model deepseek-ai/deepseek-coder-6.7b-instruct --tasks humaneval
適合對象：模型開發者
Coding Plan
不用分別訂閱多個模型，一個 Key 統一呼叫
專業版模型折扣
- glm-5.25折
- glm-5.35折
- deepseek-v4-flash6折
- deepseek-v4-pro6折
- qwen3.8-max6折
- kimi-k2.7-code7折
- kimi-k37折
- minimax-m37折
- deepseek-flash9折
產品概覽
此產品屬於 Coding / Developer 類別，主要供開發者在本機或伺服器上部署使用。使用者透過複製儲存庫、安裝相依套件並執行指定命令，對 DeepSeek 系列模型執行標準基準測試。核心特色在於儲存庫內已包含針對 DeepSeek 模型的適配檔案與任務清單，無需使用者自行撰寫評估程式碼。適合需要對開源或自有大型語言模型進行一致性評估的 AI 研究人員與工程團隊。與通用評估框架相比，它直接綁定 DeepSeek 模型的權重載入方式，減少模型適配環節。
一句話摘要
DeepSeek Harness 是由 deepseek-ai 維護的 GitHub 儲存庫，基於 lm-evaluation-harness 為 DeepSeek 模型提供現成的評估腳本與任務設定。
通常用來做什麼
使用者利用它執行 Python 腳本，針對特定 DeepSeek 模型在 MMLU、HumanEval 等資料集上執行測試並輸出分數。使用者也會利用它批次比較不同模型版本或 checkpoint 的評估結果。
適合對象
開發者、工程團隊與技術負責人
使用方式
通常會先在 IDE、終端機或專案環境中讀取上下文，再由 Agent 規劃步驟、執行命令或修改檔案，最後由使用者檢查結果。
關鍵資訊
產品類型
擴充功能 / 外掛
價格資訊
未知
目前增強版資料尚未為此產品維護即時定價，請以官方網站或官方文件為準。
APIMaster 整合
已支援
DeepSeek Harness → Settings → Models → Add a custom provider
資料可信度
中
最後核驗：2026-09-02
核心功能與特色
執行 HumanEval 基準測試
載入 HumanEval 資料集，執行模型程式碼生成，並計算 pass@1、pass@10、pass@100 指標
支援 vLLM 後端推論
透過 vLLM 引擎載入模型進行批次推論，支援張量平行處理與連續批次處理
自訂 YAML 任務設定
使用 YAML 檔案定義任務名稱、資料集路徑、提示範本與評估指標
輸出 JSON 評估報告
產生包含每個樣本詳細結果與整體指標的 JSON 檔案
整合 Hugging Face 模型載入
直接從 Hugging Face Hub 載入 DeepSeek-Coder 系列模型權重
支援 MBPP 與 APPS 資料集
內建 MBPP 與 APPS 程式碼生成任務，支援自動下載與前處理
DeepSeek Harness: 常見使用情境
比較 v1 與 v2 版本模型效能
分別對 deepseek-coder-6.7b-base 與 deepseek-coder-v2-lite-base 執行相同的基準測試，並比較 pass@k
適合對象：研究人員
新增自訂程式碼資料集
撰寫 YAML 設定，指向內部程式碼儲存庫，執行評估以驗證模型在特定程式語言上的表現
適合對象：企業開發者
使用 vLLM 加速批次評估
設定 vLLM 後端，同時對多個模型執行 MBPP 與 HumanEval，產生比較報告
適合對象：AI 工程師
DeepSeek Harness 的第三方 Key 設定（APIMaster 整合）
設定步驟
- 1開啟 Settings → Models，點選 Add a custom provider。
- 2填寫 Provider ID、Display name、Base URL、API protocol 與 API key。
- 3透過手動填寫或 Fetch available models 新增可用模型。
- 4儲存後返回工作階段模型選擇器，選擇該 custom provider 下的模型進行最小驗證。
設定值
Base URL
https://apimaster.ai/v1API Key 環境變數
API key（Custom provider 配置项）模型
gpt-5.6-sol 或 claude-sonnet-4-6 或 deepseek-v4-pro社群討論
討論摘要
使用者通常將 DeepSeek Harness 理解為高度模組化的 AI 程式碼代理編排框架，核心理念是「一切皆為外掛」，允許透過設定或自訂外掛自由替換模型、工具、工作階段記錄、代理迴圈與子代理等元件。討論集中於如何利用其外掛架構實現個人化工作流程、與本機模型或第三方代理（如 Claude Code、Codex）整合，以及如何在實際程式設計任務中取得彈性與穩定性之間的平衡。使用者也經常探討它與同類工具（如 Pi、Hermes）的架構差異，關注如何透過外掛擴充功能以適應不同情境。
熱門討論主題
- 1
外掛架構如何實現元件替換？
使用者討論模型適配器、工具註冊、工作階段記錄與代理迴圈等核心部分，如何透過外掛宣告相依性、監聽事件與可逆註冊來實現無縫替換，而不必修改框架原始碼。
- 2
如何在 Pi、Claude Code 等工具之間比較與選擇？
使用者比較 DeepSeek Harness 的全外掛樂高式設計、Pi 的極簡底層架構，以及 Claude Code 的 CLI 體驗，探討它們在上下文管理、成本控制與自訂自由度上的優缺點，以及適合不同工作流程的情境。
- 3
子代理支援與任務路由？
使用者關注如何將 Claude Code 或 Codex 等工具作為原生子代理接入，透過設定路由子任務、檢查狀態與進度，實現多代理協作編排。
- 4
本機模型與工具整合實務？
使用者分享透過 Ollama、Qwen 等本機模型連接 Harness 的安裝設定、加入工具外掛（如網路工具、iOS 自動化），以及如何在本機 Web UI 中執行與擴充。
- 5
外掛生態系與自訂開發？
使用者討論社群外掛目錄的使用方式、如何撰寫新外掛以擴充記憶體、沙箱或 UI 功能，以及外掛 API 的穩定性對長期建構自訂代理的影響。
常見問題
DeepSeek Harness 是什麼類型的產品？
目前我們將它歸入「程式設計 / 開發者」分類，頁面說明以官方網站與 OpenRouter 等公開資料為準。
DeepSeek Harness 適合用來做什麼？
DeepSeek Harness 的增強版頁面會優先展示已收集到的核心任務與使用案例，協助你快速判斷是否符合目前需求。
DeepSeek Harness 現在可以直接接入 APIMaster 嗎？
目前資料已確認產品支援第三方 Key 或自訂相容端點，可以直接依照頁面設定說明繼續驗證。