APIMaster.ai

Coding / Pengembang

DeepSeek Harness logo

DeepSeek Harness

DeepSeek Harness adalah repositori GitHub yang dikelola oleh deepseek-ai dan menyediakan skrip evaluasi siap pakai serta konfigurasi tugas untuk model DeepSeek berbasis lm-evaluation-harness.

Jenis produk: Ekstensi / PluginHarga: Tidak diketahuiIntegrasi APIMaster: Didukung

Peringkat penggunaan token OpenRouter

#8

Sumber: OpenRouter

Situs webUnduh / instalDokumentasiGitHub
Pratinjau beranda DeepSeek Harness

Coding Plan

Nie perlu mengelola banyak langganan model

Diskon model Coding Pro

  • glm-5.250% off
  • glm-5.350% off
  • deepseek-v4-flash40% off
  • deepseek-v4-pro40% off
  • qwen3.8-max40% off
  • kimi-k2.7-code30% off
  • kimi-k330% off
  • minimax-m330% off
  • deepseek-flash10% off
Lihat Coding Plan

Ringkasan

Produk ini termasuk dalam kategori Coding / Developer dan terutama ditujukan bagi developer untuk diterapkan dan digunakan secara lokal atau di server. Dengan meng-clone repositori, menginstal dependensi, dan menjalankan perintah yang ditentukan, pengguna dapat menjalankan pengujian benchmark standar pada model seri DeepSeek. Keunggulan utamanya adalah repositori ini sudah menyertakan berkas adaptasi dan daftar tugas untuk model DeepSeek, sehingga pengguna tidak perlu menulis kode evaluasi sendiri. Produk ini cocok untuk peneliti AI dan tim engineering yang membutuhkan evaluasi konsisten terhadap large language model open source atau proprietary. Dibandingkan framework evaluasi umum, produk ini terhubung langsung dengan metode pemuatan bobot model DeepSeek sehingga mengurangi tahap adaptasi model.

Ringkasan singkat

DeepSeek Harness adalah repositori GitHub yang dikelola oleh deepseek-ai dan menyediakan skrip evaluasi siap pakai serta konfigurasi tugas untuk model DeepSeek berbasis lm-evaluation-harness.

Biasanya digunakan untuk

Pengguna memakainya untuk menjalankan skrip Python, melakukan benchmark pada model DeepSeek tertentu menggunakan dataset seperti MMLU dan HumanEval, lalu menghasilkan skor. Pengguna juga dapat membandingkan hasil evaluasi dari berbagai versi model atau checkpoint secara batch.

Cocok untuk

Developer, tim engineering, dan lead teknis

Cara kerja

Biasanya proses dimulai dengan membaca konteks di IDE, terminal, atau lingkungan proyek. Selanjutnya, Agent merencanakan langkah, menjalankan perintah, atau memodifikasi berkas, lalu pengguna memeriksa hasilnya.

Informasi utama

Jenis produk

Ekstensi / Plugin

Harga

Tidak diketahui

Enhanced bulk dataset saat ini tidak menyediakan informasi harga real-time untuk produk ini. Lihat situs web resmi atau dokumentasi resmi.

Integrasi APIMaster

Didukung

DeepSeek Harness → Settings → Models → Add a custom provider

Keandalan data

Sedang

Terakhir diverifikasi: 2026-09-02

Fitur utama dan keunggulan

Menjalankan benchmark HumanEval

Memuat dataset HumanEval, menjalankan pembuatan kode oleh model, serta menghitung metrik pass@1, pass@10, dan pass@100

Mendukung inferensi backend vLLM

Memuat model melalui engine vLLM untuk inferensi batch, dengan dukungan tensor parallelism dan continuous batching

Konfigurasi tugas YAML khusus

Menggunakan berkas YAML untuk menentukan nama tugas, path dataset, template prompt, dan metrik evaluasi

Menghasilkan laporan evaluasi JSON

Membuat berkas JSON yang berisi hasil terperinci untuk setiap sampel dan metrik keseluruhan

Pemuatan model Hugging Face terintegrasi

Memuat bobot model seri DeepSeek-Coder secara langsung dari Hugging Face Hub

Mendukung dataset MBPP dan APPS

Menyediakan tugas pembuatan kode MBPP dan APPS bawaan dengan dukungan untuk pengunduhan dan prapemrosesan otomatis

DeepSeek Harness: Kasus penggunaan

Mengevaluasi DeepSeek-Coder-6.7B pada HumanEval

Menjalankan python main.py --model deepseek-ai/deepseek-coder-6.7b-instruct --tasks humaneval

Cocok untuk：Developer model

Membandingkan performa model v1 dan v2

Menjalankan pengujian benchmark yang sama pada deepseek-coder-6.7b-base dan deepseek-coder-v2-lite-base secara berurutan, lalu membandingkan pass@k

Cocok untuk：Peneliti

Menambahkan dataset kode khusus

Menulis konfigurasi YAML yang mengarah ke repositori kode internal, lalu menjalankan evaluasi untuk memverifikasi performa model pada bahasa pemrograman tertentu

Cocok untuk：Developer perusahaan

Menggunakan vLLM untuk mempercepat evaluasi batch

Mengonfigurasi backend vLLM untuk menjalankan MBPP dan HumanEval pada beberapa model secara bersamaan serta menghasilkan laporan perbandingan

Cocok untuk：Engineer AI

Penyiapan key pihak ketiga untuk DeepSeek Harness (integrasi APIMaster)

Didukung

Langkah penyiapan

  1. 1Buka Settings → Models, lalu klik Add a custom provider.
  2. 2Isi Provider ID, Display name, Base URL, protokol API, dan API key.
  3. 3Tambahkan model yang tersedia secara manual atau melalui Fetch available models.
  4. 4Setelah menyimpan, kembali ke pemilih model percakapan dan pilih model di bawah custom provider tersebut untuk verifikasi minimal.

Nilai konfigurasi

Base URL

https://apimaster.ai/v1

Variabel lingkungan API key

API key（Custom provider 配置项）

Model

gpt-5.6-sol atau claude-sonnet-4-6 atau deepseek-v4-pro
Buat key saya
Sumber resmiSumber resmiSumber resmiDokumentasi API APIMaster

Diskusi komunitas

Ringkasan diskusi

Pengguna biasanya memahami DeepSeek Harness sebagai framework orkestrasi agen coding AI yang sangat modular, dengan gagasan inti bahwa "semuanya adalah plugin". Komponen seperti model, alat, log sesi, loop agen, dan sub-agen dapat diganti secara bebas melalui konfigurasi atau plugin khusus. Diskusi berfokus pada cara menggunakan arsitektur pluginnya untuk membangun alur kerja yang dipersonalisasi, berintegrasi dengan model lokal atau agen pihak ketiga seperti Claude Code dan Codex, serta menyeimbangkan fleksibilitas dengan stabilitas dalam tugas coding nyata. Pengguna juga sering membahas perbedaan arsitekturnya dengan alat serupa seperti Pi dan Hermes, terutama mengenai cara ekstensi berbasis plugin menyesuaikan fungsionalitas untuk berbagai skenario.

Topik yang paling banyak dibahas

  1. 1

    Bagaimana arsitektur plugin memungkinkan penggantian komponen?

    Pengguna membahas bagaimana bagian inti seperti adaptor model, registrasi alat, log sesi, dan loop agen dapat diganti dengan mulus melalui dependensi yang dideklarasikan plugin, event listener, dan registrasi yang dapat dibatalkan tanpa memodifikasi source code framework.

  2. 2

    Bagaimana memilih antara produk ini dan alat seperti Pi atau Claude Code?

    Pengguna membandingkan desain DeepSeek Harness yang sepenuhnya berbasis plugin dan bergaya Lego dengan fondasi minimalis Pi atau pengalaman CLI Claude Code, sambil mengeksplorasi kompromi dalam pengelolaan konteks, pengendalian biaya, dan kebebasan kustomisasi, serta skenario yang paling sesuai untuk setiap alur kerja.

  3. 3

    Bagaimana dukungan sub-agen dan perutean tugasnya?

    Pengguna berfokus pada cara menghubungkan alat seperti Claude Code atau Codex sebagai sub-agen native, merutekan subtugas, serta memeriksa status dan progres melalui konfigurasi untuk mengorkestrasi kolaborasi multi-agen.

  4. 4

    Bagaimana praktik integrasi model dan alat lokal?

    Pengguna berbagi pengalaman instalasi dan konfigurasi untuk menghubungkan model lokal seperti Ollama dan Qwen ke Harness, menambahkan plugin alat seperti alat web dan otomatisasi iOS, serta menjalankan dan mengembangkannya melalui Web UI lokal.

  5. 5

    Bagaimana ekosistem plugin dan pengembangan khususnya?

    Pengguna membahas penggunaan direktori plugin komunitas, penulisan plugin baru untuk memperluas kemampuan memori, sandbox, atau UI, serta pengaruh stabilitas API plugin terhadap pengembangan agen khusus dalam jangka panjang.

Pertanyaan umum

Apa jenis produk DeepSeek Harness?

Saat ini kami mengklasifikasikannya dalam kategori "Coding / Developer", dan deskripsi halaman ini didasarkan pada sumber publik seperti situs web resmi dan OpenRouter.

Untuk apa DeepSeek Harness cocok digunakan?

Halaman DeepSeek Harness yang telah diperkaya memprioritaskan tugas inti dan kasus penggunaan yang sudah dikumpulkan, sehingga Anda dapat menilai dengan cepat apakah produk ini sesuai dengan kebutuhan saat ini.

Bisakah DeepSeek Harness terhubung langsung ke APIMaster sekarang?

Materi saat ini telah mengonfirmasi bahwa produk ini mendukung key pihak ketiga atau endpoint kompatibel khusus, sehingga Anda dapat melanjutkan verifikasi secara langsung sesuai petunjuk konfigurasi di halaman.

Agen serupa

Claude Code

Juga termasuk dalam kategori Coding / Developer dan cocok untuk membandingkan berbagai titik masuk tugas serta format produk secara berdampingan.

Cline

Juga termasuk dalam kategori Coding / Developer dan cocok untuk membandingkan berbagai titik masuk tugas serta format produk secara berdampingan.

Kilo Code

Juga termasuk dalam kategori Coding / Developer dan cocok untuk membandingkan berbagai titik masuk tugas serta format produk secara berdampingan.

Sumber：Situs resmiDokumentasi resmiGitHub

Terakhir diverifikasi: 2026-09-02 · Laporkan koreksi