Báo cáo nghiên cứu
Việc hoán đổi mô hình trong API LLM (Claude, OpenAI, DeepSeek, v.v.) đã trở thành vấn đề phổ biến
Trường hợp thực tế

Ảnh chụp màn hình: Nhà cung cấp này có 1,03M lượt truy cập hàng tháng, tuyên bố cung cấp claude-opus-4-8, nhưng phát hiện dấu vân tay APIMaster xác định là gpt-5.4 với độ tin cậy 77,0%, được đánh dấu là Đáng ngờ
Nguyên tắc cốt lõi
Trước khi sử dụng API Claude / OpenAI cho bất kỳ quyết định quan trọng nào — hãy xác nhận tính xác thực bằng dấu vân tay hành vi.
Tại sao phương pháp truyền thống thất bại
Bốn lý do cơ bản tại sao câu hỏi "Bạn là mô hình gì?" hoàn toàn vô dụng
Nhà phân phối có thể chèn hướng dẫn ẩn để khiến bất kỳ mô hình nào tuyên bố là Claude hoặc GPT
Mô hình có kiến thức hạn chế về phiên bản của chính mình và không thể tự xác định một cách đáng tin cậy
Ngay cả các mô hình chính thức cũng có thể đưa ra các tuyên bố danh tính không nhất quán hoặc không chính xác
Sự chồng chéo corpus giữa các thương hiệu khiến mô hình nhầm lẫn các dấu hiệu nhận dạng từ các nhà cung cấp khác nhau
Thử nghiệm 1: Hỏi claude-opus-4-8 chính thức "what model do you use?"
Kết quả: Mô hình tự nó không biết — nó chỉ đoán một câu trả lời nghe có vẻ hợp lý

"I'm Claude, made by Anthropic. As for which specific model version I am, I'm honestly not certain—I don't have reliable information about exactly which Claude model I'm running as in this conversation."
Thử nghiệm 2: Hỏi Opus 4.8 chính thức "Bạn là mô hình gì?" 100 lần bằng tiếng Trung
Kết quả: Tự báo cáo danh tính rất không ổn định — chứng minh rằng hỏi mô hình nó là ai đơn giản là không hiệu quả


Nguồn gốc kỹ thuật
Khái niệm cốt lõi từ: nghiên cứu học thuật CISPA · nền tảng lý thuyết LLMMap → triển khai kỹ thuật và tối ưu hóa APIMaster. Không hỏi mô hình là gì — phân tích cách nó thực sự hoạt động.
Cách thực hiện
APIMaster tự động xử lý toàn bộ quy trình — không cần bước thủ công
Gửi 100+ prompt đến API chính thức với các mẫu nhiễu khác nhau, để mô hình hoàn toàn phơi bày các đặc điểm hành vi của chúng nhằm xây dựng đường cơ sở có thẩm quyền.
Đường cơ sở API chính thứcPhân tích sở thích từ vựng, phong cách diễn đạt, ranh giới kiến thức và mẫu phản hồi — dựa trên hành vi, không phải tự báo cáo. Không thể giả mạo, như dấu vân tay.
Hành vi không thể giả mạoSo sánh dấu vân tay của API ứng viên với đường cơ sở, xuất ra danh tính mô hình thực có khả năng nhất và điểm tin cậy. Kết quả trong 60 giây.
Xuất điểm tin cậyTrường hợp hoán đổi phổ biến 01
Tuyên bố cung cấp claude-opus-4-8, phát hiện dấu vân tay xác định là deepseek-v4-pro

Độ tin cậy 82% · Đáng ngờ · Thời gian phát hiện 74s
Trường hợp hoán đổi phổ biến 02
Tuyên bố cung cấp gpt-5.5, phát hiện dấu vân tay xác định là gpt-5.4 với độ tin cậy 99,9%

Độ tin cậy 99,9% · Đáng ngờ · Thời gian phát hiện 109s
Đánh giá người dùng
Trải nghiệm thực tế từ người dùng thực tế
Chúng tôi tiếp tục nhận được kết quả lạ khi đánh giá GPT-5.4. APIMaster tiết lộ đó hoàn toàn không phải GPT-5.4 — tiết kiệm được rất nhiều ngân sách lãng phí.
Tôi nghi ngờ API relay của mình đã bị hoán đổi nhưng không có bằng chứng. Báo cáo xác minh đưa ra xếp hạng tin cậy rõ ràng — cuối cùng cũng yên tâm.
Chúng tôi so sánh 6 nhà cung cấp và 3 có bất thường. Bây giờ mọi tích hợp API mới đều phải vượt qua APIMaster.
Hoán đổi mô hình là nỗi sợ lớn nhất trong benchmarking. Xác minh dấu vân tay hành vi cuối cùng đã làm cho kết quả benchmark của chúng tôi đáng tin cậy.
Chúng tôi thực sự nhận được Haiku với key mà chúng tôi trả giá Opus. Bây giờ mọi nhà cung cấp đều phải qua xác minh trước khi thanh toán.
Nhanh hơn mong đợi — kết quả trong dưới 60 giây. Biểu đồ phân phối tin cậy trong báo cáo đủ rõ ràng cho cả đồng nghiệp không có kỹ thuật.
Câu hỏi thường gặp
Nhập API key của bạn, dấu vân tay hành vi so sánh tự động
và xuất báo cáo danh tính mô hình thực và độ tin cậy trong 60 giây