埋め込みの概要
テキストを数値ベクトルに変換し、意味検索、文書検索、クラスタリング、RAGに使用します。両モデルともOpenAI互換のPOST /v1/embeddingsを使い、生成された回答ではなくベクトルを返します。
テキストを数値ベクトルに変換し、意味検索、文書検索、クラスタリング、RAGに使用します。両モデルともOpenAI互換のPOST /v1/embeddingsを使い、生成された回答ではなくベクトルを返します。
モデルを選ぶ
| モデル | 標準次元数 | 利用ガイド |
|---|---|---|
text-embedding-3-small |
1536 | text-embedding-3-small |
bge-m3 |
1024 | BGE-M3 |
標準で1536次元を返すOpenAIの埋め込みモデルです。意味検索とナレッジベースの索引作成に適しています。APIMasterではdimensionsによる512次元の出力も実測済みです。
多言語文書検索に適したBAAIの1024次元埋め込みモデルです。このAPIは密ベクトルを返し、疎な重みやColBERTベクトルは提供しません。検索クエリに特別な指示プレフィックスは不要です。
パラメーターと制限
POST https://apimaster.ai/v1/embeddings
inputには空でない文字列、または空でない文字列の配列を指定します。encoding_format: floatで数値配列を取得できます。messages、max_tokens、streamは送信しません。モデルの参考上限はテキストごとに8192 tokensです。長い文書は分割し、バッチを小さくしてください。制限やトークン化は経路によって異なる場合があります。
意味検索とRAG
文書を分割して各部分のベクトルを作成・保存します。同じモデルと次元数でクエリをベクトル化し、コサイン類似度で順位付けして、検索したテキストを別のチャットモデルに渡します。異なるモデルや次元数を同じ索引に混在させないでください。モデル変更時は索引を再作成します。