ローカルモデル
ローカル LLM モデルの接続は FastChat に基づいて実装されており、サポートされているモデルは以下の通りです：
-
Orion 全系列対話モデル、flash-attn をインストールする必要があります
-
Baichuan 全系列対話モデル、transformer をダウングレードする必要があります
-
すべての EleutherAI の pythia モデル、例えば pythia-6.9b
-
上記のモデルを基にトレーニングされたすべての Peft アダプター。アクティブにするには、モデルパスに
peftが含まれている必要があります。注意：複数の peft モデルを読み込む場合、任意のモデルワーカーで環境変数PEFT_SHARE_BASE_WEIGHTS=trueを設定することで、基礎モデルの重みを共有できます。
上記のモデルサポートリストは FastChat の更新に伴い継続的に更新される可能性があり、 FastChat がサポートするモデルリストを参照してください。
オンラインモデル
サポートされているオンラインモデル
- 智谱 AI 一時的な解決策で、ストリーミング出力はサポートされていません。0.3.x をお楽しみに
- 阿里云通义千问
- 百川
- ChatGPT
- Gimini
- Azure OpenAI
- MiniMax
- 讯飞星火
- 百度千帆
- 字节火山方舟
Embedding モデルサポートリスト#
ローカルモデル
本プロジェクトは HuggingFace の Embedding モデルを呼び出すことをサポートしており、サポートされている Embedding モデルは以下の通りです：
MokaAI シリーズ埋め込みモデル
BAAI シリーズ埋め込みモデル
- BAAI/bge-small-zh
- BAAI/bge-base-zh
- BAAI/bge-large-zh
- BAAI/bge-small-zh-v1.5
- BAAI/bge-base-zh-v1.5
- BAAI/bge-large-zh-v1.5
- BAAI/bge-large-zh-noinstruct
- BAAI/bge-reranker-large
- BAAI/bge-reranker-base
text2vec シリーズ埋め込みモデル
- shibing624/text2vec-base-chinese-sentence
- shibing624/text2vec-base-chinese-paraphrase
- shibing624/text2vec-base-multilingual
- shibing624/text2vec-base-chinese
- shibing624/text2vec-bge-large-chinese
- GanymedeNil/text2vec-large-chinese
その他のモデル
- sensenova/piccolo-base-zh
- sensenova/piccolo-large-zh
- nghuyong/ernie-3.0-nano-zh
- nghuyong/ernie-3.0-base-zh
ダモ院シリーズ埋め込みモデル
オンラインモデル
ローカルモデルの他に、本プロジェクトは OpenAI のオンライン埋め込みモデルへの直接接続もサポートしています。 サポートされているオンラインモデル