本地模型
本地 LLM 模型接入基於 FastChat 實現，支持模型如下：
-
Orion 全系列對話模型，必須安裝 flash-attn 才能使用
-
Baichuan 全系列對話模型，必須降級 transformer 才能使用
-
任何 EleutherAI 的 pythia 模型，如 pythia-6.9b
-
在以上模型基礎上訓練的任何 Peft 適配器。為了激活，模型路徑中必須有
peft。注意：如果加載多個 peft 模型，你可以通過在任何模型工作器中設置環境變量PEFT_SHARE_BASE_WEIGHTS=true來使它們共享基礎模型的權重。
以上模型支持列表可能隨 FastChat 更新而持續更新，可參考 FastChat 已支持模型列表。
聯網模型
支持的聯網模型
Embedding 模型支持列表#
本地模型
本項目支持調用 HuggingFace 中的 Embedding 模型，已支持的 Embedding 模型如下：
MokaAI 系列嵌入模型
BAAI 系列嵌入模型
- BAAI/bge-small-zh
- BAAI/bge-base-zh
- BAAI/bge-large-zh
- BAAI/bge-small-zh-v1.5
- BAAI/bge-base-zh-v1.5
- BAAI/bge-large-zh-v1.5
- BAAI/bge-large-zh-noinstruct
- BAAI/bge-reranker-large
- BAAI/bge-reranker-base
text2vec 系列嵌入模型
- shibing624/text2vec-base-chinese-sentence
- shibing624/text2vec-base-chinese-paraphrase
- shibing624/text2vec-base-multilingual
- shibing624/text2vec-base-chinese
- shibing624/text2vec-bge-large-chinese
- GanymedeNil/text2vec-large-chinese
其他模型
- sensenova/piccolo-base-zh
- sensenova/piccolo-large-zh
- nghuyong/ernie-3.0-nano-zh
- nghuyong/ernie-3.0-base-zh
達摩院系列嵌入模型
聯網模型
除本地模型外，本項目也支持直接接入 OpenAI 的在線嵌入模型。 支持的聯網模型