本地模型
本地 LLM 模型接入基于 FastChat 实现，支持模型如下：
-
Orion 全系列对话模型，必须安装 flash-attn 才能使用
-
Baichuan 全系列对话模型，必须降级 transformer 才能使用
-
FlagAlpha/Llama2-Chinese-13b-Chat and others
-
任何 EleutherAI 的 pythia 模型，如 pythia-6.9b
-
在以上模型基础上训练的任何 Peft 适配器。为了激活，模型路径中必须有
peft。注意：如果加载多个 peft 模型，你可以通过在任何模型工作器中设置环境变量PEFT_SHARE_BASE_WEIGHTS=true来使它们共享基础模型的权重。
以上模型支持列表可能随 FastChat 更新而持续更新，可参考 FastChat 已支持模型列表。
联网模型
支持的联网模型
Embedding 模型支持列表#
本地模型
本项目支持调用 HuggingFace 中的 Embedding 模型，已支持的 Embedding 模型如下：
MokaAI 系列嵌入模型
BAAI 系列嵌入模型
- BAAI/bge-small-zh
- BAAI/bge-base-zh
- BAAI/bge-large-zh
- BAAI/bge-small-zh-v1.5
- BAAI/bge-base-zh-v1.5
- BAAI/bge-large-zh-v1.5
- BAAI/bge-large-zh-noinstruct
- BAAI/bge-reranker-large
- BAAI/bge-reranker-base
text2vec 系列嵌入模型
- shibing624/text2vec-base-chinese-sentence
- shibing624/text2vec-base-chinese-paraphrase
- shibing624/text2vec-base-multilingual
- shibing624/text2vec-base-chinese
- shibing624/text2vec-bge-large-chinese
- GanymedeNil/text2vec-large-chinese
其他模型
- sensenova/piccolo-base-zh
- sensenova/piccolo-large-zh
- nghuyong/ernie-3.0-nano-zh
- nghuyong/ernie-3.0-base-zh
达摩院系列嵌入模型
联网模型
除本地模型外，本项目也支持直接接入 OpenAI 的在线嵌入模型。 支持的联网模型