LLM 模型支持列表

本地模型

本地 LLM 模型接入基于 FastChat 实现，支持模型如下：

ChatGLM 全系类对话模型

Orion 全系列对话模型，必须安装 flash-attn 才能使用

Qwen 全系列对话模型

internlm 全系列对话模型

Baichuan 全系列对话模型，必须降级 transformer 才能使用

llama 全系列对话模型

Vicuna 全系列对话模型

mistral 全系列对话模型

vivo-ai/BlueLM-7B-Chat

01-ai/Yi-34B-Chat

BlinkDL/RWKV-4-Raven

camel-ai/CAMEL-13B-Combined-Data

databricks/dolly-v2-12b

FreedomIntelligence/phoenix-inst-chat-7b

h2oai/h2ogpt-gm-oasst1-en-2048-open-llama-7b

lcw99/polyglot-ko-12.8b-chang-instruct-chat

lmsys/fastchat-t5-3b-v1.0

mosaicml/mpt-7b-chat

Neutralzz/BiLLa-7B-SFT

nomic-ai/gpt4all-13b-snoozy

NousResearch/Nous-Hermes-13b

openaccess-ai-collective/manticore-13b-chat-pyg

OpenAssistant/oasst-sft-4-pythia-12b-epoch-3.5

project-baize/baize-v2-7b

Salesforce/codet5p-6b

StabilityAI/stablelm-tuned-alpha-7b

tiiuae/falcon-40b

timdettmers/guanaco-33b-merged

togethercomputer/RedPajama-INCITE-7B-Chat

WizardLM/WizardLM-13B-V1.0

WizardLM/WizardCoder-15B-V1.0

HuggingFaceH4/starchat-beta

FlagAlpha/Llama2-Chinese-13b-Chat and others

BAAI/AquilaChat-7B

all models of OpenOrca

Spicyboros

airoboros 2.2

VMware's OpenLLaMa OpenInstruct

任何 EleutherAI 的 pythia 模型，如 pythia-6.9b

在以上模型基础上训练的任何 Peft 适配器。为了激活，模型路径中必须有 peft 。注意：如果加载多个 peft 模型，你可以通过在任何模型工作器中设置环境变量 PEFT_SHARE_BASE_WEIGHTS=true 来使它们共享基础模型的权重。

以上模型支持列表可能随 FastChat 更新而持续更新，可参考 FastChat 已支持模型列表。

联网模型

支持的联网模型

智谱 AI 临时解决方案，不支持流式输出，尽情期待 0.3.x

阿里云通义千问

百川

ChatGPT

Gimini

Azure OpenAI

MiniMax

讯飞星火

百度千帆

字节火山方舟

Embedding 模型支持列表

本地模型

本项目支持调用 HuggingFace 中的 Embedding 模型，已支持的 Embedding 模型如下：

MokaAI 系列嵌入模型

moka-ai/m3e-small

moka-ai/m3e-base

moka-ai/m3e-large

BAAI 系列嵌入模型

BAAI/bge-small-zh

BAAI/bge-base-zh

BAAI/bge-large-zh

BAAI/bge-small-zh-v1.5

BAAI/bge-base-zh-v1.5

BAAI/bge-large-zh-v1.5

BAAI/bge-large-zh-noinstruct

BAAI/bge-reranker-large

BAAI/bge-reranker-base

text2vec 系列嵌入模型

shibing624/text2vec-base-chinese-sentence

shibing624/text2vec-base-chinese-paraphrase

shibing624/text2vec-base-multilingual

shibing624/text2vec-base-chinese

shibing624/text2vec-bge-large-chinese

GanymedeNil/text2vec-large-chinese

其他模型

sensenova/piccolo-base-zh

sensenova/piccolo-large-zh

nghuyong/ernie-3.0-nano-zh

nghuyong/ernie-3.0-base-zh

达摩院系列嵌入模型

damo/nlp_gte_sentence-embedding_chinese-large

联网模型

除本地模型外，本项目也支持直接接入 OpenAI 的在线嵌入模型。 支持的联网模型

OpenAI/text-embedding-ada-002

智谱 AI

MiniMax

百度千帆

阿里云通义千问