模型兼容性表

LocalAI除了支持基于llama的模型外，还兼容其他架构。下表列出了所有后端、兼容的模型家族以及相关仓库。

后端和绑定	兼容模型	完成度/聊天端点	功能能力	嵌入支持	令牌流支持	加速支持
llama.cpp	LLama, Mamba, RWKV, Falcon, Starcoder, GPT-2, 以及其他许多模型	是	GPT和函数	是	是	CUDA, openCL, cuBLAS, Metal
whisper	whisper	否	音频	否	否	N/A
langchain-huggingface	通过API在HuggingFace上可用的任何文本生成器	是	GPT	否	否	N/A
piper (绑定)	任何piper onnx模型	否	文本转语音	否	否	N/A
sentencetransformers	BERT	否	仅嵌入	是	否	N/A
bark	bark	否	音频生成	否	否	是
autogptq	GPTQ	是	GPT	是	否	N/A
diffusers	SD,...	否	图像生成	否	否	N/A
vllm	各种GPT和量化格式	是	GPT	否	否	CPU/CUDA
exllama2	GPTQ	是	仅GPT	否	否	N/A
transformers-musicgen		否	音频生成	否	否	N/A
stablediffusion	否	图像	否	否	N/A
coqui	Coqui	否	音频生成和语音克隆	否	否	CPU/CUDA
rerankers	排序API	否	排序	否	否	CPU/CUDA
transformers	各种GPT和量化格式	是	GPT, 嵌入, 音频生成	是	是*	CPU/CUDA/XPU
bark-cpp	bark	否	仅音频	否	否	是
stablediffusion-cpp	stablediffusion-1, stablediffusion-2, stablediffusion-3, flux, PhotoMaker	否	图像	否	否	N/A
silero-vad with Golang绑定	Silero VAD	否	语音活动检测	否	否	CPU

注意：上述任何后端名称都可以用于模型配置文件中的backend字段（见高级部分）。

• * 仅适用于CUDA和OpenVINO CPU/XPU加速。