快速入门
2025年2月22日大约 2 分钟
快速入门
LocalAI 是一个免费的开源替代品,用于替代 OpenAI(Anthropic 等),作为本地推理的即插即用 REST API。它允许您在本地或现场使用消费级硬件运行 LLMs,生成图像和音频,支持多种模型家族和架构。
使用 Bash 安装程序
使用以下命令,通过 bash 安装程序轻松安装 LocalAI:
curl https://localai.io/install.sh | sh
有关完整选项列表,请参阅 安装程序选项 文档。
二进制文件也可以 手动下载。
在 MacOS 上使用 Homebrew
Homebrew 公式目前没有与 bash 脚本相同的选项
您可以使用以下命令安装 Homebrew 的 LocalAI:
brew install localai
使用容器镜像或 Kubernetes
LocalAI 作为与 Docker、Podman 和 Kubernetes 等多种容器引擎兼容的容器镜像提供。容器镜像发布在 quay.io 和 Docker Hub。
有关详细说明,请参阅 使用容器镜像。对于 Kubernetes 部署,请参阅 使用 Kubernetes 运行。
使用 All-in-One (AIO) 镜像运行 LocalAI
已经拥有模型文件?跳转到 手动运行模型。
LocalAI 的 All-in-One (AIO) 镜像是预先配置好的,包含一组模型和后端,以充分利用 LocalAI 几乎所有功能。如果不需要预配置的模型,您可以使用标准的 镜像。
这些镜像适用于 CPU 和 GPU 环境。AIO 镜像是为易于使用而设计的,无需额外配置。
如果您不想手动或通过网页界面配置模型,建议使用 AIO 镜像。对于运行特定模型,请参阅 手动方法。
AIO 镜像预配置以下功能:
- 文本转语音 (TTS)
- 语音转文本
- 函数调用
- 用于文本生成的大型语言模型 (LLM)
- 图像生成
- 嵌入服务器
有关使用 AIO 镜像的说明,请参阅 使用容器镜像。
下一步是什么?
LocalAI 还有更多内容等待您探索!您可以运行 Hugging Face 上的任何模型,进行视频生成,以及克隆声音。要全面了解,请查看 功能 部分。
探索其他资源和社区贡献: