概览
概览
LocalAI 是一个免费的、开源的 OpenAI 替代品。LocalAI 作为一个即插即用的 REST API，与 OpenAI API 规范兼容，用于本地推理。它允许您在消费级硬件上本地或现场运行 LLMs、生成图像、音频（等等），支持多种模型家族和架构。不需要 GPU。由 Ettore Di Giacinto 创建和维护。
启动 LocalAI
使用 Docker 启动镜像，以获得 OpenAI 的功能克隆！🚀：
docker run -p 8080:8080 --name local-ai -ti localai/localai:latest-aio-cpu
# 如果你有 Nvidia GPU？使用以下命令替代
# CUDA 11
# docker run -p 8080:8080 --gpus all --name local-ai -ti localai/localai:latest-aio-gpu-nvidia-cuda-11
# CUDA 12
# docker run -p 8080:8080 --gpus all --name local-ai -ti localai/localai:latest-aio-gpu-nvidia-cuda-12或者直接使用 bash 安装程序：
curl https://localai.io/install.sh | sh查看 💻 快速入门 了解运行 LocalAI 的所有选项和方法！
LocalAI 是什么？
简而言之：
- Local，OpenAI 即插即用的替代 REST API。您拥有自己的数据。
- 不需要 GPU。也不需要互联网访问
- 可选，GPU 加速可用。也请查看 构建部分。
- 支持多种模型
- 🏃 第一次加载后，它会将模型保持在内存中，以便更快地进行推理
- ⚡ 不进行 shell 调用，而是使用绑定以获得更快的推理和更好的性能。
LocalAI 专注于让任何人都能访问 AI。欢迎任何贡献、反馈和 PR！
请注意，这个项目开始时只是 mudler 的一个有趣的周末项目，旨在尝试创建一个类似于 ChatGPT 的完整 AI 助手的必要组件：社区正在迅速发展，我们正在努力使其更加稳定和完善。如果您想帮忙，请考虑贡献（见下文）！
🚀 特性
- 📖 使用 GPTs 进行文本生成 (
llama.cpp、gpt4all.cpp等 更多) - 🗣 文本转音频
- 🔈 音频转文本（使用
whisper.cpp进行音频转录） - 🎨 使用稳定扩散进行图像生成
- 🔥 OpenAI 函数 🆕
- 🧠 为向量数据库生成嵌入
- ✍️ 受限语法
- 🖼️ 直接从 Huggingface 下载模型
- 🥽 视觉 API
- 💾 存储
- 📈 重排器
- 🆕🖧 P2P 推理
贡献和帮助
要帮助项目，您可以：
如果您有技术技能并希望贡献开发，请查看开放的 issues。如果您是新手，可以查看 good-first-issue 和 help-wanted 标签。
如果您没有技术技能，您仍然可以通过改进文档或 添加示例 或与我们的社区分享您的用户故事来提供帮助，任何帮助和贡献都受欢迎！
🌟 Star 历史记录
❤️ 赞助商
您是否发现 LocalAI 有用？
通过成为 支持者或赞助商 来支持项目。您的徽标将显示在这里并链接到您的网站。
非常感谢我们的慷慨赞助商，他们支持这个项目，支付 CI 费用，以及我们的 赞助商列表：
📖 许可证
LocalAI 是由 Ettore Di Giacinto 创建的一个社区驱动的项目。
MIT - 作者 Ettore Di Giacinto
🙇 致谢
如果没有社区提供的优秀软件，LocalAI 无法构建。谢谢！
- llama.cpp
- https://github.com/tatsu-lab/stanford_alpaca
- https://github.com/cornelk/llama-go 提供的初步想法
- https://github.com/antimatter15/alpaca.cpp
- https://github.com/EdVince/Stable-Diffusion-NCNN
- https://github.com/ggerganov/whisper.cpp
- https://github.com/saharNooby/rwkv.cpp
- https://github.com/rhasspy/piper
🤗 贡献者
这是一个社区项目，非常感谢我们的贡献者！🤗