从这次更新开始，使用 OpenAI functions 需要使用 llama-grammar 后端。已添加 llama 后端用于跟踪 llama.cpp 主分支和 llama-grammar 用于尚未合并到上游的语法功能。有关更多信息，请参见 OpenAI functions。在功能合并之前，我们将有两个 llama 后端。

Huggingface embeddings

在这个版本中，现在可以指定 LocalAI 外部的 gRPC 后端用于推理。现在可以用任何语言编写内部后端，并且 huggingface-embeddings 后端现在可用于容器镜像中，与 https://github.com/UKPLab/sentence-transformers 一起使用。有关更多信息，请参见 Embeddings。

LLaMa 2 已发布！

感谢社区的努力，现在 LocalAI 支持 LLaMa2 的模板功能！更多信息请参见：，直到我们更新模型图库以包含 LLaMa2 模型！

官方 langchain 集成

已在支持 LocalAI 与 langchain 的集成方面取得进展。请查看：https://github.com/langchain-ai/langchain/pull/8134

🔥🔥🔥 17-07-2023: v1.21.0 🚀

[whisper] 在转录端点中部分支持 verbose_json 格式，由 @ldotlopez 在中
LocalAI functions，由 @mudler 在中
gRPC-based backends，由 @mudler 在中
falcon 支持（7b 和 40b）与 ggllm.cpp 一起，由 @mudler 在中

LocalAI functions

这允许运行 OpenAI 博客和文档中描述的 OpenAI functions：https://openai.com/blog/function-calling-and-other-api-updates。

这是运行相同示例的视频，使用 LocalAI 在本地运行：

以及当它实际上选择回复用户而不是使用 functions 时！

注意：functions 仅支持与 llama.cpp 兼容的模型。

完整的示例可在这里查阅。

通过 go-piper 添加文本到音频生成功能，由在中添加。有关更多信息，请参见我们的文档中的 API endpoints。
添加图库仓库，由在中添加。有关更多信息，请参见 models。

容器镜像

标准（GPT + stablediffusion）：quay.io/go-skynet/local-ai:v1.20.0
FFmpeg：quay.io/go-skynet/local-ai:v1.20.0-ffmpeg
CUDA 11+FFmpeg：quay.io/go-skynet/local-ai:v1.20.0-cublas-cuda11-ffmpeg
CUDA 12+FFmpeg：quay.io/go-skynet/local-ai:v1.20.0-cublas-cuda12-ffmpeg

更新

更新了 llama.cpp、go-transformers、gpt4all.cpp 和 rwkv.cpp。

NUMA 选项已由在中启用，以及许多新参数（mmap、mmlock 等）。有关完整参数列表，请参见高级设置。

图库仓库

在这个版本中，支持图库仓库。这些仓库包含模型，可以用来安装模型。默认图库包含仅自由许可的模型，位于 Github：https://github.com/go-skynet/model-gallery，但您可以通过设置 GALLERIES 环境变量使用自己的图库。

例如，现在您可以启动 LocalAI 并使用以下环境变量来使用两个图库：

GALLERIES=[{"name":"model-gallery", "url":"github:go-skynet/model-gallery/index.yaml"}, {"url": "github:ci-robbot/localai-huggingface-zoo/index.yaml","name":"huggingface"}]

在运行时，您现在可以使用以下方式从 huggingface 安装模型：

curl http://localhost:8000/models/apply -H "Content-Type: application/json" -d '{ "id": "huggingface@thebloke__open-llama-7b-open-instruct-ggml__open-llama-7b-open-instruct.ggmlv3.q4_0.bin" }'

或者使用以下方式安装一个 tts 语音：

curl http://localhost:8080/models/apply -H "Content-Type: application/json" -d '{ "id": "model-gallery@voice-en-us-kathleen-low" }'

有关更多信息，请参见 models。

文本到音频

现在 LocalAI 使用 piper 和 go-piper 从文本生成音频。这是一个实验性功能，需要在构建时设置 GO_TAGS=tts。在预构建的容器镜像中默认启用。

要设置音频模型，您可以使用新的图库，或者按照文档中描述的 API部分手动设置模型。

您可以在 Github 中查看完整的更新日志。

🔥🔥🔥 19-06-2023: v1.19.0 🚀

完全支持 CUDA GPU 卸载（PR 由 mudler。感谢 chnyda 提供了 GPU 访问权限，以及 lu-zero 在调试过程中的帮助）
全 GPU Metal 支持现在完全功能正常。感谢 Soleblaze 解决了 Metal Apple silicon 支持问题！

容器镜像：

标准（GPT + stablediffusion）：quay.io/go-skynet/local-ai:v1.19.2
FFmpeg：quay.io/go-skynet/local-ai:v1.19.2-ffmpeg
CUDA 11+FFmpeg：quay.io/go-skynet/local-ai:v1.19.2-cublas-cuda11-ffmpeg
CUDA 12+FFmpeg：quay.io/go-skynet/local-ai:v1.19.2-cublas-cuda12-ffmpeg

---# 更新日志

29-05-2023: v1.18.0

✨ /v1/completions 端点支持 token stream (由 samm81 提供)
✨ 添加了 huggingface 后端 (由 Evilfreelancer 提供)
📷 Stablediffusion 现在可以输出 2048x2048 大小的图像，使用 esrgan! (由 mudler 提供)

容器镜像

🐋 CUDA 容器镜像 (arm64, x86_64) (由 sebastien-prudhomme 提供)
🐋 FFmpeg 容器镜像 (arm64, x86_64) (由 mudler 提供)

依赖更新

🆙 Bloomz 已更新到最新的 ggml 变更，包括新的量化格式 (由 mudler 提供)
🆙 RWKV 已更新到新的量化格式 (由 mudler 提供)
🆙 k-quants 格式支持 llama 模型 (由 mudler 提供)
🆙 gpt4all 已更新，包括上游更改，允许加载旧模型，并且同一个二进制文件支持不同的 CPU 指令集 (仅 AVX，AVX2)! (由 mudler 提供)

通用

🐧 完全 Linux 静态二进制发布 (由 mudler 提供)
📷 默认在容器镜像中启用 Stablediffusion (由 mudler 提供)
注意：您可以通过设置 REBUILD=false 禁用容器镜像重新构建

示例

💡 AutoGPT 示例 (由 mudler 提供)
💡 PrivateGPT 示例 (由 mudler 提供)
💡 Flowise 示例 (由 mudler 提供)

现在有两个新项目直接与 LocalAI 集成！

完整发布更新日志

27-05-2023: v1.17.0

源代码构建时已添加对 OpenCL 的支持。

您现在可以使用 BUILD_TYPE=clblas 构建 LocalAI 以获得 OpenCL 版本。有关如何安装 OpenCL/CLBlast 的说明，请参阅这里。

rwkv.cpp 已更新到新的 ggml 格式提交。

模式=0	模式=1 (winograd/sgemm)