运行在 Nvidia ARM64 上

LocalAI 可以在诸如 Jetson Nano、Jetson Xavier NX 和 Jetson AGX Xavier 的 Nvidia ARM64 设备上运行。以下指导将帮助您为 Nvidia ARM64 设备构建 LocalAI 容器。

准备工作

• 安装 Docker 引擎（https://docs.docker.com/engine/install/ubuntu/）
• 安装 Nvidia 容器工具包（https://docs.nvidia.com/datacenter/cloud-native/container-toolkit/latest/install-guide.html#installing-with-ap）

构建容器

使用以下命令为 Nvidia ARM64 设备构建 LocalAI 容器：

git clone https://github.com/mudler/LocalAI

cd LocalAI

docker build --build-arg SKIP_DRIVERS=true --build-arg BUILD_TYPE=cublas --build-arg BASE_IMAGE=nvcr.io/nvidia/l4t-jetpack:r36.4.0 --build-arg IMAGE_TYPE=core -t quay.io/go-skynet/local-ai:master-nvidia-l4t-arm64-core .

或者，您可以从 quay.io 和 dockerhub 上获取现有镜像：

docker pull quay.io/go-skynet/local-ai:master-nvidia-l4t-arm64-core

使用

使用以下命令在 Nvidia ARM64 设备上运行 LocalAI 容器，其中 /data/models 是包含模型的目录：

docker run -e DEBUG=true -p 8080:8080 -v /data/models:/build/models  -ti --restart=always --name local-ai --runtime nvidia --gpus all quay.io/go-skynet/local-ai:master-nvidia-l4t-arm64-core

注意：/data/models 是包含模型的目录。您可以将其替换为您自己的模型目录。