PassNAT LogoPassNAT

本地部署AI大模型Ollama,离线运行Gemma Llama DeepSeek,支持内网穿透远程访问

作者

小编

发布时间

Curving abstract shapes with an orange and blue gradient

项目介绍

Ollama 是一个轻量级、高效的本地大语言模型运行框架,让你能够在自己的电脑上快速部署和运行各类先进的 AI 模型。无需依赖云服务,完全离线运行,支持 Gemma、Llama、DeepSeek、Phi 等众多开源模型。无论是文本生成、代码编写,还是图像理解,Ollama 都能轻松胜任。它提供了简洁的命令行界面和强大的 REST API,让开发者和普通用户都能轻松上手。

项目地址:点我跳转

部署安装

如果你需要在外部网络访问本地部署的 Ollama 服务,建议配置内网穿透工具。推荐使用 帕斯内网穿透,先注册账号备用。具体的配置步骤可以 点我查看帕斯内网穿透全平台快速入门指南。

Docker 快速部署

打开你的 NAS 设备或任何支持 Docker 的系统,进入本地镜像管理界面,选择'从 URL 添加镜像'选项。

在镜像地址栏中填入官方镜像:

1ollama/ollama

等待镜像下载完成后,点击启动按钮创建容器。

容器配置说明:

勾选'开机自动启动'确保服务在重启后自动运行,然后进入下一步。

端口映射设置:

Ollama 默认使用 11434 端口提供服务。在端口映射配置中,将容器内的 11434 端口映射到主机端口(建议也使用 11434)。如果你的主机上已有应用占用该端口,可以修改为其他端口号,例如 1143511436,但请记住修改后的端口号以便后续访问。

存储配置:

Ollama 会在容器中存储下载的模型文件。建议创建一个持久化存储目录来保存这些模型,避免容器重启后数据丢失。在存储挂载配置中,将容器内的 /root/.ollama 目录映射到主机的一个文件夹(例如 /data/ollama),这样模型文件就能被永久保存。

环境变量设置:

基础部署不需要特别设置环境变量,保持默认配置即可。如果你需要高级配置,以下是可选的环境变量:

OLLAMA_HOST:服务绑定地址,默认为 0.0.0.0:11434

OLLAMA_MODELS:模型存储路径,默认为 /root/.ollama/models

OLLAMA_NUM_PARALLEL:并行加载模型数,默认为 1

大多数用户无需修改这些设置,直接保持默认即可。

完成以上配置后,点击启动按钮即可启动容器。

访问服务:

容器启动成功后,你可以通过以下方式访问 Ollama:

本地访问:http://localhost:11434

网络访问:http://你的设备IP:11434

例如,在命令行中运行:

1curl http://localhost:11434/api/tags

如果返回模型列表信息,说明服务已正常运行。

首次使用:

Ollama 启动后需要下载模型文件才能使用。你可以通过 REST API 或命令行下载模型。例如,下载轻量级的 Gemma 3 1B 模型:

1curl -X POST http://localhost:11434/api/pull -d '{"name":"gemma3:1b"}'

或者使用官方客户端下载。不同规模的模型需要不同的内存:7B 模型需要至少 8GB RAM,13B 模型需要 16GB RAM,33B 模型需要 32GB RAM。

到这里,Ollama 就已经成功部署并可以使用了!

本篇教程结束