PassNAT LogoPassNAT

无公网自建本地AI助手 Ollama大语言模型极简部署,支持Llama/Gemma多种模型。帕斯内网穿透远程访问!

作者

小编

发布时间

Curving abstract shapes with an orange and blue gradient

项目介绍

Ollama 是一个开箱即用的本地大语言模型运行平台,让你能够在自己的设备上轻松运行各种开源大语言模型。它支持包括 Llama、Gemma、Mistral、Phi 等在内的众多主流模型,无需复杂配置即可快速部署和使用。

Ollama 的最大优势在于完全本地化运行,保护数据隐私的同时提供快速响应。它提供了简洁的命令行界面和 REST API,支持模型的下载、运行、管理等全套功能。无论是开发者进行 AI 应用开发,还是普通用户体验大语言模型,Ollama 都是理想的选择。

项目支持 CPU 和 GPU 加速运行,内置模型库包含从 1B 到 400B 参数的各种规模模型,用户可根据硬件配置选择合适的模型。同时提供了丰富的社区集成,包括 Web UI、桌面应用等多种交互方式。

项目地址: 点我跳转

部署安装

如需在外也打开项目需要配置内网穿透使用,点击前往 帕斯内网穿透,先注册好账号备用。

打开飞牛 NAS 或其他的 NAS 设备 点击本地镜像-添加镜像-从 URL 添加。这一步先添加 docker 镜像

镜像填 ollama/ollama 等待下载完成后点击启动按钮启动容器

勾选开机自动启动后下一步,端口设置这里。请设置容器端口 11434 映射到主机端口 11434(如果端口冲突可以修改主机端口,比如改为 11435,但容器端口必须保持 11434)

存储位置这里,建议创建一个文件夹(如 /ollama-data)映射到容器的 /root/.ollama 目录,用于持久化存储下载的模型文件。

环境变量设置:可选设置 如果使用 NVIDIA GPU,可以在 Docker 运行参数中添加 --gpus=all 如果使用 AMD GPU,需要使用 ollama/ollama:rocm 镜像 如果是 NVIDIA JetPack 系统,可以设置 JETSON_JETPACK=5 或 JETSON_JETPACK=6

其他的都不用填写,直接下一步启动就好了。

创建成功后可以访问 ip:11434 来验证服务是否正常运行。

要运行模型,可以通过以下命令进入容器:

1docker exec -it ollama ollama run llama3.2

到这里就可以正常使用 Ollama 了

穿透公网

打开帕斯内网穿透控制台,点击隧道管理-隧道列表

点击创建新隧道

隧道节点可以随便选,一般选个负载低的就可以

接下来填写信息,隧道名称可以随便填写

本地 IP 默认就可以

传输协议可以选择 TCP 也可以选择 HTTP/HTTPS

HTTP 就是域名的形式,教程以使用 TCP 为演示

本项目中如果没有修改端口的话默认是 11434 端口,这里本地端口就填 11434

远程端口可以留空也可以自定义。下图仅做参考,请按照实际项目端口添加。

填写完毕点击确定

点击刚才创建好的隧道,点击获取配置文件

回到飞牛 NAS,点击应用中心下载 frpc 客户端

打开后粘贴刚才复制的配置文件,点击确定即可

复制帕斯内网穿透控制台的访问 IP 和端口

可以看到已经正常穿透成功了

本篇教程结束