无公网自建本地AI助手 Ollama大语言模型极简部署,支持Llama/Gemma多种模型。帕斯内网穿透远程访问!
作者
小编
发布时间

项目介绍
Ollama 是一个开箱即用的本地大语言模型运行平台,让你能够在自己的设备上轻松运行各种开源大语言模型。它支持包括 Llama、Gemma、Mistral、Phi 等在内的众多主流模型,无需复杂配置即可快速部署和使用。
Ollama 的最大优势在于完全本地化运行,保护数据隐私的同时提供快速响应。它提供了简洁的命令行界面和 REST API,支持模型的下载、运行、管理等全套功能。无论是开发者进行 AI 应用开发,还是普通用户体验大语言模型,Ollama 都是理想的选择。
项目支持 CPU 和 GPU 加速运行,内置模型库包含从 1B 到 400B 参数的各种规模模型,用户可根据硬件配置选择合适的模型。同时提供了丰富的社区集成,包括 Web UI、桌面应用等多种交互方式。
项目地址: 点我跳转
部署安装
如需在外也打开项目需要配置内网穿透使用,点击前往 帕斯内网穿透,先注册好账号备用。
打开飞牛 NAS 或其他的 NAS 设备 点击本地镜像-添加镜像-从 URL 添加。这一步先添加 docker 镜像

镜像填 ollama/ollama 等待下载完成后点击启动按钮启动容器

勾选开机自动启动后下一步,端口设置这里。请设置容器端口 11434 映射到主机端口 11434(如果端口冲突可以修改主机端口,比如改为 11435,但容器端口必须保持 11434)
存储位置这里,建议创建一个文件夹(如 /ollama-data)映射到容器的 /root/.ollama 目录,用于持久化存储下载的模型文件。
环境变量设置:可选设置 如果使用 NVIDIA GPU,可以在 Docker 运行参数中添加 --gpus=all 如果使用 AMD GPU,需要使用 ollama/ollama:rocm 镜像 如果是 NVIDIA JetPack 系统,可以设置 JETSON_JETPACK=5 或 JETSON_JETPACK=6
其他的都不用填写,直接下一步启动就好了。
创建成功后可以访问 ip:11434 来验证服务是否正常运行。
要运行模型,可以通过以下命令进入容器:
1docker exec -it ollama ollama run llama3.2
到这里就可以正常使用 Ollama 了
穿透公网
打开帕斯内网穿透控制台,点击隧道管理-隧道列表

点击创建新隧道
隧道节点可以随便选,一般选个负载低的就可以

接下来填写信息,隧道名称可以随便填写
本地 IP 默认就可以
传输协议可以选择 TCP 也可以选择 HTTP/HTTPS
HTTP 就是域名的形式,教程以使用 TCP 为演示
本项目中如果没有修改端口的话默认是 11434 端口,这里本地端口就填 11434
远程端口可以留空也可以自定义。下图仅做参考,请按照实际项目端口添加。

填写完毕点击确定
点击刚才创建好的隧道,点击获取配置文件

回到飞牛 NAS,点击应用中心下载 frpc 客户端

打开后粘贴刚才复制的配置文件,点击确定即可
复制帕斯内网穿透控制台的访问 IP 和端口
可以看到已经正常穿透成功了
本篇教程结束