私人AI聊天WebLLM Chat浏览器本地运行大模型 飞牛NAS部署教程帕斯内网穿透公网访问

项目介绍

WebLLM Chat 是一个完全在浏览器中运行的私人AI聊天界面，结合了WebLLM和用户友好的设计，利用WebGPU在浏览器中原生运行大型语言模型(LLMs)。这是一个开创性的项目，让你可以享受前所未有的、私密的、可访问的AI对话体验。

该项目最大的特点是完全保护隐私 - AI模型在你的硬件上本地运行，所有数据处理都在浏览器内进行，你的数据和对话永远不会离开你的计算机。支持离线使用，在初始设置和下载后可以完全离线运行，让你无需活跃的互联网连接就能与AI进行对话。还支持视觉模型，可以通过上传和发送图像与AI聊天，轻松获得基于视觉内容的见解和答案。

界面美观现代，具有markdown支持、暗黑模式和针对各种屏幕尺寸优化的响应式设计。项目完全开源，可以构建和定制你自己的AI驱动应用程序。

项目地址： 点我跳转

部署安装

如需在外也打开项目需要配置内网穿透使用，点击前往 帕斯内网穿透，先注册好账号备用。

打开飞牛 NAS 或其他的 NAS 设备 点击本地镜像-添加镜像-从 URL 添加。这一步先添加 docker 镜像

镜像填 mlc-ai/web-llm-chat:latest 等待下载完成后点击启动按钮启动容器

勾选开机自动启动后下一步，端口设置这里。请设置容器内端口3000映射到主机端口3000（如果端口冲突可以修改主机端口，比如改成3001:3000，但容器内端口必须保持3000）

存储位置这里，该项目不需要持久化存储，可以跳过此步骤。

环境变量设置：选择设置，可以不填 PROXY_URL: 代理服务器地址，格式如 http://localhost:7890，如果代理需要用户名密码则格式为 'http://127.0.0.1:7890 user pass'

其他的都不用填写，直接下一步启动就好了。

创建成功后可以访问 ip:3000 到这里就可以正常显示项目了

穿透公网

打开帕斯内网穿透控制台，点击隧道管理-隧道列表

点击创建新隧道

隧道节点可以随便选，一般选个负载低的就可以

接下来填写信息，隧道名称可以随便填写

本地 IP 默认就可以

传输协议可以选择 TCP 也可以选择 HTTP/HTTPS

HTTP 就是域名的形式，教程以使用 TCP 为演示

本项目中如果没有修改端口的话默认是 3000 端口，这里本地 IP 就填 3000

远程端口可以留空也可以自定义。下图仅做参考，请按照实际项目端口添加。

填写完毕点击确定

点击刚才创建好的隧道，点击获取配置文件

回到飞牛 NAS，点击应用中心下载 frpc 客户端

打开后粘贴刚才复制的配置文件，点击确定即可

复制帕斯内网穿透控制台的访问 IP 和端口

可以看到已经正常穿透成功了

本篇教程结束