无代码网页数据抓取工具Maxun快速部署教程,2分钟训练机器人自动抓取数据,帕斯内网穿透实现远程访问
作者
小编
发布时间

项目介绍
Maxun 是一个强大的无代码网页数据抓取工具,让你可以在2分钟内训练一个机器人来自动抓取网页数据。这个项目基于现代技术栈构建,支持多种数据提取方式,包括列表抓取、文本捕获和截图功能。
Maxun 的核心优势在于其简单易用的界面设计,无需编程知识即可创建自定义机器人来模拟用户操作并提取数据。项目支持处理分页和滚动、定时运行机器人、将网站转换为API、适应网站布局变化、登录后数据提取等高级功能。同时还提供了代理支持来绕过反爬虫保护,以及与Google Sheets、Airtable等第三方服务的集成。
项目地址: 点我跳转
部署安装
如需在外也打开项目需要配置内网穿透使用,点击前往 帕斯内网穿透,先注册好账号备用。
Maxun 提供了 Docker Compose 的部署方式,这是最简单快速的部署方法。
复制下列的配置文件,创建 docker-compose.yml:
1version: '3.8'2services:3 postgres:4 image: postgres:155 environment:6 POSTGRES_DB: maxun7 POSTGRES_USER: maxun8 POSTGRES_PASSWORD: maxun1239 volumes:10 - postgres_data:/var/lib/postgresql/data11 ports:12 - '5432:5432'1314 redis:15 image: redis:7-alpine16 ports:17 - '6379:6379'1819 minio:20 image: minio/minio21 command: server /data --console-address ':9001'22 environment:23 MINIO_ACCESS_KEY: minioadmin24 MINIO_SECRET_KEY: minioadmin25 volumes:26 - minio_data:/data27 ports:28 - '9000:9000'29 - '9001:9001'3031 maxun:32 image: getmaxun/maxun:latest33 depends_on:34 - postgres35 - redis36 - minio37 environment:38 - BACKEND_PORT=808039 - FRONTEND_PORT=517340 - BACKEND_URL=http://localhost:808041 - VITE_BACKEND_URL=http://localhost:808042 - PUBLIC_URL=http://localhost:517343 - VITE_PUBLIC_URL=http://localhost:517344 - JWT_SECRET=your-jwt-secret-key-here45 - DB_NAME=maxun46 - DB_USER=maxun47 - DB_PASSWORD=maxun12348 - DB_HOST=postgres49 - DB_PORT=543250 - ENCRYPTION_KEY=your-encryption-key-here51 - MINIO_ENDPOINT=minio52 - MINIO_PORT=900053 - MINIO_ACCESS_KEY=minioadmin54 - MINIO_SECRET_KEY=minioadmin55 ports:56 - '5173:5173'57 - '8080:8080'58 volumes:59 - ./data:/app/data6061volumes:62 postgres_data:63 minio_data:
打开飞牛 NAS 或其他的 NAS 设备

项目名称可以随便填,点击创建 docker-compose.yml

点击 Compose -> 新建项目
这里需要改成你需要的JWT密钥和加密密钥,其他的保持不变。建议将 your-jwt-secret-key-here 和 your-encryption-key-here 替换为随机生成的强密码。
如果提示端口被占用可以修改下面的字段,但是需要保持格式正确:
- 5173:5173 (前端访问端口) - 8080:8080 (后端API端口) - 5432:5432 (PostgreSQL数据库端口) - 6379:6379 (Redis端口) - 9000:9000 (MinIO存储端口)
创建成功后可以访问 ip:5173 到这里就可以正常显示项目了
穿透公网
打开帕斯内网穿透控制台,点击隧道管理-隧道列表

点击创建新隧道
隧道节点可以随便选,一般选个负载低的就可以

接下来填写信息,隧道名称可以随便填写
本地 IP 默认就可以
传输协议可以选择 TCP 也可以选择 HTTP/HTTPS
HTTP 就是域名的形式,教程以使用 TCP 为演示
本项目中如果没有修改端口的话默认是 5173 端口,这里本地端口就填 5173
远程端口可以留空也可以自定义。下图仅做参考,请按照实际项目端口添加。

填写完毕点击确定
点击刚才创建好的隧道,点击获取配置文件

回到飞牛 NAS,点击应用中心下载 frpc 客户端

打开后粘贴刚才复制的配置文件,点击确定即可
复制帕斯内网穿透控制台的访问 IP 和端口
可以看到已经正常穿透成功了
本篇教程结束