PassNAT LogoPassNAT

无代码网页数据抓取工具Maxun快速部署教程,2分钟训练机器人自动抓取数据,帕斯内网穿透实现远程访问

作者

小编

发布时间

Curving abstract shapes with an orange and blue gradient

项目介绍

Maxun 是一个强大的无代码网页数据抓取工具,让你可以在2分钟内训练一个机器人来自动抓取网页数据。这个项目基于现代技术栈构建,支持多种数据提取方式,包括列表抓取、文本捕获和截图功能。

Maxun 的核心优势在于其简单易用的界面设计,无需编程知识即可创建自定义机器人来模拟用户操作并提取数据。项目支持处理分页和滚动、定时运行机器人、将网站转换为API、适应网站布局变化、登录后数据提取等高级功能。同时还提供了代理支持来绕过反爬虫保护,以及与Google Sheets、Airtable等第三方服务的集成。

项目地址: 点我跳转

部署安装

如需在外也打开项目需要配置内网穿透使用,点击前往 帕斯内网穿透,先注册好账号备用。

Maxun 提供了 Docker Compose 的部署方式,这是最简单快速的部署方法。

复制下列的配置文件,创建 docker-compose.yml:

1version: '3.8'
2services:
3 postgres:
4 image: postgres:15
5 environment:
6 POSTGRES_DB: maxun
7 POSTGRES_USER: maxun
8 POSTGRES_PASSWORD: maxun123
9 volumes:
10 - postgres_data:/var/lib/postgresql/data
11 ports:
12 - '5432:5432'
13
14 redis:
15 image: redis:7-alpine
16 ports:
17 - '6379:6379'
18
19 minio:
20 image: minio/minio
21 command: server /data --console-address ':9001'
22 environment:
23 MINIO_ACCESS_KEY: minioadmin
24 MINIO_SECRET_KEY: minioadmin
25 volumes:
26 - minio_data:/data
27 ports:
28 - '9000:9000'
29 - '9001:9001'
30
31 maxun:
32 image: getmaxun/maxun:latest
33 depends_on:
34 - postgres
35 - redis
36 - minio
37 environment:
38 - BACKEND_PORT=8080
39 - FRONTEND_PORT=5173
40 - BACKEND_URL=http://localhost:8080
41 - VITE_BACKEND_URL=http://localhost:8080
42 - PUBLIC_URL=http://localhost:5173
43 - VITE_PUBLIC_URL=http://localhost:5173
44 - JWT_SECRET=your-jwt-secret-key-here
45 - DB_NAME=maxun
46 - DB_USER=maxun
47 - DB_PASSWORD=maxun123
48 - DB_HOST=postgres
49 - DB_PORT=5432
50 - ENCRYPTION_KEY=your-encryption-key-here
51 - MINIO_ENDPOINT=minio
52 - MINIO_PORT=9000
53 - MINIO_ACCESS_KEY=minioadmin
54 - MINIO_SECRET_KEY=minioadmin
55 ports:
56 - '5173:5173'
57 - '8080:8080'
58 volumes:
59 - ./data:/app/data
60
61volumes:
62 postgres_data:
63 minio_data:

打开飞牛 NAS 或其他的 NAS 设备

项目名称可以随便填,点击创建 docker-compose.yml

点击 Compose -> 新建项目

这里需要改成你需要的JWT密钥和加密密钥,其他的保持不变。建议将 your-jwt-secret-key-hereyour-encryption-key-here 替换为随机生成的强密码。

如果提示端口被占用可以修改下面的字段,但是需要保持格式正确:

- 5173:5173 (前端访问端口) - 8080:8080 (后端API端口) - 5432:5432 (PostgreSQL数据库端口) - 6379:6379 (Redis端口) - 9000:9000 (MinIO存储端口)

创建成功后可以访问 ip:5173 到这里就可以正常显示项目了

穿透公网

打开帕斯内网穿透控制台,点击隧道管理-隧道列表

点击创建新隧道

隧道节点可以随便选,一般选个负载低的就可以

接下来填写信息,隧道名称可以随便填写

本地 IP 默认就可以

传输协议可以选择 TCP 也可以选择 HTTP/HTTPS

HTTP 就是域名的形式,教程以使用 TCP 为演示

本项目中如果没有修改端口的话默认是 5173 端口,这里本地端口就填 5173

远程端口可以留空也可以自定义。下图仅做参考,请按照实际项目端口添加。

填写完毕点击确定

点击刚才创建好的隧道,点击获取配置文件

回到飞牛 NAS,点击应用中心下载 frpc 客户端

打开后粘贴刚才复制的配置文件,点击确定即可

复制帕斯内网穿透控制台的访问 IP 和端口

可以看到已经正常穿透成功了

本篇教程结束