lizhuang
|
994ef3ace8
|
feat: 新增商品价格变动通知模板和商品信息示例
- 新增 template.html 文件,包含商品价格变动通知的 HTML 模板,旨在提供用户友好的通知格式
- 新增 productInfoExample.js 文件,示例化商品信息的抓取和处理逻辑,便于开发者理解和使用爬虫服务
- 这些更改旨在增强项目的可用性和示例性,帮助开发者快速上手商品信息抓取功能
|
1 maand geleden |
lizhuang
|
6f99e3e72b
|
refactor: 调整亚马逊爬虫的重试配置
- 将亚马逊爬虫的最大重试次数从 3 次调整为 1 次,以减少不必要的重试,提高爬虫效率
- 该更改旨在优化爬虫的性能,确保在遇到错误时能够更快地响应
|
1 maand geleden |
lizhuang
|
90cfc8f287
|
refactor: 调整爬虫配置和浏览器启动参数
- 修改爬虫配置文件,增加上传超时时间至 150000 毫秒,页面加载超时时间至 600000 毫秒,元素等待时间至 100000 毫秒,网络空闲时间至 50000 毫秒,重试延迟时间至 6000 毫秒
- 更新亚马逊爬虫的上传配置,超时时间调整为 600000 毫秒
- 将浏览器启动参数中的 headless 设置为 false,以便于调试和观察爬虫行为
- 这些更改旨在提高爬虫的稳定性和调试便利性
|
1 maand geleden |
lizhuang
|
96a1c82497
|
feat: 添加部署脚本和配置文件
- 新增 deploy.sh 脚本,自动化部署 crawling-service,包括 Node.js 安装、PM2 配置和环境变量设置
- 新增 ecosystem.config.js 文件,配置 PM2 启动参数和日志管理
- 新增 nginx.conf 文件,配置 Nginx 反向代理和安全设置
- 这些更改旨在简化部署流程,提高服务的可维护性和安全性
|
1 maand geleden |
lizhuang
|
ab35d06d8b
|
feat: 完善商品信息爬虫服务功能
- 更新 package.json 和 package-lock.json,添加 axios、express-rate-limit、morgan 等依赖
- 修改入口文件为 src/server.js,优化启动脚本
- 新增环境配置和爬虫配置文件,支持不同环境的配置管理
- 实现请求限制和错误处理的中间件
- 创建爬虫工厂类,支持不同平台的爬虫实例化
- 实现亚马逊爬虫,支持商品信息抓取、价格解析和优惠券处理
- 更新 README 文档,增加平台参数说明和许可证信息
|
1 maand geleden |
lizhuang
|
7586c25fb5
|
feat: 初始化商品信息爬虫服务项目
- 新增项目结构,包括主要文件和目录
- 添加 .gitignore 文件以排除不必要的文件
- 创建 package.json 和 package-lock.json,定义项目依赖
- 实现基本的 Express 应用,配置中间件和路由
- 添加爬虫服务逻辑,支持商品信息抓取和截图功能
- 完善 README 文档,提供项目功能、安装说明和使用示例
|
1 maand geleden |
lizhuang
|
2726f7287b
|
Initial commit
|
1 maand geleden |