lizhuang
|
677f273244
|
refactor: 修改爬虫配置和亚马逊爬虫中的上传场景参数
- 将上传场景参数从 'digital_yy' 更改为 'digital-yy',以符合新的命名规范
- 该更改旨在提高代码一致性,确保爬虫能够正确处理数字商品的上传
|
3 dni temu |
lizhuang
|
453cbbc6c6
|
refactor: 修改亚马逊爬虫配置中的上传场景参数
- 将爬虫配置中的上传场景参数从 'goods' 更改为 'digital_yy',以适应新的数据抓取需求
- 该更改旨在确保爬虫能够正确处理数字商品的上传,提升功能的准确性和适用性
|
3 dni temu |
lizhuang
|
6c0b902af5
|
refactor: 修改爬虫配置中的上传场景参数
- 将爬虫配置中的上传场景参数从 'goods' 更改为 'digital_yy',以适应新的数据抓取需求
- 该更改旨在确保爬虫能够正确处理数字商品的上传,提升功能的准确性和适用性
|
3 dni temu |
lizhuang
|
87028a3877
|
refactor: 优化亚马逊爬虫代码格式和异常处理
- 统一了代码中的字符串引号风格,使用双引号替代单引号,以提高代码一致性
- 增强了异常处理逻辑,确保在处理积分和优惠券时发生错误时返回0,而不是抛出异常,提升了代码的健壮性
- 该更改旨在提高代码可读性和维护性,符合 SOLID 原则和命名规范
|
1 miesiąc temu |
lizhuang
|
0cb56adcf8
|
refactor: 优化商品信息示例中的日志输出
- 在商品信息示例的 `fetchGoodsListAndProcess` 函数中,增强了日志输出,添加了分隔线和换行符,以提高输出的可读性和用户体验
- 该更改旨在使日志信息更加清晰,便于开发者在调试时快速识别商品信息
|
1 miesiąc temu |
lizhuang
|
f8dcac9b3a
|
refactor: 修改商品信息示例中的商品状态参数
- 将商品信息示例中的 `isDisabled` 参数值从 0 更改为 1
|
1 miesiąc temu |
lizhuang
|
5cfc9ddb0e
|
refactor: 优化商品信息示例和爬虫配置
- 在商品信息示例中,调整了抓取频率的默认值,从 2 小时更改为 8 小时,以提高抓取效率
- 增强了日志输出,添加了更清晰的抓取和保存商品信息的提示,提升了用户体验
- 在爬虫配置中,添加了乐天平台的选择器和请求头信息,确保爬虫能够正确抓取乐天商品信息
- 这些更改旨在提高代码可读性和爬虫的功能性,符合 SOLID 原则和命名规范
|
1 miesiąc temu |
lizhuang
|
1e55ab31b6
|
refactor: 移除商品信息示例和亚马逊爬虫中的备注字段
- 在商品信息示例中,移除了 `remark` 字段,以简化数据结构
- 在亚马逊爬虫中,移除了与 `remark` 相关的逻辑,确保代码整洁
- 该更改旨在提高代码可读性,符合单一职责原则
|
1 miesiąc temu |
lizhuang
|
211b3af1a7
|
refactor: 修改商品信息示例中的监控频率变量名
- 将配置中的 `warnTimeRange` 变量名更改为 `monitorFrequency`,以提高代码可读性和一致性
- 更新相关逻辑,确保抓取频率的设置和输出信息与新变量名保持一致
- 该更改旨在使代码更易于理解,符合命名规范
|
1 miesiąc temu |
lizhuang
|
e17edcebac
|
chore: 更新商品信息示例中的服务端地址
- 将商品信息示例中的服务端地址从本地地址更改为外网地址,以便于实际使用
- 该更改旨在确保示例代码能够正确连接到外部服务,提升示例的实用性
|
1 miesiąc temu |
lizhuang
|
994ef3ace8
|
feat: 新增商品价格变动通知模板和商品信息示例
- 新增 template.html 文件,包含商品价格变动通知的 HTML 模板,旨在提供用户友好的通知格式
- 新增 productInfoExample.js 文件,示例化商品信息的抓取和处理逻辑,便于开发者理解和使用爬虫服务
- 这些更改旨在增强项目的可用性和示例性,帮助开发者快速上手商品信息抓取功能
|
1 miesiąc temu |
lizhuang
|
6f99e3e72b
|
refactor: 调整亚马逊爬虫的重试配置
- 将亚马逊爬虫的最大重试次数从 3 次调整为 1 次,以减少不必要的重试,提高爬虫效率
- 该更改旨在优化爬虫的性能,确保在遇到错误时能够更快地响应
|
1 miesiąc temu |
lizhuang
|
90cfc8f287
|
refactor: 调整爬虫配置和浏览器启动参数
- 修改爬虫配置文件,增加上传超时时间至 150000 毫秒,页面加载超时时间至 600000 毫秒,元素等待时间至 100000 毫秒,网络空闲时间至 50000 毫秒,重试延迟时间至 6000 毫秒
- 更新亚马逊爬虫的上传配置,超时时间调整为 600000 毫秒
- 将浏览器启动参数中的 headless 设置为 false,以便于调试和观察爬虫行为
- 这些更改旨在提高爬虫的稳定性和调试便利性
|
1 miesiąc temu |
lizhuang
|
96a1c82497
|
feat: 添加部署脚本和配置文件
- 新增 deploy.sh 脚本,自动化部署 crawling-service,包括 Node.js 安装、PM2 配置和环境变量设置
- 新增 ecosystem.config.js 文件,配置 PM2 启动参数和日志管理
- 新增 nginx.conf 文件,配置 Nginx 反向代理和安全设置
- 这些更改旨在简化部署流程,提高服务的可维护性和安全性
|
1 miesiąc temu |
lizhuang
|
ab35d06d8b
|
feat: 完善商品信息爬虫服务功能
- 更新 package.json 和 package-lock.json,添加 axios、express-rate-limit、morgan 等依赖
- 修改入口文件为 src/server.js,优化启动脚本
- 新增环境配置和爬虫配置文件,支持不同环境的配置管理
- 实现请求限制和错误处理的中间件
- 创建爬虫工厂类,支持不同平台的爬虫实例化
- 实现亚马逊爬虫,支持商品信息抓取、价格解析和优惠券处理
- 更新 README 文档,增加平台参数说明和许可证信息
|
1 miesiąc temu |
lizhuang
|
7586c25fb5
|
feat: 初始化商品信息爬虫服务项目
- 新增项目结构,包括主要文件和目录
- 添加 .gitignore 文件以排除不必要的文件
- 创建 package.json 和 package-lock.json,定义项目依赖
- 实现基本的 Express 应用,配置中间件和路由
- 添加爬虫服务逻辑,支持商品信息抓取和截图功能
- 完善 README 文档,提供项目功能、安装说明和使用示例
|
1 miesiąc temu |
lizhuang
|
2726f7287b
|
Initial commit
|
1 miesiąc temu |