lizhuang
|
677f273244
|
refactor: 修改爬虫配置和亚马逊爬虫中的上传场景参数
- 将上传场景参数从 'digital_yy' 更改为 'digital-yy',以符合新的命名规范
- 该更改旨在提高代码一致性,确保爬虫能够正确处理数字商品的上传
|
3 giorni fa |
lizhuang
|
453cbbc6c6
|
refactor: 修改亚马逊爬虫配置中的上传场景参数
- 将爬虫配置中的上传场景参数从 'goods' 更改为 'digital_yy',以适应新的数据抓取需求
- 该更改旨在确保爬虫能够正确处理数字商品的上传,提升功能的准确性和适用性
|
4 giorni fa |
lizhuang
|
87028a3877
|
refactor: 优化亚马逊爬虫代码格式和异常处理
- 统一了代码中的字符串引号风格,使用双引号替代单引号,以提高代码一致性
- 增强了异常处理逻辑,确保在处理积分和优惠券时发生错误时返回0,而不是抛出异常,提升了代码的健壮性
- 该更改旨在提高代码可读性和维护性,符合 SOLID 原则和命名规范
|
1 mese fa |
lizhuang
|
1e55ab31b6
|
refactor: 移除商品信息示例和亚马逊爬虫中的备注字段
- 在商品信息示例中,移除了 `remark` 字段,以简化数据结构
- 在亚马逊爬虫中,移除了与 `remark` 相关的逻辑,确保代码整洁
- 该更改旨在提高代码可读性,符合单一职责原则
|
1 mese fa |
lizhuang
|
994ef3ace8
|
feat: 新增商品价格变动通知模板和商品信息示例
- 新增 template.html 文件,包含商品价格变动通知的 HTML 模板,旨在提供用户友好的通知格式
- 新增 productInfoExample.js 文件,示例化商品信息的抓取和处理逻辑,便于开发者理解和使用爬虫服务
- 这些更改旨在增强项目的可用性和示例性,帮助开发者快速上手商品信息抓取功能
|
1 mese fa |
lizhuang
|
6f99e3e72b
|
refactor: 调整亚马逊爬虫的重试配置
- 将亚马逊爬虫的最大重试次数从 3 次调整为 1 次,以减少不必要的重试,提高爬虫效率
- 该更改旨在优化爬虫的性能,确保在遇到错误时能够更快地响应
|
1 mese fa |
lizhuang
|
90cfc8f287
|
refactor: 调整爬虫配置和浏览器启动参数
- 修改爬虫配置文件,增加上传超时时间至 150000 毫秒,页面加载超时时间至 600000 毫秒,元素等待时间至 100000 毫秒,网络空闲时间至 50000 毫秒,重试延迟时间至 6000 毫秒
- 更新亚马逊爬虫的上传配置,超时时间调整为 600000 毫秒
- 将浏览器启动参数中的 headless 设置为 false,以便于调试和观察爬虫行为
- 这些更改旨在提高爬虫的稳定性和调试便利性
|
1 mese fa |
lizhuang
|
ab35d06d8b
|
feat: 完善商品信息爬虫服务功能
- 更新 package.json 和 package-lock.json,添加 axios、express-rate-limit、morgan 等依赖
- 修改入口文件为 src/server.js,优化启动脚本
- 新增环境配置和爬虫配置文件,支持不同环境的配置管理
- 实现请求限制和错误处理的中间件
- 创建爬虫工厂类,支持不同平台的爬虫实例化
- 实现亚马逊爬虫,支持商品信息抓取、价格解析和优惠券处理
- 更新 README 文档,增加平台参数说明和许可证信息
|
1 mese fa |