lizhuang
|
677f273244
|
refactor: 修改爬虫配置和亚马逊爬虫中的上传场景参数
- 将上传场景参数从 'digital_yy' 更改为 'digital-yy',以符合新的命名规范
- 该更改旨在提高代码一致性,确保爬虫能够正确处理数字商品的上传
|
3 gün önce |
lizhuang
|
6c0b902af5
|
refactor: 修改爬虫配置中的上传场景参数
- 将爬虫配置中的上传场景参数从 'goods' 更改为 'digital_yy',以适应新的数据抓取需求
- 该更改旨在确保爬虫能够正确处理数字商品的上传,提升功能的准确性和适用性
|
4 gün önce |
lizhuang
|
5cfc9ddb0e
|
refactor: 优化商品信息示例和爬虫配置
- 在商品信息示例中,调整了抓取频率的默认值,从 2 小时更改为 8 小时,以提高抓取效率
- 增强了日志输出,添加了更清晰的抓取和保存商品信息的提示,提升了用户体验
- 在爬虫配置中,添加了乐天平台的选择器和请求头信息,确保爬虫能够正确抓取乐天商品信息
- 这些更改旨在提高代码可读性和爬虫的功能性,符合 SOLID 原则和命名规范
|
1 ay önce |
lizhuang
|
90cfc8f287
|
refactor: 调整爬虫配置和浏览器启动参数
- 修改爬虫配置文件,增加上传超时时间至 150000 毫秒,页面加载超时时间至 600000 毫秒,元素等待时间至 100000 毫秒,网络空闲时间至 50000 毫秒,重试延迟时间至 6000 毫秒
- 更新亚马逊爬虫的上传配置,超时时间调整为 600000 毫秒
- 将浏览器启动参数中的 headless 设置为 false,以便于调试和观察爬虫行为
- 这些更改旨在提高爬虫的稳定性和调试便利性
|
1 ay önce |
lizhuang
|
ab35d06d8b
|
feat: 完善商品信息爬虫服务功能
- 更新 package.json 和 package-lock.json,添加 axios、express-rate-limit、morgan 等依赖
- 修改入口文件为 src/server.js,优化启动脚本
- 新增环境配置和爬虫配置文件,支持不同环境的配置管理
- 实现请求限制和错误处理的中间件
- 创建爬虫工厂类,支持不同平台的爬虫实例化
- 实现亚马逊爬虫,支持商品信息抓取、价格解析和优惠券处理
- 更新 README 文档,增加平台参数说明和许可证信息
|
1 ay önce |