Browse Source

refactor: 调整亚马逊爬虫的重试配置

- 将亚马逊爬虫的最大重试次数从 3 次调整为 1 次,以减少不必要的重试,提高爬虫效率
- 该更改旨在优化爬虫的性能,确保在遇到错误时能够更快地响应
master
lizhuang 3 months ago
parent
commit
6f99e3e72b
1 changed files with 1 additions and 1 deletions
  1. 1
    1
      src/services/crawlers/amazon/AmazonCrawler.js

+ 1
- 1
src/services/crawlers/amazon/AmazonCrawler.js View File

networkIdle: 5000 // 网络空闲超时时间 networkIdle: 5000 // 网络空闲超时时间
}; };
this.retryConfig = config.retry || { this.retryConfig = config.retry || {
maxAttempts: 3, // 最大重试次数
maxAttempts: 1, // 最大重试次数
delay: 2000 // 重试延迟时间 delay: 2000 // 重试延迟时间
}; };
this.uploadConfig = config.common?.upload || { this.uploadConfig = config.common?.upload || {

Loading…
Cancel
Save