- 将亚马逊爬虫的最大重试次数从 3 次调整为 1 次,以减少不必要的重试,提高爬虫效率 - 该更改旨在优化爬虫的性能,确保在遇到错误时能够更快地响应master
@@ -24,7 +24,7 @@ class AmazonCrawler extends BaseCrawler { | |||
networkIdle: 5000 // 网络空闲超时时间 | |||
}; | |||
this.retryConfig = config.retry || { | |||
maxAttempts: 3, // 最大重试次数 | |||
maxAttempts: 1, // 最大重试次数 | |||
delay: 2000 // 重试延迟时间 | |||
}; | |||
this.uploadConfig = config.common?.upload || { |