소스 검색

refactor: 调整亚马逊爬虫的重试配置

- 将亚马逊爬虫的最大重试次数从 3 次调整为 1 次,以减少不必要的重试,提高爬虫效率
- 该更改旨在优化爬虫的性能,确保在遇到错误时能够更快地响应
master
lizhuang 1 개월 전
부모
커밋
6f99e3e72b
1개의 변경된 파일1개의 추가작업 그리고 1개의 파일을 삭제
  1. 1
    1
      src/services/crawlers/amazon/AmazonCrawler.js

+ 1
- 1
src/services/crawlers/amazon/AmazonCrawler.js 파일 보기

@@ -24,7 +24,7 @@ class AmazonCrawler extends BaseCrawler {
networkIdle: 5000 // 网络空闲超时时间
};
this.retryConfig = config.retry || {
maxAttempts: 3, // 最大重试次数
maxAttempts: 1, // 最大重试次数
delay: 2000 // 重试延迟时间
};
this.uploadConfig = config.common?.upload || {

Loading…
취소
저장