- 新增 deploy.sh 脚本,自动化部署 crawling-service,包括 Node.js 安装、PM2 配置和环境变量设置 - 新增 ecosystem.config.js 文件,配置 PM2 启动参数和日志管理 - 新增 nginx.conf 文件,配置 Nginx 反向代理和安全设置 - 这些更改旨在简化部署流程,提高服务的可维护性和安全性
- 更新 package.json 和 package-lock.json,添加 axios、express-rate-limit、morgan 等依赖 - 修改入口文件为 src/server.js,优化启动脚本 - 新增环境配置和爬虫配置文件,支持不同环境的配置管理 - 实现请求限制和错误处理的中间件 - 创建爬虫工厂类,支持不同平台的爬虫实例化 - 实现亚马逊爬虫,支持商品信息抓取、价格解析和优惠券处理 - 更新 README 文档,增加平台参数说明和许可证信息
- 新增项目结构,包括主要文件和目录 - 添加 .gitignore 文件以排除不必要的文件 - 创建 package.json 和 package-lock.json,定义项目依赖 - 实现基本的 Express 应用,配置中间件和路由 - 添加爬虫服务逻辑,支持商品信息抓取和截图功能 - 完善 README 文档,提供项目功能、安装说明和使用示例