crawling-service

一个基于 Node.js 和 Playwright 的商品信息爬虫服务。

功能特性

• 🚀 提供 RESTful API 接口
• 🔍 支持商品信息爬取
• 📸 支持商品截图功能
• 🛡️ 内置安全防护
• 📝 完整的日志记录
• 🔄 模块化设计

技术栈

• Node.js (v22.x)
• Express.js - Web 框架
• Playwright - 浏览器自动化
• Winston - 日志管理
• Jest - 单元测试
• Helmet - 安全中间件
• CORS - 跨域支持

项目结构

src/
├── config/         # 配置文件
├── controllers/    # 控制器
├── middlewares/    # 中间件
├── routes/         # 路由
├── services/       # 业务逻辑
├── utils/          # 工具函数
├── app.js          # 应用入口
└── server.js       # 服务器配置

安装说明

1. 确保已安装 Node.js v22.x

2. 克隆项目

   git clone http://dev.sohomall.jp:3000/lizhuang/crawling-service.git
   cd crawling-service
   

3. 安装依赖

   npm install
   

4. 配置环境变量

   cp .env.example .env
   # 编辑 .env 文件，配置必要的环境变量
   

运行服务

开发环境：

npm run dev

生产环境：

npm start

API 接口

商品信息查询

• 请求方式：GET
• 接口路径：/api/product/info
• 参数：
  • url: 商品URL（必填）
  • needScreenshot: 是否需要截图（可选，默认 false）
  • platform: 平台（可选，目前仅支持 amazon）

开发规范

• 遵循 SOLID 原则
• 函数职责单一
• 完整的异常处理
• 清晰的代码注释
• 统一的代码风格

测试

运行测试：

npm test

贡献指南

1. Fork 项目
2. 创建特性分支
3. 提交变更
4. 推送到分支
5. 创建 Pull Request

许可证

ISC License