- 修改爬虫配置文件,增加上传超时时间至 150000 毫秒,页面加载超时时间至 600000 毫秒,元素等待时间至 100000 毫秒,网络空闲时间至 50000 毫秒,重试延迟时间至 6000 毫秒 - 更新亚马逊爬虫的上传配置,超时时间调整为 600000 毫秒 - 将浏览器启动参数中的 headless 设置为 false,以便于调试和观察爬虫行为 - 这些更改旨在提高爬虫的稳定性和调试便利性
- 更新 package.json 和 package-lock.json,添加 axios、express-rate-limit、morgan 等依赖 - 修改入口文件为 src/server.js,优化启动脚本 - 新增环境配置和爬虫配置文件,支持不同环境的配置管理 - 实现请求限制和错误处理的中间件 - 创建爬虫工厂类,支持不同平台的爬虫实例化 - 实现亚马逊爬虫,支持商品信息抓取、价格解析和优惠券处理 - 更新 README 文档,增加平台参数说明和许可证信息