lizhuang
|
c72cf2bbe4
|
refactor: 优化爬虫配置和亚马逊爬虫中的截图功能
- 将爬虫配置中的截图选项添加到配置文件中,包含视口尺寸、图片质量和格式,以增强截图功能的灵活性
- 在亚马逊爬虫中引入截图配置,确保在截图时使用配置中的选项,提高代码的可维护性和一致性
- 修改商品信息示例中的请求超时时间,从 30 秒增加到 60 秒,提升请求的稳定性
- 该更改旨在提高爬虫的功能性和代码的可读性,符合 SOLID 原则和命名规范
|
4 veckor sedan |
lizhuang
|
994ef3ace8
|
feat: 新增商品价格变动通知模板和商品信息示例
- 新增 template.html 文件,包含商品价格变动通知的 HTML 模板,旨在提供用户友好的通知格式
- 新增 productInfoExample.js 文件,示例化商品信息的抓取和处理逻辑,便于开发者理解和使用爬虫服务
- 这些更改旨在增强项目的可用性和示例性,帮助开发者快速上手商品信息抓取功能
|
5 månader sedan |
lizhuang
|
90cfc8f287
|
refactor: 调整爬虫配置和浏览器启动参数
- 修改爬虫配置文件,增加上传超时时间至 150000 毫秒,页面加载超时时间至 600000 毫秒,元素等待时间至 100000 毫秒,网络空闲时间至 50000 毫秒,重试延迟时间至 6000 毫秒
- 更新亚马逊爬虫的上传配置,超时时间调整为 600000 毫秒
- 将浏览器启动参数中的 headless 设置为 false,以便于调试和观察爬虫行为
- 这些更改旨在提高爬虫的稳定性和调试便利性
|
5 månader sedan |
lizhuang
|
ab35d06d8b
|
feat: 完善商品信息爬虫服务功能
- 更新 package.json 和 package-lock.json,添加 axios、express-rate-limit、morgan 等依赖
- 修改入口文件为 src/server.js,优化启动脚本
- 新增环境配置和爬虫配置文件,支持不同环境的配置管理
- 实现请求限制和错误处理的中间件
- 创建爬虫工厂类,支持不同平台的爬虫实例化
- 实现亚马逊爬虫,支持商品信息抓取、价格解析和优惠券处理
- 更新 README 文档,增加平台参数说明和许可证信息
|
5 månader sedan |