PHP 多线程采集器 By:QueryList

新罗免税店数据采集示例,内置 19 种不同页面模板规则

1. 采集失败日志记录
2. 多线程采集并解决内存溢出问题
3. 支持动态渲染页面的内容采集
4. 支持本地化图片
5. 详细采集过程提示,快速排查报错
6. 解决 tp5 日志写入可能造成的内存溢出

使用说明

• 访问地址 http://域名/caiji.php?page=0&category_id=1&area=10
• 规则在 Tool 工具类中更改
• 日志存储在运行目录下/public/upload/goods_info.txt
• 本地化图片路径,/public/upload/img
• 数据库模型类/Model/model

系统环境

• 运行环境: CentOS 7.7
• PHP 版本: PHP7.1
• MySQL 版本: 5.6
• 4 核心 15G 内存 40G 硬盘 100M 带宽

要求服务器环境

• 内存不低于 8G
• 核心数不低于 2
• 硬盘不低于 20G