需求描述
客户需求明确，希望做一个分布式爬虫系统，类似 Scrapy Cloud 。
爬虫任务的管理 ：新增任务（爬取的目标和内容都在任务里面定义，可以修改模板），设定爬取频率，啥课任务状态和爬取结果
集群管理： 查看集群节点状态，启动，停止节点
This topic created in 3906 days ago, the information mentioned may be changed or developed.
Select Language