目前使用 threading 创建多个线程,因为要使用帐号模拟登陆,所以帐号数就等于可创建线程数。
用 queue 分配任务队列,如果所有的帐号都处于使用状态,就.put 这个请求而不去执行爬虫,然后等一个线程爬取完毕就.get 一下继续爬,如此循环。
可能我描述的不大清楚,请问各位大佬有没有好的思路?
用 queue 分配任务队列,如果所有的帐号都处于使用状态,就.put 这个请求而不去执行爬虫,然后等一个线程爬取完毕就.get 一下继续爬,如此循环。
可能我描述的不大清楚,请问各位大佬有没有好的思路?