有人试过批量爬某个元素的时候爬不下来但是单独爬的时候却可以爬的情况嘛

This topic created in 2393 days ago, the information mentioned may be changed or developed.

想爬点东西具体啥不太好说但是发现在单个 url 下可以爬做了一个 urllist 之后批量爬就爬不下来也没有报错就是一直卡在那没反应有啥好的办法吗是我的操作问题还是网站对这个元素做了一些什么防护手段呢

3 replies • 2020-04-23 09:14:58 +08:00

Waihinchan

Apr 23, 2020

补充一下。。如果切手机的 useragent 的话是可以爬下来的所以应该是有办法但是好奇为什么会存在这种情况呢。所以是不是网站设置了一些保护机制呢

jugelizi

Apr 23, 2020 via iPhone

访问超频率了吧还有可能是进了蜜罐

Waihinchan

Apr 23, 2020 via Android

@jugelizi 只有那一个元素不行比如我爬其他的标题或者一些尺寸之类的信息都可以批量爬的而且我设置了间隔 …所以就很迷而且没有报错…