网站突然有大量的百度爬虫访问，频次特别高，每秒几乎上百请求，都是不存在的页面。 而且查证确实是百度的爬虫，请问这是啥情况？
This topic created in 3885 days ago, the information mentioned may be changed or developed.
 |
UnisandKMar 20, 2016
1
 像这种地方是可以让百度的爬虫去爬你的网站的 DNS 先把百度爬虫解析到 127.0.0.1 去吧 |
 |
DesignerSkylineMar 20, 2016
2
上纯 CHACHA20_POLY1305 ，百度就会失去爬取你网站的兴趣了。。。。
|
 |
Andy1999Mar 20, 2016 via iPhone
3
有种东西叫 UA 伪造
|
 |
lecherMar 20, 2016
5
也许不是百度的爬虫，只是伪造了百度爬虫的 useragent 。
实际上百度如果有每秒几百的抓取频率，那就要笑疯了，赶紧构造界面刷 SEO 排名去，这能构造多少百度收录出来啊。 |
 |
bazingaterryMar 20, 2016 via iPhone
7
@des 我当年也是，百度爬虫能把我个人网站爬死机，后来用 IPTABLES DROP 了就好了……
|
 |
dzxx36gyyMar 20, 2016 via Android
8
去注册百度站长，然后调整爬虫抓取频率
|
Select Language