Home Sign Up Sign In
Syaoran
V2EX  ›  问与答

走 cloudflareCDN 的 GithubPages 网站爬虫无法抓取么？

  •   
  •   Syaoran · May 26, 2015 via iPhone · 2804 views
    This topic created in 4096 days ago, the information mentioned may be changed or developed.
    个人博客在github上，走cf的cdn，不管用百度抓取诊断还是站长工具的都是403，我一个朋友同样的方案也是403…但是测试了一个用wp的能正常抓取，一个同样github的用hexo的也能抓取（不过他同时放在gitcafe，可能dns有分开解析吧）

    所以403是什么情况呢？能正常访问的，貌似只有爬虫被block了
  • 抓取
  • 爬虫
  • GitHub
    5 replies  •  2015-05-27 05:08:51 +08:00
    lyragosa
        1
    lyragosa  
       May 26, 2015
    cf的CDN非常奇怪……会block掉各种奇奇怪怪的访问，尤其是HTTPS，我试用了大约两周之后还是去掉了……
    wy315700
        2
    wy315700  
       May 26, 2015
    把安全防护关了
    Syaoran
        3
    Syaoran  
    OP
       May 26, 2015 via iPhone
    @wy315700 已经是免费用户能选择的最低级别了，我看Analysis有谷歌的Crawler…
    402645707
        4
    402645707  
       May 27, 2015
    貌似迅雷也会被屏蔽
    typcn
        5
    typcn  
       May 27, 2015
    @lyragosa HTTPS 是 ECDSA 证书的，很多老旧的辣鸡爬虫不可能支持，比如百度的爬虫就很恶心。

    另外，百度屏蔽就屏蔽吧，反正我都是手动屏蔽的
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   4703 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 103ms · UTC 09:49 · PVG 17:49 · LAX 02:49 · JFK 05:49
    ♥ Do have faith in what you're doing.