tubowen

谷歌的爬虫有点厉害啊

  •  
  •   tubowen · Feb 6, 2021 · 6779 views
    This topic created in 2101 days ago, the information mentioned may be changed or developed.

    昨晚看到一个哥们在火车上听别人讨论几个亿的项目 今天想再看一下, 但是只记得标题里面有火车 回家的关键词 就用百度搜索了一下,结果没搜到 https://imgchr.com/i/yJxlk9

    用谷歌搜索了一下却搜到了 https://imgchr.com/i/yJxR0g

    谷歌爬虫的收录速度这么快的嘛,一天前的帖子就收录了 https://imgchr.com/i/yJzCjK

    17 replies  •  2021-02-07 01:58:50 +08:00
    eason1874
    eason1874
    Feb 6, 2021
    1
    一天前已经久了,我经常搜到几十分钟前的
    ronman
    ronman
    Feb 6, 2021 via Android
    2
    V 站权重挺高的,十多分钟的帖子我都搜到过(可能刚好爬了一番
    superrichman
    superrichman
    Feb 6, 2021 via iPhone
    3
    你发的这贴子已经被谷歌收录了
    also24
    also24
    Feb 6, 2021❤️1
    4
    许多网站会做相应的优化,主动提交的。(不过确定 V2 是否做了)

    http://www.google.com.hk/intl/zh-CN/submit_content.html
    tubowen
    tubowen
    OP
    Feb 6, 2021
    5
    @ronman 还真是,我这个帖子发表之后也马上能搜索到
    also24
    also24
    Feb 6, 2021
    6
    typo: 不过不确定 V2 是否做了
    ShinichiYao
    ShinichiYao
    Feb 6, 2021 via Android❤️3
    7
    你还没体验过当年 Google 和 Twitter 合作的即时搜索,输入关键词然后就等着看下面搜索结果像自来水一样实时刷新出来
    S179276SP
    S179276SP
    Feb 6, 2021 via Android
    8
    cnrting
    cnrting
    Feb 6, 2021 via iPhone
    10
    流量大点的站基本是秒收
    Arthur5
    Arthur5
    Feb 6, 2021❤️1
    11
    我可是经常用 google 的快照来看被冲水的帖子,google 的爬虫比某些网站的管理员手都快
    Jooooooooo
    Jooooooooo
    Feb 6, 2021
    12
    v2 在 google 权重很高

    基本发帖很快就能收录
    Tink
    Tink
    Feb 6, 2021 via Android
    13
    v 站一般是十五分钟
    jjplay
    jjplay
    Feb 6, 2021
    14
    V 站高权重,实时都是大几千人在线,页面嵌入的是 google analytics,so ...
    systemcall
    systemcall
    Feb 6, 2021
    15
    v2ex 嵌入了 google analytics 可能是原因之一。其实 bing 也爬的快而且权重非常高
    v2ex 有 api 可以获取到最新的主题和回复,应该是隔几分钟查询一下 API,发现新帖子和回复再来爬
    memeda
    memeda
    Feb 7, 2021
    16
    08 年时百度 Google 就都做到了啊,权重高的站更新速度都很快的
    zeni123
    zeni123
    Feb 7, 2021
    17
    google chrome 上面有个选项是默认打开的, 那就是 “预加载网页,以便实现更快速的浏览和搜索” 这个功能

    也就是 google 应该有各个网页的 cache,而且也知道这个网站有没有收录。

    所以只要有人用 chrome 打开了这个网页,没有收录的网站就会去收录,根本就不需要爬虫慢慢爬
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1545 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 64ms · UTC 07:19 · PVG 15:19 · LAX 23:19 · JFK 02:19
    ♥ Do have faith in what you're doing.