昨晚看到一个哥们在火车上听别人讨论几个亿的项目 今天想再看一下, 但是只记得标题里面有火车 回家的关键词 就用百度搜索了一下,结果没搜到 https://imgchr.com/i/yJxlk9
用谷歌搜索了一下却搜到了 https://imgchr.com/i/yJxR0g
谷歌爬虫的收录速度这么快的嘛,一天前的帖子就收录了 https://imgchr.com/i/yJzCjK
昨晚看到一个哥们在火车上听别人讨论几个亿的项目 今天想再看一下, 但是只记得标题里面有火车 回家的关键词 就用百度搜索了一下,结果没搜到 https://imgchr.com/i/yJxlk9
用谷歌搜索了一下却搜到了 https://imgchr.com/i/yJxR0g
谷歌爬虫的收录速度这么快的嘛,一天前的帖子就收录了 https://imgchr.com/i/yJzCjK
|
eason1874Feb 6, 2021
1
一天前已经久了,我经常搜到几十分钟前的
|
|
ronmanFeb 6, 2021 via Android
2
V 站权重挺高的,十多分钟的帖子我都搜到过(可能刚好爬了一番
|
|
superrichmanFeb 6, 2021 via iPhone
3
你发的这贴子已经被谷歌收录了
|
|
4
|
|
also24Feb 6, 2021
6
typo: 不过不确定 V2 是否做了
|
|
7
你还没体验过当年 Google 和 Twitter 合作的即时搜索,输入关键词然后就等着看下面搜索结果像自来水一样实时刷新出来
|
|
S179276SPFeb 6, 2021 via Android
8
duckduckgo 也很厉害,搜索结果一样。
https://duckduckgo.com/?q=site%3Av2ex.com+%E5%9B%9E%E5%AE%B6+%E7%81%AB%E8%BD%A6&ia=web |
|
9
|
|
cnrtingFeb 6, 2021 via iPhone
10
流量大点的站基本是秒收
|
|
11
我可是经常用 google 的快照来看被冲水的帖子,google 的爬虫比某些网站的管理员手都快
|
|
JoooooooooFeb 6, 2021
12
v2 在 google 权重很高
基本发帖很快就能收录 |
|
TinkFeb 6, 2021 via Android
13
v 站一般是十五分钟
|
|
jjplayFeb 6, 2021
14
V 站高权重,实时都是大几千人在线,页面嵌入的是 google analytics,so ...
|
|
systemcallFeb 6, 2021
15
v2ex 嵌入了 google analytics 可能是原因之一。其实 bing 也爬的快而且权重非常高
v2ex 有 api 可以获取到最新的主题和回复,应该是隔几分钟查询一下 API,发现新帖子和回复再来爬 |
|
memedaFeb 7, 2021
16
08 年时百度 Google 就都做到了啊,权重高的站更新速度都很快的
|
|
zeni123Feb 7, 2021
17
google chrome 上面有个选项是默认打开的, 那就是 “预加载网页,以便实现更快速的浏览和搜索” 这个功能
也就是 google 应该有各个网页的 cache,而且也知道这个网站有没有收录。 所以只要有人用 chrome 打开了这个网页,没有收录的网站就会去收录,根本就不需要爬虫慢慢爬 |