• 请不要在回答技术问题时复制粘贴 AI 生成的内容
Xianmua
V2EX  ›  程序员

v2ex plus 用户们,你们知道你们的浏览器被用来跑分布式爬虫了吗

  Xianmua · May 12, 2023 · 45665 views
This topic created in 1275 days ago, the information mentioned may be changed or developed.
首先承认标题夸张了点,但是事实确实如此。
看到有个 V2EX plus 插件,很多人都装了的,准备也安装来用用。插件功能不少,这个没错,有些方便的小功能。
进设置页面的时候,发现有个 vdaily 默认开启,比较有意思的是这句话“同时接受等量的爬取任务”。有点好奇接受任务这件事,于是看了看怎么回事。哦只要安装了插件,会不断地从服务器获取爬虫任务。
vdaily 作者的网站,有非常详细的请求统计和快速滚动的爬虫任务日志分析,想看的自己去看吧,都是公开的(在请求统计和日志那里)。这里有一堆截图,可以看看。
当然可以说作者做的一点毛病也没有,毕竟在插件设置内都写明了,开启 vdaily 会接受爬取的任务,至于爬取的数据,那就是 vdaily 的资产了对吧。分布式爬虫人家也没什么遮遮掩掩的,都是正大光明的,本篇帖子也没有有技术含量的分析。只是说我是不太喜欢这个 feature ,删了。提醒一下大家,不知道的或者是介意的,都知道知道。
图片合辑: https://imgur.com/a/shPfy8I













https://i.imgur.com/N4TK3FG.mp4
Supplement 1  ·  May 12, 2023
https://github.com/sciooga/v2ex-plus
还是开源的,想看的可以去看看,再补两张图
链接: https://imgur.com/a/SFkYcHZ


Supplement 2  ·  May 12, 2023
作者像是已经处理过了,数据统计控制面板,只有 60 万次请求了(只显示 4.23 的数据),之前显示 4.23-5.12 的总请求次数可是 1300 多万次的,想用的接着麻痹自己吧哈哈
这是之前截的图,有 4.23-5.12 最新的数据:

这是刚截的图,注意看右上角日期,只有 4 月 23 日一天的数据了
185 replies  •  2023-06-04 11:06:16 +08:00
1  2  
❮ ❯
tf2
tf2
May 12, 2023❤️1
1
这思路不错。。。
coolair
coolair
May 12, 2023❤️3
2
没用这个插件,用的“V2EX 增强”这个油猴脚本。
JaminT
JaminT
May 12, 2023❤️1
3
谢谢提醒 已关闭
xloger
xloger
May 12, 2023
4
在用,且知道。不过不知道这个是不是默认开启的
AoEiuV020JP
AoEiuV020JP
May 12, 2023❤️1
5
这种东西居然默认开启,恶心到了,删除+举报,
kamal
kamal
May 12, 2023
6
谢谢提醒,关掉这个功能了,不过插件其他功能还是挺不错的,目前还没找到替代,我就继续用不卸载了。
Greatshu
Greatshu
May 12, 2023
7
找到了 https://vdaily.huguotao.com/report.html
这个面板挺好看的,有没有大佬知道名字
Solix
Solix
May 12, 2023
8
恶心到了,自动更新就开启了
1120101929
1120101929
May 12, 2023❤️3
9
@Greatshu 看左下角,GoAccess
raycool
raycool
May 12, 2023
10
原来我也装了这个插件,谢谢, 已删除。
Drumming
Drumming
May 12, 2023
11
好思路....但是很恶心
Excepti0n
Excepti0n
May 12, 2023
12
谢谢提醒 已关闭
glaucus
glaucus
May 12, 2023
13
shinession
shinession
May 12, 2023
14
用的 V2 Polish, 没发现这个功能
fg990
fg990
May 12, 2023
15
谢谢,已经卸载了。

作者也要吃饭,能理解,但不喜欢。
hxzhouh1
hxzhouh1
May 12, 2023
16
感谢,已经卸载+举报
mht
mht
May 12, 2023
17
@Greatshu 好像是 goaccess 生成的模板
pota
pota
May 12, 2023
18
感谢 已卸载
HFX3389
HFX3389
May 12, 2023
19
@sciooga 呼唤作者
shyrock
shyrock
May 12, 2023
20
这个分布式爬虫是用于生成 vdaily 这个功能的数据吗?还是爬取其他用途的数据?

这个插件的作者似乎也在 v2 呢,要不出来领一下工单?
ZeroDu
ZeroDu
May 12, 2023❤️1
21
开启 vdaily 会造成 v2 帖子翻页报错或者 502 。还好我关了
pota
pota
May 12, 2023
22
之前看右侧底部突然出现最热还以为是 v2 更新了呢 一直没注意
blinue
blinue
May 12, 2023❤️9
23
这种东西只要搞一次就再也不能信任了
C47CH
C47CH
May 12, 2023❤️4
24
fengxianqi
fengxianqi
May 12, 2023
25
为什么图都裂了呀
shakoon
shakoon
May 12, 2023
26
这个功能我记得前段时间刚推出时弹出了提示的,用户可以选择是否关闭
azuginnen
azuginnen
May 12, 2023
27
@shakoon 这个我搜索了一下,貌似没找到之前有提示过被当成分布式爬虫。当然也有可能哪里漏了。

site:v2ex.com/t "v2ex plus" 爬虫
site:v2ex.com/t "v2ex plus" 爬取任务
Xianmua
Xianmua
OP
May 12, 2023❤️1
28
vdaily 爬虫功能刚推出时,‘最近查看过的主题’会出现没有看过的帖子记录。就不追加了,贴在这儿:
https://github.com/sciooga/v2ex-plus/issues/192
https://www.v2ex.com/t/919083?p=2#r_12827825
rb6221
rb6221
May 12, 2023
29
用的油猴脚本
karatsuba
karatsuba
May 12, 2023
30
感谢提醒,卸载了
Stoney
Stoney
May 12, 2023 via iPhone
31
爬的什么东西呢?爬下来会传到哪里?
noobMing
noobMing
May 12, 2023
32
怪不得我最近活跃度动不动就能到前一百,估计也是这个功能搞的鬼
wangnimabenma
wangnimabenma
May 12, 2023❤️1
33
删除+举报
bellx
bellx
May 12, 2023
34
感谢 已卸载
xloger
xloger
May 12, 2023
35
@ZeroDu #21 原来 502 是这个导致的啊......我还以为是我代理的问题
Xianmua
Xianmua
OP
May 12, 2023
36
看我最新附言,作者已经后台改动过了,和之前截图的数据展示的完全不一样,请求统计那里 不显示最新数据了
brust
brust
May 12, 2023
37
已经卸载
v2eb
v2eb
May 12, 2023
38
卸载了一批插件💁
liansishen
liansishen
May 12, 2023❤️2
39
在用 V2EX polish
HeyWeGo
HeyWeGo
May 12, 2023
40
开启这个后,最近访问就没了,所以我关了。
我自己弄了个显示最近主题的油猴脚本,需要的 v 友可以取了看看。

https://greasyfork.org/zh-CN/scripts/448472-v2%E6%96%B0%E5%B8%96%E6%8C%82%E4%BB%B6
Aloento
Aloento
May 12, 2023❤️1
41
你们啊,就喜欢把这些东西拿出来批判一番,到头来搞的自己也啥没得用了,卸载就卸载吧,还举报,作者做错了什么?
zyronon
zyronon
May 12, 2023❤️19
42
大家可以试试我开发的 油猴脚本: https://greasyfork.org/zh-CN/scripts/458024 ,目前已经有 2000 多的安装量,如果您未安装可以尝试一下,绝对不会让您失望

代码完全开源: https://github.com/zyronon/v2ex-script
zyronon
zyronon
May 12, 2023
43
才注意到仓库里没写脚本安装地址...
israinbow
israinbow
May 12, 2023❤️2
44
@Aloento #40 作者做错了没有弹窗提示必须同意 ToS 才能使用💋
liuidetmks
liuidetmks
May 12, 2023
45
我想知道,他是只能爬 v2ex.com 的数据,其他域名,qq ,zhihu 有权限爬吗? 不太懂扩展工作原理

看他好像只是做了个 v 站精选。算不上罪大恶极
estk
estk
May 12, 2023 via iPhone
46
据说 chrome 崩溃和 bug 很多也是插件造成的
my3157
my3157
May 12, 2023
47
早就关闭了, 不过没注意到还有爬虫

已卸载
zyronon
zyronon
May 12, 2023❤️2
48
@liuidetmks #45 事不太,问题是默认启用。今天敢 xx 明天就敢 xxx
Aloento
Aloento
May 12, 2023
49
@israinbow 哈?😓
shzbkzo
shzbkzo
May 12, 2023
50
感谢,已经卸载+举报
CloudnuY
CloudnuY
May 12, 2023
51
是这个插件造成我最近偶尔访问 v2 就报 403 吗……
GoRoad
GoRoad
May 12, 2023
52
作者在站内,出来说一句吧 @sciooga
my3157
my3157
May 12, 2023
53
换了 V2EX Polish

先用一段时间, 再看网络日志里面有没有乱七八糟的东西
wangnimabenma
wangnimabenma
May 12, 2023❤️15
54
@Aloento 这个观点是根据谷歌浏览器开发者政策中关于自动化程序、脚本或机器人的规定得出的。该政策指出,插件不得通过任何自动化程序、脚本或机器人访问网站或服务。这样的规定可以理解为禁止扩展插件进行爬虫或者数据采集行为,因为这些行为通常需要使用自动化程序或脚本。

具体可参考谷歌浏览器开发者政策中的以下内容(引用自 2021 年 9 月的政策版本):

"Your item may not promote or be capable of facilitating illegal activity, such as phishing, spam, invasions of privacy, identity theft, hacking, or cracking. Your item also may not engage in or facilitate the processing of payments for goods or services in a manner that is excessively aggressive, or that otherwise is in violation of applicable laws or industry regulations.

Your item must not violate any applicable laws or industry regulations regarding the content it accesses or the way in which it accesses such content (e.g. scraping). Your item also must not engage in activity that harms or interferes with any networks, equipment, or servers used by any website or service, or that is otherwise disruptive or abusive to such websites or services."

同时,谷歌浏览器开发者指南中也提到了相关的规定和限制,强调扩展插件不能进行违法或者欺诈等行为,也不得对用户进行欺骗或者误导,更不能通过扩展插件获取敏感信息或者隐私数据。

具体可参考谷歌浏览器开发者指南中的以下内容(引用自 2021 年 9 月的政策版本):

"Don't use your extension to deceive or confuse users, such as by using misleading or inaccurate representations in your extension's title, description, or icon. Your extension should not use any form of malicious activity to gain or access sensitive user data, such as passwords, email addresses, or other personal information."
Rache1
Rache1
May 12, 2023
55
@estk 前两天才遇到的,我在测试一个东西,跨域了,因为是请求第三方的网站,想着临时解决一下,就从 chrome 商店下载了个 CORS 解除的插件,用着还好好的。结果今天中午打开 B 站的时候,发现我的登录掉了,然后从新登录,发现获取验证码居然没有响应,打开控制台一看,满屏的 CORS 错误,还以为是 B 站出 BUG 了,好家伙案例来说,装了这个插件就可以不限制跨域的,结果他这一下反倒把别人支持跨域的搞的有问题,大致看了一下,他给原本支持跨域的接口的 allow origin 给改成了 * ,导致有用到 Cookie 的 allow Credentials 全部 G 掉,居然还有 40,000+ 用户

Cross Domain - CORS - Chrome 应用商店
https://chrome.google.com/webstore/detail/cross-domain-cors/mjhpgnbimicffchbodmgfnemoghjakai
kiko12324
kiko12324
May 12, 2023
56
谢谢,已删除更新其它脚本
slipkinem
slipkinem
May 12, 2023 via Android
57
@zyronon 电脑浏览器手机模式脚本不起作用么
zyronon
zyronon
May 12, 2023
58
@slipkinem #57 不起作用。手机模式网页结构不同,暂时还不支持手机模式
oldshensheep
oldshensheep
May 12, 2023❤️1
59
@Rache1 有没有想过是你不会用,默认的正则表达式.*是应用到全部域名上的……你改一下不就行了
Serif
Serif
May 12, 2023
60
感谢提醒
ZeroDu
ZeroDu
May 12, 2023
61
@zyronon #58 目前里面没有贴主高亮,查看对话的功能吧,这个还挺好用
gzlock
gzlock
May 12, 2023❤️4
62
我也开发过浏览器扩展,这种功能默认启用,超出了底线,删除+举报滥用
zyronon
zyronon
May 12, 2023
63
@ZeroDu #61 回复已经是楼中楼了,不再需要查看对话这种功能了。贴主有个 OP 的小标签,原站就有的功能,所以高亮就没啥必要了,
wolfie
wolfie
May 12, 2023
64
@zyronon
试用了一下,当前主题渲染不出来。😂😂
随便打开几个 其他主题 没事。
wolfie
wolfie
May 12, 2023
65
@zyronon
回复本主题后,又能渲染了。
herozzm
herozzm
May 12, 2023
66
这种功能是作恶,已经不是简单的一个功能,爬虫会显著导致用户网速变慢
想起一个免费网游加速器,它直接不提醒,偷偷的跑分布式爬虫
sechi
sechi
May 12, 2023
67
已经在谷歌插件商店举报了。没有主动告知用户就进行爬虫纯属恶心人,已经触碰到底线了吧
Livid
Livid
MOD
PRO
May 12, 2023❤️24
68
而且,这样的功能:

1. 会显著增加 V2EX 的服务器负担
2. 增加用户遇到 403 rate limit 的概率,最后是我们会经常收到这样的用户询问:为什么又把我的 IP 403 了?

哎……
storyxc
storyxc
May 12, 2023❤️1
69
之前还在作者的帖子下面提过 issue ,因为这个 vdaily 功能会导致最近查看的主题异常,当时还真没往爬虫这方面想,而且感觉这个功能很鸡肋,反而污染版面,后面就把这个功能关了。不知道作者采集这些数据有什么用,单纯的搞个看板自嗨? 如果默认关闭&开启的时候提醒倒也算了,直接默认启用这功能性质是挺恶劣的。
lchkid
lchkid
May 12, 2023
70
@zyronon #42 脚本不错,就是样式没有 polish 好看(审美很主观,不用管我
ljsh093
ljsh093
May 12, 2023
71
@Livid #68 为什么又把我的 IP 403 了?哈哈哈
0914xc
0914xc
May 12, 2023
72
哈哈,找了半天设置,最后才发现,我用的 V2EX Polish
wonderfulcxm
wonderfulcxm
May 12, 2023 via iPhone
73
@wangnimabenma 那插件自动签到功能也是违规的了?
Rache1
Rache1
May 12, 2023
74
@oldshensheep 我知道你的意思,但是我想说,这种情况,在修改 response header 的时候,显然是可以判断一下,在 allow Credentials 的时候,allow origin 是不允许为 * 的,改为当前的 origin 就行了,而且直接修改 allow origin 为当前 origin 明显是更合适的情况,而不是简单的替换为 *

这种是很常见的情况,而且当我在使用这类插件的时候,自然是希望他默认情况下全局就可以用的
ClericPy
ClericPy
May 12, 2023
75
谢谢提醒, 已提前一年卸载...
garipan
garipan
May 12, 2023
76
谢谢提醒,这个确实不太地道。哪怕弹个提醒呢,应该提前说明白。
icy37785
icy37785
May 12, 2023 via iPhone❤️1
77
@Aloento #49 没有明确告知就默认开启甚至是违法行为。你竟然还在问作者做错了什么?
vtoexname
vtoexname
May 12, 2023 via iPhone
78
firefox 上好像没有这个选项。
supertan
supertan
May 12, 2023
79
@lchkid #70 polish 配色看着就不舒服
locoz
locoz
May 12, 2023
80
默认开启属实是...卸载了
BridgeCham
BridgeCham
May 12, 2023
81
安装了用着还不错,但是默认开启爬虫未告知不太能接受。安装了 24 楼的超级增强脚本也不错。
ravecn2014
ravecn2014
May 12, 2023
82
卸载了
echo1937
echo1937
May 12, 2023
83
真难受,最近 v2 浏览经常报错,我还以为是梯子的问题,凎。
jsion
jsion
May 12, 2023
84
看图全裂开,都是报的 403 ,不知道是不是这个问题把我 ip 给干了
Caan07
Caan07
May 12, 2023
85
开发者要吃饭我体谅。但这样的操作真的是......

应该很多人举报了,已卸载。
jsion
jsion
May 12, 2023❤️1
86
@jsion 打错了 429,imgur 估计把我的节点当爬虫服务器封禁了,一直看到不图,换了之后就好了
MXMIS
MXMIS
May 12, 2023
87
感谢提醒,已卸载
MXMIS
MXMIS
May 12, 2023
88
@lchkid #70 可以加一个自定义 CSS
ttyhtg
ttyhtg
May 12, 2023
89
我没装
723X
723X
May 12, 2023 via Android
90
@Livid #68 又是你背锅...

一点建议,可以考虑在`站务反馈板块`增加类似说明:

在发表主题前请确认你已禁用你浏览器上有关 V2EX 的插件和脚本

从而尽量排除站点本身的问题,减小维护工作量。目前帖子翻页报 502 、最近查看主题无故多出没看过的主题等问题似乎都是这个插件导致的...
daiv
daiv
May 12, 2023
91
@0914xc V2EX Polish 的确不错
x86
x86
May 12, 2023
92
前些天 403 还以为是机场的问题,切了个节点又好了
dasbn
dasbn
May 12, 2023❤️2
93
作者我以为是多年的程序员,原来是多年公司的老板了,如果早知道是这么个背景,就不敢去安装这个应用,除非万不得已。
kylix
kylix
May 12, 2023
94
当初吹的挺厉害的。。。 还好当初留了个心眼,没有马上安装~~哎
XiaoBaiYa
XiaoBaiYa
May 12, 2023
95
用了好久,已拉黑
chirsgod
chirsgod
May 13, 2023❤️4
96
目前改用 V2EX Polish 这个插件了,感觉挺好用的
humpy
humpy
May 13, 2023 via iPhone❤️24
97
@Livid 有没有想过为什么这么多用户要装这个插件
stephen2009
stephen2009
May 13, 2023 via Android
98
谢谢,已卸载
Ericcccccccc
Ericcccccccc
May 13, 2023❤️3
99
@Livid 官方逼死同人呀, 实现一下脚本里的功能. 就和早年贴吧需要各种第三方管理扩展一样, 还是贴吧官方功能太缺了.
xabcstack
xabcstack
May 13, 2023
100
@Livid 请求解封账号 @ywgx 纯属你误删..
1  2  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1721 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 158ms · UTC 12:05 · PVG 20:05 · LAX 04:05 · JFK 07:05
♥ Do have faith in what you're doing.