Cabana
5.01D

新人写博客,前天刚把删除功能做出来,今天一看被 google 爬虫全删掉了

  Cabana · Jan 22, 2017 · 34253 views
This topic created in 3572 days ago, the information mentioned may be changed or developed.
还以为是谁发现我的地址了,恶作剧给删了呢,一看 nginx 日志才发现
![]( )
应为正在搭也没人知道,就暂时没有做登陆权限什么的,结果被 Google 坑了一把,还好大多都是测试数据只有几篇自己写的。
202 replies  •  2017-09-14 10:29:35 +08:00
1  2  3  
❮ ❯
haozibi
haozibi
Jan 22, 2017 via Android
101
翻页,
haozibi
haozibi
Jan 22, 2017 via Android
102
翻页喽
solu
solu
Jan 22, 2017
103
本来埋头苦干了一天很郁闷,感谢楼主发帖
Magician
Magician
Jan 22, 2017 via iPhone
104
谷歌 怪我咯……
techmoe
techmoe
Jan 22, 2017 via Android
105
笑哭了
Twinkle
Twinkle
Jan 22, 2017
106
萌
nodin
nodin
Jan 22, 2017 via iPhone❤️1
107
这就是阅后即焚?
mritd
mritd
Jan 22, 2017 via iPhone
108
笑喷了 哈哈哈
Cabana
Cabana
OP
Jan 22, 2017 via Android
109
@v2exhehehehe 嗯嗯,的确半路出家😅
learnshare
learnshare
Jan 22, 2017
110
GET 应该做幂等操作,删除就用 DELETE 方法,而且无论如何也要做权限限制的
Cabana
Cabana
OP
Jan 22, 2017 via Android
111
@lzsadam 大都是生成的无用数据,自己写的几篇也大都是测试而已…
lazypu
lazypu
Jan 22, 2017
112
SEO 做得不错啊
xiaolanglang
xiaolanglang
Jan 22, 2017❤️1
113
用 GET 请求处理删除操作,就算做了鉴权,爬虫是不能操作成功了,但是浏览器的预读功能依然可以啊~
int64ago
int64ago
Jan 22, 2017
114
笑得流汗 233
nikoo
nikoo
Jan 22, 2017
115
建议楼主起诉 google !

这叫什么不做恶?!
TKKONE
TKKONE
PRO
Jan 22, 2017
116
哈???你的 delete 为什么没有进行权限设置?任何人都可以删的话,那就不能怪谷歌了
awolfly9
awolfly9
Jan 22, 2017
117
谷歌开发人员开始怀疑人生了
ik
ik
Jan 22, 2017 via iPhone
118
哈哈哈 我终于动了 get post 的区别了
why1
why1
Jan 22, 2017
119
要求立即停止自动驾驶汽车研发
hljjhb
hljjhb
Jan 22, 2017
120
真的笑,笑出声
gongjianwei
gongjianwei
Jan 22, 2017 via Android
121
其实我觉得你太可爱了 XD
ELLIA
ELLIA
Jan 22, 2017
122
@bao3 你这么说好像没毛病, 23333
Ellison
Ellison
Jan 22, 2017
123
哈哈哈哈,年前就靠楼主的笑话了
illuz
illuz
Jan 22, 2017❤️1
124
为何一句「爬虫也是一脸懵逼,爬完后之前的 404 了。。。」能获得这么多感谢,这话很对你们来说很有帮助吗?
某乎既视感。
Vicia
Vicia
Jan 22, 2017 via iPhone❤️2
125
@illuz 看完这句话开心大笑,一扫一天的疲惫和不愉快,不算是一种帮助么?
SPACELAN
SPACELAN
Jan 22, 2017
126
@dong3580 哈哈哈 我 outlook 也是,一直以为是验证服务器的问题
MrWii
MrWii
Jan 22, 2017
127
哈哈,指着这个段子过年了
caomu
caomu
Jan 22, 2017 via Android❤️7
128
爬虫:我可能爬的是假的网站
leotso
leotso
Jan 22, 2017
129
Google: 怪我咯? hhhhh
pljhonglu
pljhonglu
Jan 22, 2017
130
哈哈哈,妥妥的年度最佳~
cai314494687
cai314494687
Jan 22, 2017
131
直接 GET 就能删除?你写的程序也是牛逼。

你先搞清楚什么情况下用 GET 什么情况下该用 POST 吧
lanjz
lanjz
Jan 22, 2017
132
......笑 cry..
chilaoqi
chilaoqi
Jan 22, 2017
133
论 HTTP method 的重要性, Get 大法好啊
ayang23
ayang23
Jan 22, 2017
134
我是来看回复的
RobertYang
RobertYang
Jan 22, 2017 via Android
135
谷歌 bot:怪我咯,我说怎么怕完了就是 404 了
itfanr
itfanr
Jan 22, 2017 via Android❤️3
136
我想起之前同事写的代码 make clean 。把代码也 clean 了…
elvba
elvba
Jan 22, 2017
137
今日最佳,留名
seashell
seashell
Jan 22, 2017
138
@dong3580 联通的这个鉴权逻辑有点诡异啊,只是打开邮件,又没有点击链接。
smallpath
smallpath
Jan 22, 2017
139
哈哈哈哈哈哈哈
xiongbiao
xiongbiao
Jan 22, 2017
140
这个厉害了 哈哈
CrispElite
CrispElite
Jan 22, 2017
141
哈哈野路子
mN71eOOprFyMsnPx
mN71eOOprFyMsnPx
Jan 22, 2017
142
笑得听不下来。
楼主,摸摸头
muteZephyr
muteZephyr
Jan 22, 2017
143
厉害了 word 哥
lc4t
lc4t
Jan 22, 2017
144
不行了先去笑一会。

楼主记得这种东西要设好权限啊 233333
xjp
xjp
Jan 23, 2017 via iPhone
145
哈哈哈哈哈 最佳最佳
fangxing204
fangxing204
Jan 23, 2017 via Android
146
哈哈
Immortal
Immortal
Jan 23, 2017
147
善意的笑了
jarlyyn
jarlyyn
Jan 23, 2017❤️1
148
1.如果你在用 Google 浏览器,你的测试链接也会上传到 google 爬虫。所以我的测试服务器有专门设置。

2.如果权限系统没做好,可以先用 basic auth 。如果程序中不知道怎么用前台的 nginx/apache 也可以设置。

3.某种角度来说,这类似于 crsf 攻击。就算权限系统做好了,这样依然会有问题。
Zohar
Zohar
Jan 23, 2017 via Android
149
@kn007 大半夜笑出声😂
Tyanboot
Tyanboot
Jan 23, 2017 via Android
150
@itfanr 这个就厉害了。
seeker
seeker
Jan 23, 2017
151
谢谢分享。
谁都有萌新的时候。
steveshi
steveshi
Jan 23, 2017 via iPhone
152
居然笑醒了
dong3580
dong3580
Jan 23, 2017 via Android
153
@SPACELAN
@seashell
你说这开发的有多🐷,邮件服务器肯定会扫描你的邮件的, outlook 是不是应该扫了它链接呗。
Cbdy
Cbdy
Jan 23, 2017 via Android
154
起码加个 HTTP BASIC 。。。
xiaodongus
xiaodongus
Jan 23, 2017 via iPhone
155
哈哈哈哈哈哈哈哈,爬虫也是一脸懵逼
jy02201949
jy02201949
Jan 23, 2017
156
总是有人想着怎么防爬虫,楼主另类的思路带领我们开辟了一条新的道路
skylancer
skylancer
Jan 23, 2017 via Android
157
一大早看到这么欢乐的事... 哈哈哈
imnpc
imnpc
Jan 23, 2017
158
花式反 bot
ytmsdy
ytmsdy
Jan 23, 2017
159
哈哈哈哈,让我先笑一会。。
cougar
cougar
Jan 23, 2017
160
有才
rashawn
rashawn
Jan 23, 2017 via iPhone
161
厉害了……
cat9life
cat9life
Jan 23, 2017
162
哇咔咔 LZ 太有趣了...
simo
simo
Jan 23, 2017
163
事故是最好的老师,长点心吧
polun
polun
Jan 23, 2017
164
谢谢(*^_^*)
ybh37
ybh37
Jan 23, 2017
165
大过年的,出来讲笑话的吧?
simonjinyuliu
simonjinyuliu
Jan 23, 2017
166
GET /delete ... 一股莫名的喜感
wbt
wbt
Jan 23, 2017
167
😁 😁 😁
hjxx
hjxx
Jan 23, 2017
168
想起以前跑数据库迁移脚本 get 请求某个地址 执行歉意的相关代码 结果每次都发现被执行了 2-3 次 后面才发现是万恶的 chrome 预加载 默默的换了 curl / wget
erenno1
erenno1
Jan 23, 2017
169
哈哈哈
yivanus
yivanus
Jan 23, 2017
170
年终奖没有中奖,全靠这个乐一下了。谢谢楼主。
pwcong
pwcong
Jan 23, 2017
171
真感谢你们把生活过成了段子,笑死我
code4life
code4life
Jan 23, 2017
172
@1OF7G

感谢指路!
wintercoder
wintercoder
Jan 23, 2017
173
火钳刘明
zhouyg
zhouyg
Jan 23, 2017
174
已加入 GET vs POST 大全
cst4you
cst4you
Jan 23, 2017
175
今日最佳
panlilu
panlilu
Jan 23, 2017
176
有点厉害,最近有点郁闷这笑话把我乐醒了
styang
styang
Jan 23, 2017
177
今日最佳
shyrock
shyrock
Jan 23, 2017
178
只有聪明的谷歌 GET 到了你的 idea 。。。
jadecoder
jadecoder
Jan 23, 2017
179
笑 2333 ,下次讲 RESTful 又有例子了
mlhorizon
mlhorizon
Jan 23, 2017
180
自毁式反爬虫策略,赞一个,再摸摸头。
argsno
argsno
Jan 23, 2017
181
我的锅咯~~~~~~~~~
wly19960911
wly19960911
Jan 23, 2017
182
其实可以当爬虫经过的时候把某个页面给隐藏掉直接返回 404 ,使用类似于 lz 这样拿一个瞄链接等爬虫爬,然后过一段时间再恢复应该可以吧。
MXA
MXA
Jan 23, 2017
183
@mritd hi , nice too meet U
Jackeriss
Jackeriss
Jan 23, 2017
184
19 杀!全场最佳: Google
DualWield
DualWield
Jan 23, 2017
185
22333333 今日最佳
cherrypi
cherrypi
Jan 23, 2017 via iPhone
186
身经百战的爬虫也是懵逼了!
loddit
loddit
Jan 23, 2017
187
@jarlyyn 「 1. 如果你在用 Google 浏览器,你的测试链接也会上传到 google 爬虫」这个有确定的证据吗?
jarlyyn
jarlyyn
Jan 23, 2017
188
@loddit

经验和网上的链接

比如


https://news.ycombinator.com/item?id=3034288



另外, baidu 统计也会提交到百度的搜索引擎。
l2003529
l2003529
Jan 23, 2017 via iPad
189
笑出声哈哈😂
run2
run2
Jan 23, 2017
190
耿直 boy
Google Bot 说给我钱,然后他就给了 0 , 0
tianice
tianice
Jan 23, 2017
191
今日最佳
codeyung
codeyung
Jan 23, 2017
192
偷笑 - -
daysv
daysv
Jan 24, 2017
193
笑死我了...... 还能这样做的
ZhLTE
ZhLTE
Jan 24, 2017
194
@xmumiffy 哈哈哈哈哈哈哈
overlords
overlords
Jan 24, 2017 via iPhone
195
第一次知道被蜘蛛删了
r00tt
r00tt
Jan 25, 2017
196
楼主好萌,看笑了
Vicer
Vicer
Jan 29, 2017 via Android
197
有故事,才会成长
pacino
pacino
Feb 12, 2017
198
厉害了
xiaorun
xiaorun
Feb 14, 2017
199
robots.txt
henneko
henneko
Feb 16, 2017 via Android
200
我感觉 LZ 发明了新的开车技巧
1  2  3  
❮ ❯
About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2627 Online   Highest 6679   ·     Select Language
创意工作者们的社区
World is powered by solitude
VERSION: 3.9.8.5 · 202ms · UTC 15:04 · PVG 23:04 · LAX 07:04 · JFK 10:04
♥ Do have faith in what you're doing.