在注册之初就选择了不允许搜索引擎索引我的主题这一选项 但是在前几天发现我的主题还是被搜索到了 这到底是怎么回事? 百度用的什么爬虫就这么厉害? 麻烦管理员处理一下,删了被搜索到的主题帖子 实在不喜欢这种明明是社区分享却要被强制放到社区外去
• 请不要在回答技术问题时复制粘贴 AI 生成的内容
This topic created in 3295 days ago, the information mentioned may be changed or developed.
 |
ysc3839Oct 28, 2017 via Android
1
什么网站？在哪选择的？
|
 |
ryd994Oct 28, 2017 via Android
2
这个选项只是设置了 nofollow
实际上爬虫还是可以看见，只不过守规矩的爬虫会自觉回避 你觉得百度的爬虫是个守规矩的么？ 理论上检测爬虫 ua 可以识别，然而 ua 也是一个靠自觉的属性 只要这个信息可公开查阅，随你怎么反爬，总还是有办法，毕竟你不能影响普通用户浏览 |
 |
580a388da131Oct 28, 2017
5
百度的文档说，meta 标签 禁止搜索引擎跟踪网页的链接，而只对网页建索引
貌似只是对页面里的链接有效，页面本身还是会收录。 |
 |
U7Q5tLAex2FI0o0gOct 28, 2017
6
如同 2 楼说的，你的这个主题的页面是有 <meta name="robots" content="noindex, nofollow" /> 的
|
 |
lslqtzOct 28, 2017
7
 |
|
580a388da131Oct 28, 2017
9
@ysc3839 设置 右侧 隐私设置
|
1 |
zhx1991Oct 29, 2017
11
这个选项靠搜索引擎自觉
|
Select Language