需求： 根据商品 sku 获取商品的 一些属性和评论
目前： 使用 python 的 selenium 模拟登录，然后通过 request 请求重定向，xpath 分析数据
问题： 每一次 request 后睡眠 1s,但是发送 20 次后就会出现休息一下的界面，即使手动划过去也不行， 有没有什么好的办法？或者其他的方法？
推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
This topic created in 2075 days ago, the information mentioned may be changed or developed.
 |
1
网页版正常浏览都很困难，你还想爬它
|
47 |
wangxinpierFeb 27, 2021
2
随机休息时间
|
 |
uiuyFeb 27, 2021 via Android
3
抓 app 吧，web 人工都难用
|
 |
murmurFeb 27, 2021
4
你这速度就是比正常人快啊，1 秒看一页是不是以为淘宝的风控是傻子
|
 |
loveFeb 27, 2021
5
我看不行，我正常浏览只要超几分钟都会出现，且划不过去，那个验证就是个摆设，划了没有一点鸟用
|
 |
6
某宝以至阿里系的反爬都是出了名的恶心，如果脸黑的话，连用 app 都会被强制休息一下
|
 |
lawlerFeb 27, 2021
7
x 宝采集一定要做分布式，刷新间隔 60s 以上。
|
 |
SmashFeb 27, 2021
8
我正常刷网页都要弹，你还想爬？？
|
 |
westoyFeb 27, 2021
9
|
 |
imgbedFeb 27, 2021 via Android
10
换 ip 了吗
|
 |
OHynFeb 27, 2021
11
正常使用都困难的东西。。。
|
 |
DvelFeb 27, 2021
12
Web 上高德地图也老弹这个。。。
|
 |
wqzjk393Feb 27, 2021 via iPhone
13
模拟点击吧
|
 |
alexbigbigworldFeb 27, 2021 via iPhone
14
我自己店铺是在应用市场买的接口做的退货管理之类，你要是采集别人的话估计不好弄，彩多了直接给你 404
|
 |
systemcallFeb 27, 2021
15
没救了的东西，你正常浏览，只要不下单，要不了半个小时就会卡弹窗，没办法跳过的那种
感觉是只要看了 20 个商品左右就会开始弹，谁让你只看不买的？ |
 |
dbowFeb 27, 2021
16
淘宝风控非常严格，我以前买东西搜索一下都会让拖滑块，现在不上淘宝了， 基本在京东买。
|
 |
seven2fFeb 27, 2021
17
正常搞快了都休息，你还机器人爬。。。分布式吧
|
 |
yaoye555Feb 27, 2021
18
淘宝 web 就不是给人用的玩意
|
 |
yaapooFeb 27, 2021
19
time.sleep()
|
 |
annielongFeb 27, 2021
20
正常访问都弹窗
|
 |
ThymolblueFeb 27, 2021
21
想请教一下使用 selenium chrome drive 有没有什么办法在后台输入 hotkeys 而不受桌面窗口影响
|
 |
applehaterFeb 27, 2021 via Android
22
小新破坏计算机信息的名头
|
 |
linuxcatFeb 27, 2021
23
tb 连正常访问都拦，更别说爬虫了
|
 |
zictosFeb 27, 2021
24
动态 ip vps + 切换 UA + 切换浏览器指纹 + 隐身模式或者清除浏览器缓存和 cookies
|
 |
lmmortalFeb 27, 2021 via iPhone
25
|
 |
westerndreamFeb 27, 2021
26
正常浏览都出现休息一下怎么解决
|
 |
thursdayFeb 27, 2021
27
@alexbigbigworld 你用的是哪个 应用了。我也有类似需求
|
 |
28
正常浏览在上面找东西都会弹出验证滑块，还别说你搞爬虫。
垃圾网站早晚要挂。 |
 |
meinjoyFeb 27, 2021 via iPhone
29
@alexbigbigworld 请问在哪能卖？
|
|
alexbigbigworldFeb 27, 2021 via iPhone
30
@meinjoy 服务市场里找集市宝
|
 |
muzuigetFeb 28, 2021
31
正常浏览都会弹，有时候货比三家确实会频繁刷新同一页，都会弹，垃圾。
|
 |
zckevinFeb 28, 2021
32
|
|
zictosFeb 28, 2021
36
@iscurry #35 动态 vps 可以通过通过程序自动切换系统 ip 的，windows 系统可以通过 cmd 命令（ python 通过 os.system()调用）。系统 ip 变了，selenium 自然也变 ip 了。可以在 python 中每隔指定时间切换一下 ip，
|
 |
rf99wSiT6IxH1Z23Feb 28, 2021
37
web 的反爬太厉害了，可以考虑下 app 的吧😂
|
 |
inwarFeb 28, 2021 via Android
38
人用都几次弹一次窗。。
|
 |
newmlpFeb 28, 2021
39
正常人谁会准时 1S 刷一次这么准，淘宝风控又不是傻逼
|
 |
Rache1Feb 28, 2021
40
我觉得淘宝最狗的就是，不登录都不能搜索。。。
|
 |
LemengFeb 28, 2021
41
淘宝以前被爬的太多了吧，有时候正常看都会出来，不知道怎么个算法
不过加点时间，总不会错。相对会少点 |
 |
RiESAFeb 28, 2021
42
收购阿里
|
 |
z5e56Feb 28, 2021
47
淘宝的员工满意地笑了并关闭了本标签页
|
|
uiuyMar 4, 2021
49
@iscurry 我见到的是破解 app 端特定参数，例如 https://github.com/xzh0723/Taobao，然后使用代理 ip 等方式搞的
|
Select Language