推荐学习书目
› Learn Python the Hard Way
Python Sites
› PyPI - Python Package Index
› http://diveintopython.org/toc/index.html
› Pocoo
值得关注的项目
› PyPy
› Celery
› Jinja2
› Read the Docs
› gevent
› pyenv
› virtualenv
› Stackless Python
› Beautiful Soup
› 结巴中文分词
› Green Unicorn
› Sentry
› Shovel
› Pyflakes
› pytest
Python 编程
› pep8 Checker
Styles
› PEP 8
› Google Python Style Guide
› Code Style from The Hitchhiker's Guide
huadaonan
V2EX  ›  Python

想找个爬虫高手学习下

  •  
  •   huadaonan · Jan 16, 2020 · 7618 views
    This topic created in 2482 days ago, the information mentioned may be changed or developed.
    主要目标是想学会爬 amazon,fb,淘宝,微博等大站,我觉得这几个站能搞定基本覆盖爬虫大部分知识了。
    有大神或者培训机构推荐吗。多谢 qq 805709000
    35 replies  •  2020-01-19 13:31:27 +08:00
    1992w
    1992w
    Jan 16, 2020
    1
    直接爬,遇到问题就解决问题。
    huadaonan
    huadaonan
    OP
    Jan 16, 2020
    2
    直接卡到 用 selenium + 代理模式也爬几条就封掉了 就没什么好办法了
    linbingqinag
    linbingqinag
    Jan 16, 2020 via Android
    3
    GitHub 上可以看看,有很多实现
    murmur
    murmur
    Jan 16, 2020
    4
    爬虫都是小事,反扒那是个人吃饭的东西别人怎么会给你,一个淘宝就是顶级难度了还加了个等。。
    huadaonan
    huadaonan
    OP
    Jan 16, 2020
    5
    嗯 加一条 可以付费的
    ccoming
    ccoming
    Jan 16, 2020
    6
    我觉得爬完淘宝,其他都不是事儿。
    虽然我是瞎说的,哈哈哈。
    jdgui
    jdgui
    Jan 16, 2020
    7
    爬虫高手你估计得在监狱里面找
    matepi
    matepi
    Jan 16, 2020 via iPhone
    8
    有好的成套解决方案的,早就按服务 /次数 /条数收费了
    拿可收费的吃饭工具出来卖的,说明问题还不少,要么就是直接吃饭风险太大,只卖个工具风险分散点
    mmqc
    mmqc
    Jan 16, 2020
    9
    爬虫写得好,牢饭吃到老
    shimengren
    shimengren
    Jan 16, 2020
    10
    借楼,有没有 python 学习群呀,想加入学习下哈哈
    ClericPy
    ClericPy
    Jan 16, 2020
    11
    0. 想学爬虫, 爬淘宝吧
    1. 反爬太猛了, 好像 App 能爬
    2. 呀, 不是明文 HTTP 的
    3. 反编译看看 Java 源码
    4. 威武威武威武威武.....
    sprit
    sprit
    Jan 16, 2020
    12
    坐牢的那种
    linglongll
    linglongll
    Jan 16, 2020
    13
    最近在拿 puppeteer 爬一点 ins 的图 发现这种模拟浏览器的模式很棒 不知道 tb 对这个反爬做了什么拦截么 没动过 也不敢动。。。
    Tn5ohB1Yecdk3qCK
    Tn5ohB1Yecdk3qCK
    Jan 16, 2020
    14
    高手在牢里呢
    zdnyp
    zdnyp
    Jan 16, 2020
    15
    爬虫要学的太多了,培训班教的都是基础,找本书入门都比培训班强...
    fancy111
    fancy111
    Jan 16, 2020
    16
    淘宝做得不错,主要是价格难爬。
    目前只找到两种方法。
    kevinmissu
    kevinmissu
    Jan 16, 2020
    17
    建议你先开始爬淘宝 然后你会发现 我特么是脑袋抽风要来学爬虫?劝退利器
    tomczhen
    tomczhen
    Jan 16, 2020 via Android
    18
    正常用户浏览淘宝速度快点都能触发反爬,说简单的自己有没有实践过爬多点商品的?
    ShundL
    ShundL
    Jan 16, 2020
    19
    牢里 爬虫、外挂,攻击都就学会了
    liuxu
    liuxu
    Jan 16, 2020
    20
    淘宝正常浏览宝贝都能触发验证码,还是无限那种
    scyangjian
    scyangjian
    Jan 16, 2020
    21
    17L+1
    淘宝太凶残了
    yumenlong
    yumenlong
    Jan 16, 2020
    22
    我在爬淘宝,来吧,只有 app 一条路。
    ShroudNix
    ShroudNix
    Jan 16, 2020
    23
    面向监狱编程🐴
    Vhc001
    Vhc001
    Jan 16, 2020
    24
    1、从未爬过淘宝。
    2、正常淘宝购物都被识别为爬虫的我迫不得已只能注册了京东账号。
    3、京东电脑网页版登陆,验证码滑块划了十分钟几百次还是验证不通过,被迫下载京东 app 扫码才能登陆。

    我太难了
    XavierXJ
    XavierXJ
    Jan 16, 2020 via iPhone
    25
    这样一种思路:让软件模拟鼠标点击,截图桌面分析文字和图片,想要多线程的话,浏览器多开,开虚拟机
    no1xsyzy
    no1xsyzy
    Jan 16, 2020
    26
    @XavierXJ 最后三个分句铁定没了
    分析鼠标路径已经是至少 5 年前的技术了,鼠标疯狂瞬移直接拜拜
    Eugene1024
    Eugene1024
    Jan 16, 2020
    27
    随便学下法律
    explorerEX
    explorerEX
    Jan 16, 2020
    28
    @fancy111 哪两种方法 能提示下吗
    wersonliu9527
    wersonliu9527
    Jan 17, 2020
    29
    如果数据量不是太多,几个月前用过一种方法爬淘宝. 命令行开启一个 谷歌浏览器指定端口,再登录个小号,然后 selenium 去对接这个端口可以爬几十页.不知道现在还行不行0.0
    Mavious
    Mavious
    Jan 17, 2020
    30
    咸鱼(搭配手机浏览器)和淘宝 PC 端,人肉浏览都经常蹦滑动验证码,用鼠标去滑老是失败(我明明滑到底了)。
    你看正常用户都经常失败,那爬虫的难度真是不可想象……
    RSDTE
    RSDTE
    Jan 17, 2020
    31
    爬了淘宝, 能下单的那种.. .
    Iamnotfish
    Iamnotfish
    Jan 18, 2020❤️1
    32
    降低点难度,先从微博开始爬。现成可用的代码也很多,推荐一个项目 weibospider
    FaceBug
    FaceBug
    Jan 18, 2020
    33
    哈哈哈,你来我这干活啊,靠抓 amz、fb、aliexpress、ebay……吃饭的公司
    huadaonan
    huadaonan
    OP
    Jan 19, 2020
    34
    @cepczkd 可以啊。我是自带专家级别 dba 技能
    huadaonan
    huadaonan
    OP
    Jan 19, 2020
    35
    多谢大家踊跃出谋划策,我会阶段性汇报学爬虫的进展。我觉得可能还是做专项分析靠谱,针对问题找大家咨询。群策群力还是好
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1266 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 96ms · UTC 21:10 · PVG 05:10 · LAX 13:10 · JFK 16:10
    ♥ Do have faith in what you're doing.