爱意满满的作品展示区。
laoyuan

野生程序员斗鱼直播写爬虫,抓双十一秒杀商品

  •  
  •   laoyuan ·
    laoyuan · Nov 6, 2016 · 7949 views
    This topic created in 3652 days ago, the information mentioned may be changed or developed.
    爬虫写好了再写个网站把商品列表挂出来,今年准备全部开源。
    直播地址 http://www.douyu.com/laoyuan
    项目地址 https://github.com/laoyuan/wanggoumiji
    Supplement 1  ·  Nov 12, 2016
    秒杀已开帖 /t/319731
    32 replies  •  2016-11-11 09:03:32 +08:00
    yidinghe
    yidinghe
    PRO
    Nov 6, 2016 via Android
    1
    666666
    Joan
    Joan
    Nov 6, 2016
    2
    666666
    laoyuan
    laoyuan
    OP
    Nov 6, 2016
    3
    第一次提交代码,是去年写的爬虫
    https://github.com/laoyuan/wanggoumiji
    laoyuan
    laoyuan
    OP
    Nov 6, 2016
    4
    已经发现了一种模式,会场页
    <div class="J_tabs 前一个 <textarea class="J_dynamic_data" 里面就是秒杀商品数据

    例: https://pages.tmall.com/wow/act/16495/industry_1179
    laoyuan
    laoyuan
    OP
    Nov 6, 2016
    5
    又发现一种模式
    data-mod-name="mui/zebra-act-ms-240x240/index-pc" data-config="

    例: https://pages.tmall.com/wow/act/16495/industry_309
    qcloud
    qcloud
    Nov 6, 2016
    6
    正在看直播, 2333 ,找半天找不到你这个帖子,刚才看你发帖子,本想你刚发,我就来评论的,结果到现在才找到这个帖子。
    m939594960
    m939594960
    Nov 6, 2016
    7
    去年就看你直播来着
    a570295535
    a570295535
    Nov 6, 2016
    8
    太卡了,虽然我看不懂,但我鱼丸 19345
    laoyuan
    laoyuan
    OP
    Nov 6, 2016
    9
    @a570295535 好像无线路由器有点问题,我再买个新的。好在今年写的开源了,想用的可以直接看代码。

    今天就播到这里了,明天把 pyspider 部署到生产环境开始跑,然后写个网站把抓到的秒杀商品列出来方便大家看。
    Dirlllee
    Dirlllee
    Nov 7, 2016 via iPhone
    10
    用哪些工具
    la0wei
    la0wei
    Nov 7, 2016
    11
    错过直播了怎末办
    laoyuan
    laoyuan
    OP
    Nov 7, 2016
    12
    @la0wei 有代码啊,我再提交下
    twc731
    twc731
    Nov 8, 2016
    13
    错过了
    twc731
    twc731
    Nov 8, 2016
    14
    希望大神以后可以录一份录像,能学习一下
    laoyuan
    laoyuan
    OP
    Nov 8, 2016
    15
    有代码看啥录像啊。爬虫跑了一晚上数据是这样的:
    双十一总共 400 个会场页面,涉及 5700 家店、 12000 件商品,其中秒杀商品大概有 500 到 1000 件,我打算直接跑商品页面来识别秒杀,不在会场识别模式了。
    RobertYang
    RobertYang
    Nov 8, 2016 via Android
    16
    无话可说只有 6666
    Vizogood
    Vizogood
    Nov 9, 2016 via Android
    17
    我只能送你 6666 辛亏没去阿里 233
    ixinshang
    ixinshang
    Nov 10, 2016
    18
    牛逼
    kang000feng
    kang000feng
    Nov 10, 2016
    19
    @laoyuan 大神, 网站写好了吗, 期待商品列表挂出来,谢谢!
    laoyuan
    laoyuan
    OP
    Nov 10, 2016
    20
    @kang000feng 看看今天能挂出来吧,就一个列表页面应该可以
    mclxly
    mclxly
    Nov 10, 2016
    21
    坐等列表页面
    freep2p
    freep2p
    Nov 10, 2016
    22
    去年用楼主提供的商品列表 秒了好几样。
    whatufo
    whatufo
    Nov 10, 2016
    23
    坐等列表页面
    guinguo
    guinguo
    Nov 10, 2016
    24
    去年在 up 主给的链接中抢到了几瓶啤酒跟一罐蜂蜜,蜂蜜现在还没喝完 233
    sorcerer
    sorcerer
    Nov 10, 2016 via iPhone
    25
    马上要下班了 是时候放出列表了哈 楼主
    dreammes
    dreammes
    Nov 10, 2016
    26
    楼主来吧,都等着咯
    laoyuan
    laoyuan
    OP
    Nov 10, 2016❤️1
    27
    刚开始抓商品页,不会放大家鸽子的!
    WDD
    WDD
    Nov 10, 2016 via iPhone
    28
    @guinguo 好厉害,请问你是在手机上抢的吗? 去年我在电脑抢毛都没抢到
    guinguo
    guinguo
    Nov 10, 2016
    29
    @WDD 电脑,不要抢那种很少的,然后 动作要快,姿势要帅 ^_^
    fleer
    fleer
    Nov 11, 2016 via Android
    30
    蹲坑等。
    laoyuan
    laoyuan
    OP
    Nov 11, 2016
    31
    @fleer 真的是掉大坑里了,本来打算从商品页识别秒杀,结果发现可以抓到开售时间,但价格只能抓到一个普通的价格,抓不到秒杀价所以没发识别秒杀。结果还是从会场抓那些明面上放出来的秒杀吧。。
    laoyuan
    laoyuan
    OP
    Nov 11, 2016
    32
    已开帖 /t/319731
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   4934 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 79ms · UTC 07:35 · PVG 15:35 · LAX 23:35 · JFK 02:35
    ♥ Do have faith in what you're doing.