爬虫写好了再写个网站把商品列表挂出来,今年准备全部开源。
直播地址 http://www.douyu.com/laoyuan
项目地址 https://github.com/laoyuan/wanggoumiji
直播地址 http://www.douyu.com/laoyuan
项目地址 https://github.com/laoyuan/wanggoumiji
|
1
666666
|
|
JoanNov 6, 2016
2
666666
|
|
3
第一次提交代码,是去年写的爬虫
https://github.com/laoyuan/wanggoumiji |
|
4
已经发现了一种模式,会场页
<div class="J_tabs 前一个 <textarea class="J_dynamic_data" 里面就是秒杀商品数据 例: https://pages.tmall.com/wow/act/16495/industry_1179 |
|
5
又发现一种模式
data-mod-name="mui/zebra-act-ms-240x240/index-pc" data-config=" 例: https://pages.tmall.com/wow/act/16495/industry_309 |
|
qcloudNov 6, 2016
6
正在看直播, 2333 ,找半天找不到你这个帖子,刚才看你发帖子,本想你刚发,我就来评论的,结果到现在才找到这个帖子。
|
|
m939594960Nov 6, 2016
7
去年就看你直播来着
|
|
a570295535Nov 6, 2016
8
太卡了,虽然我看不懂,但我鱼丸 19345
|
|
9
@a570295535 好像无线路由器有点问题,我再买个新的。好在今年写的开源了,想用的可以直接看代码。
今天就播到这里了,明天把 pyspider 部署到生产环境开始跑,然后写个网站把抓到的秒杀商品列出来方便大家看。 |
|
DirllleeNov 7, 2016 via iPhone
10
用哪些工具
|
|
la0weiNov 7, 2016
11
错过直播了怎末办
|
|
twc731Nov 8, 2016
13
错过了
|
|
twc731Nov 8, 2016
14
希望大神以后可以录一份录像,能学习一下
|
|
15
有代码看啥录像啊。爬虫跑了一晚上数据是这样的:
双十一总共 400 个会场页面,涉及 5700 家店、 12000 件商品,其中秒杀商品大概有 500 到 1000 件,我打算直接跑商品页面来识别秒杀,不在会场识别模式了。 |
|
RobertYangNov 8, 2016 via Android
16
无话可说只有 6666
|
|
VizogoodNov 9, 2016 via Android
17
我只能送你 6666 辛亏没去阿里 233
|
|
ixinshangNov 10, 2016
18
牛逼
|
|
kang000fengNov 10, 2016
19
@laoyuan 大神, 网站写好了吗, 期待商品列表挂出来,谢谢!
|
|
20
@kang000feng 看看今天能挂出来吧,就一个列表页面应该可以
|
|
mclxlyNov 10, 2016
21
坐等列表页面
|
|
freep2pNov 10, 2016
22
去年用楼主提供的商品列表 秒了好几样。
|
|
whatufoNov 10, 2016
23
坐等列表页面
|
|
guinguoNov 10, 2016
24
去年在 up 主给的链接中抢到了几瓶啤酒跟一罐蜂蜜,蜂蜜现在还没喝完 233
|
|
sorcererNov 10, 2016 via iPhone
25
马上要下班了 是时候放出列表了哈 楼主
|
|
dreammesNov 10, 2016
26
楼主来吧,都等着咯
|
|
27
刚开始抓商品页,不会放大家鸽子的!
|
|
fleerNov 11, 2016 via Android
30
蹲坑等。
|
|
31
@fleer 真的是掉大坑里了,本来打算从商品页识别秒杀,结果发现可以抓到开售时间,但价格只能抓到一个普通的价格,抓不到秒杀价所以没发识别秒杀。结果还是从会场抓那些明面上放出来的秒杀吧。。
|