看到有人专名写一个爬虫,于是用手上的东西,做了一个这个东西。
先直接上地址: https://f.binux.me/haixiuzu.html
pyspider DEMO版 + 多说 做数据库 + 前端渲染一个瀑布流
嘿,还真像那么回事有没有。
那么问题来了,还有哪些免费的 KV 数据库,有 HTTP API 的,能公开读取数据的。
多说老是转义导入的数据。。
看到有人专名写一个爬虫,于是用手上的东西,做了一个这个东西。
先直接上地址: https://f.binux.me/haixiuzu.html
pyspider DEMO版 + 多说 做数据库 + 前端渲染一个瀑布流
嘿,还真像那么回事有没有。
那么问题来了,还有哪些免费的 KV 数据库,有 HTTP API 的,能公开读取数据的。
多说老是转义导入的数据。。
|
oojiayuOct 26, 2014
1
赞一个
|
|
ihackuOct 26, 2014
2
CouchDB?
|
|
ChiangDiOct 26, 2014
3
豆瓣好奇怪,为什么那么多妹纸晒。。
|
|
canOct 26, 2014
4
不是说晚上管理员一下班,这组就……?
|
|
SharedOct 26, 2014
6
为什么有css和js文件不能加载,主页裸奔了
|
|
shoumuOct 26, 2014
8
看不到图啊
|
|
11
@binux
控制台信息 Failed to load resource: net::ERR_SSL_VERSION_OR_CIPHER_MISMATCH https://static.duoshuo.com/embed.unstable.js Uncaught ReferenceError: DUOSHUO is not defined haixiuzu.html:62 douban |
|
shakoonOct 26, 2014
13
不能翻页&说好的瀑布流呢?是因为采集数据还太少么
|
|
14
试试撸女神
http://lunvshen.com |
|
kmvanOct 26, 2014
16
是啥语言采集的?
|
|
17
|
|
gipsymothOct 27, 2014
18
这个好
|
|
muziyueOct 27, 2014
19
有没有能判断性别的图像处理方案……
|
|
jacobOct 27, 2014
20
害羞组是啥玩意,这些图看得我都害羞了- -
|
|
lubuweiOct 27, 2014
21
呃,下班再打开看看......
|
|
shakesparkOct 29, 2014
22
为啥里面还有丁丁...
|
|
shakesparkOct 29, 2014
23
理解了...各种晒10分钟的图被lz抓取了啊哈哈哈
|
|
hydyyOct 29, 2014
24
。。。
|
|
chilaoqiOct 29, 2014
25
这么多丁丁 大丈夫?
|
|
axeOct 29, 2014
27
害羞组是用来约约约的吗。。
|
|
yangkeaoOct 29, 2014
28
我想知道多说做数据库是什么情况。。
|
|
gkuchanOct 29, 2014
30
…… 能不能把女人删掉 搞一个只有男人的版本……
|
|
alsotangNov 1, 2014
32
碉堡了
|
|
2232588429Nov 2, 2014
33
这个数据库是采到26号的?上限怎么定的?
|
|
34
@2232588429 我只采集了第一页,我是从26号开始采集的。
|
|
35
其实你这个还可以加以下功能:
1. 定时check你抓下来的帖子是否删除,如果删除,则高亮显示(原因你懂的) 2. 想办法用算法把广告过滤掉... 3. 增加手动点击发豆油功能(原因你懂的) 4. 增加几个组一起check好了==! 我也写了个一个类似的东西...不过写完就觉得无趣懒得完善了,哈哈 |
|
mnhkahnFeb 25, 2015
37
大哥,你这个有些图多说那边没给你处理么?
|
|
zkeeperDec 4, 2018
44
妈的来晚了, 啥都看不见
|