爱意满满的作品展示区。
binux

也来一发,豆瓣害羞组读图版

  •  4
     
  •   binux ·
    binux · Oct 26, 2014 · 27447 views
    This topic created in 4399 days ago, the information mentioned may be changed or developed.

    看到有人专名写一个爬虫,于是用手上的东西,做了一个这个东西。
    先直接上地址: https://f.binux.me/haixiuzu.html

    pyspider DEMO版 + 多说 做数据库 + 前端渲染一个瀑布流

    嘿,还真像那么回事有没有。

    那么问题来了,还有哪些免费的 KV 数据库,有 HTTP API 的,能公开读取数据的。
    多说老是转义导入的数据。。

    44 replies  •  2018-12-04 07:18:38 +08:00
    oojiayu
    oojiayu
    Oct 26, 2014
    1
    赞一个
    ihacku
    ihacku
    Oct 26, 2014
    2
    CouchDB?
    ChiangDi
    ChiangDi
    Oct 26, 2014
    3
    豆瓣好奇怪,为什么那么多妹纸晒。。
    can
    can
    Oct 26, 2014
    4
    不是说晚上管理员一下班,这组就……?
    binux
    binux
    OP
    Oct 26, 2014
    5
    @ihacku 不想要自己搭啊
    Shared
    Shared
    Oct 26, 2014
    6
    为什么有css和js文件不能加载,主页裸奔了
    jprovim
    jprovim
    Oct 26, 2014❤️2
    7
    Firebase, 剛剛被google收購. @binux
    shoumu
    shoumu
    Oct 26, 2014
    8
    看不到图啊
    binux
    binux
    OP
    Oct 26, 2014
    9
    @Shared 反正我就是单文件,加载的CDN,打不开找又拍云
    @shoumu 你用 https 了吗
    shoumu
    shoumu
    Oct 26, 2014
    10
    @binux 直接点的你给的那个地址
    shoumu
    shoumu
    Oct 26, 2014❤️1
    11
    @binux
    控制台信息

    Failed to load resource: net::ERR_SSL_VERSION_OR_CIPHER_MISMATCH https://static.duoshuo.com/embed.unstable.js
    Uncaught ReferenceError: DUOSHUO is not defined haixiuzu.html:62
    douban
    binux
    binux
    OP
    Oct 26, 2014
    12
    @shoumu 你浏览器的问题
    shakoon
    shakoon
    Oct 26, 2014
    13
    不能翻页&说好的瀑布流呢?是因为采集数据还太少么
    flyphy
    flyphy
    Oct 26, 2014❤️1
    14
    试试撸女神
    http://lunvshen.com
    binux
    binux
    OP
    Oct 26, 2014
    15
    @shakoon 是兼容性bug吧,chrome是没问题的
    kmvan
    kmvan
    Oct 26, 2014
    16
    是啥语言采集的?
    gipsymoth
    gipsymoth
    Oct 27, 2014
    18
    这个好
    muziyue
    muziyue
    Oct 27, 2014
    19
    有没有能判断性别的图像处理方案……
    jacob
    jacob
    Oct 27, 2014
    20
    害羞组是啥玩意,这些图看得我都害羞了- -
    lubuwei
    lubuwei
    Oct 27, 2014
    21
    呃,下班再打开看看......
    shakespark
    shakespark
    Oct 29, 2014
    22
    为啥里面还有丁丁...
    shakespark
    shakespark
    Oct 29, 2014
    23
    理解了...各种晒10分钟的图被lz抓取了啊哈哈哈
    hydyy
    hydyy
    Oct 29, 2014
    24
    。。。
    chilaoqi
    chilaoqi
    Oct 29, 2014
    25
    这么多丁丁 大丈夫?
    binux
    binux
    OP
    Oct 29, 2014
    26
    @chilaoqi 别人要发,而且不是发我这,数据也不存我这。。我有什么办法。。
    axe
    axe
    Oct 29, 2014
    27
    害羞组是用来约约约的吗。。
    yangkeao
    yangkeao
    Oct 29, 2014
    28
    我想知道多说做数据库是什么情况。。
    binux
    binux
    OP
    Oct 29, 2014
    29
    @yangkeao 抓到一条数据之后,往多说上发一条评论,评论内容就是抓到数据。
    然后页面取最新评论就行了。
    gkuchan
    gkuchan
    Oct 29, 2014
    30
    …… 能不能把女人删掉 搞一个只有男人的版本……
    Qulyf
    Qulyf
    Oct 30, 2014
    31
    @gkuchan ←← 好像暴露了什么...
    alsotang
    alsotang
    Nov 1, 2014
    32
    碉堡了
    2232588429
    2232588429
    Nov 2, 2014
    33
    这个数据库是采到26号的?上限怎么定的?
    binux
    binux
    OP
    Nov 2, 2014
    34
    @2232588429 我只采集了第一页,我是从26号开始采集的。
    wh1100717
    wh1100717
    Nov 20, 2014❤️1
    35
    其实你这个还可以加以下功能:
    1. 定时check你抓下来的帖子是否删除,如果删除,则高亮显示(原因你懂的)
    2. 想办法用算法把广告过滤掉...
    3. 增加手动点击发豆油功能(原因你懂的)
    4. 增加几个组一起check好了==!

    我也写了个一个类似的东西...不过写完就觉得无趣懒得完善了,哈哈
    binux
    binux
    OP
    Nov 20, 2014
    36
    @wh1100717 我就试试我的爬虫,一个晚上做的,我也懒得完善
    mnhkahn
    mnhkahn
    Feb 25, 2015
    37
    大哥,你这个有些图多说那边没给你处理么?
    binux
    binux
    OP
    Feb 25, 2015 via Android
    38
    @mnhkahn 处理什么
    lukew
    lukew
    Jan 15, 2016
    39
    @binux
    好项目 最近需要搭建一个爬虫系统 果断上手!
    想问下 这个项目还是活的吧?
    binux
    binux
    OP
    Jan 15, 2016
    40
    @lukew 没死
    lukew
    lukew
    Jan 18, 2016
    41
    @binux 关于网站或者 app 的登录貌似文档中没有具体的描述
    能否加个微信?
    lukew
    lukew
    Jan 19, 2016
    42
    @binux 如果要抓去 app 客户端,纯 http 的 api 接口,需要 https 的支持,登录这些操作
    是否合适用 pyspider ?
    binux
    binux
    OP
    Jan 19, 2016
    43
    @lukew 没有跨任务会话管理, 需要你手动管理 cookie 保持登陆.
    zkeeper
    zkeeper
    Dec 4, 2018
    44
    妈的来晚了, 啥都看不见
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   3568 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 82ms · UTC 10:06 · PVG 18:06 · LAX 02:06 · JFK 05:06
    ♥ Do have faith in what you're doing.