• 请不要在回答技术问题时复制粘贴 AI 生成的内容
wyan453351466
V2EX  ›  程序员

自己做了一个‘看知乎’。爬取了每天知乎点赞最多的回答。

  •  2
     
  •   wyan453351466 · Sep 4, 2017 · 20120 views
    This topic created in 3353 days ago, the information mentioned may be changed or developed.

    之前有个知乎用户‘苏莉安’做了一个网站,叫看知乎。

    后来这个网站关闭了,现在感觉网上也没有什么地方可以查看知乎每天最多点赞的回答。索性自己撸了一个出来。

    下面放链接: http://www.yanshuo.me/r/zhihuhot

    另外对爬虫感兴趣的同学欢迎加群:566806792。

    顺便分享下自己网站的邀请注册链接 :P

    http://www.yanshuo.me/register/invite_code/snx43bOpeKywe3Kqrn2grYOqn6I

    78 replies  •  2018-01-09 11:11:09 +08:00
    jtam
    jtam
    Sep 4, 2017
    1
    你知道那个网站被关闭的原因么?
    FanError
    FanError
    Sep 4, 2017 via iPhone
    2
    本来不知道,看到 1 楼这么一说,知道了
    wyan453351466
    wyan453351466
    OP
    Sep 4, 2017
    3
    @jtam 这里想解释一下。可能很多朋友会误以为这是抄袭,不规范转载。其实不是的,我只存储了文章的链接,并没有存储原文,这和分享到朋友圈、百度收录链接、网址导航等网站是一回事的。建议你可以搜索一下避风港原则。

    关于看知乎关闭的原因,是由于爬虫经常出问题,维护成本高关闭的。详情请看看知乎作者的文章: https://zhuanlan.zhihu.com/p/22477361。
    wyan453351466
    wyan453351466
    OP
    Sep 4, 2017
    4
    上面的链接带上了句号打不开。。重发一下

    https://zhuanlan.zhihu.com/p/22477361
    junbaor
    junbaor
    Sep 4, 2017
    5
    楼主有打算提供 api 或者 rss 吗?
    wyan453351466
    wyan453351466
    OP
    Sep 4, 2017
    6
    @junbaor 后期也许会开发一个开放接口出来。但是眼下还在开发网站具体的功能哈。比如社交账号登录之类的。
    cjyang1128
    cjyang1128
    Sep 4, 2017
    7
    做的不错
    amon
    amon
    Sep 4, 2017❤️2
    8
    看了这些热门的帖子,居然基本都不感兴趣,很多都是那种想点击“屏蔽这个问题”的。
    不是什么少无人知的技巧(全国人民都知道),就是惊为天人的操作(不明所以呵呵了),有什么文章你会背(九年义务教育语文书上的都写了一遍),再无非就是劝你健身看书刷知乎...
    大概就是这些用了几年的套路...
    wyan453351466
    wyan453351466
    OP
    Sep 4, 2017
    9
    @amon 这里确实有这个问题。随着知乎用户越来越多,内容越来越水似乎是一种必然。
    毕竟社会中的大多数并不是精英,普通人或者说庸俗的人还是占大多数的。。
    这里我并没有在这个版块上加入我自己的价值判断,或筛选,仅仅只是单纯的把点赞最多的内容排列出来了而已。
    后期也许会改变一下爬取规则,比如通过只爬取特定用户(一些高质量大 V )点赞过的回答,来保证内容的优质率。
    huijian222
    huijian222
    Sep 4, 2017
    10
    @wyan453351466 #9 有些人也挺喜欢这些“水”的内容的,就像看故事会一样,乐呵乐呵就好了
    junbaor
    junbaor
    Sep 4, 2017
    11
    刚用 Huginn 搞的,顺便问一下,内容变成倒叙了怎么办

    http://sg.wkfg.me/users/1/web_requests/11/zhihu.json
    http://sg.wkfg.me/users/1/web_requests/11/zhihu.xml
    liangguan5
    liangguan5
    Sep 4, 2017 via iPhone
    12
    赞一个,感谢!
    l00t
    l00t
    Sep 4, 2017❤️21
    13
    为什么要爬一个垃圾站……
    cnwtex
    cnwtex
    Sep 4, 2017
    14
    我忽然发现, 爱上知乎的人,应该是当年那批爱看<故事会>的人, 都是看回答里面别人讲故事.
    rswl
    rswl
    Sep 4, 2017
    15
    王路飞
    youyouzkn
    youyouzkn
    Sep 4, 2017
    16
    我也忽然发现, 爱上知乎的人,应该是当年那批爱看<故事会>的人, 都是看回答里面别人讲故事.
    yukimio
    yukimio
    Sep 4, 2017
    17
    谢谢楼主~~很喜欢。感谢~~
    qianmaole
    qianmaole
    Sep 4, 2017
    18
    露珠用的啥跑这个脚本啊?最近 vultr 丢包太多。
    ljcarsenal
    ljcarsenal
    Sep 4, 2017 via iPhone
    19
    @jtam 什么原因
    wyan453351466
    wyan453351466
    OP
    Sep 4, 2017 via iPhone
    20
    @qianmaole 我是用 php 写的爬虫脚本。。然后 crontab 定时执行。
    aitaii
    aitaii
    Sep 4, 2017
    21
    知乎都是有故事的人
    xvx
    xvx
    Sep 4, 2017 via Android
    22
    我觉得知乎以前还可以,现在挺无聊的,不知道为啥还有这么多人喜欢。
    ResidualSoils
    ResidualSoils
    Sep 4, 2017
    23
    我已经好久没碰知乎了,刚刚碰了一下我已经感觉自己承受不了了,现在脑子里想的都是大学生活的反思。知乎真有毒。
    tamlok
    tamlok
    Sep 4, 2017 via Android
    24
    知乎现在基本就是微信公众号推广平台了?自从上次被一个昵称是啥“可能最值得关注的小仙女”喷我是三无小号(现在还是不清楚啥叫三无小号)后,就把知乎卸了!
    stabc
    stabc
    Sep 4, 2017
    25
    是固定爬了某些分类么?怎么看起来全是“说出你的故事”这类的问题
    wyan453351466
    wyan453351466
    OP
    Sep 4, 2017 via iPhone
    26
    @stabc 不是。。是爬取了全部的。然后按照点赞数排序。。可能每天点赞、回答最多的就是这类的问题吧。。
    won
    won
    Sep 4, 2017
    27
    LZ 以为只存储 URL 就不算侵权吗?天真了
    Exgirlfriends
    Exgirlfriends
    Sep 4, 2017
    28
    这个好。
    已经收藏为每次开浏览器必开
    suliuyes
    suliuyes
    Sep 4, 2017
    29
    @amon 对的。看来还是有人看得出来的。
    Uni9k
    Uni9k
    Sep 4, 2017
    30
    @cnwtex 初中上课超喜欢看的说。。。2333
    sofs
    sofs
    Sep 4, 2017 via Android
    31
    这样的网站用的挺不爽的。点击一下,跳到别的网站跳来跳去的。体验太差
    shapl
    shapl
    Sep 4, 2017
    32
    为啥标题和摘要要放在同一行,好难受的说。。。
    wineway
    wineway
    Sep 4, 2017 via Android
    33
    @youyouzkn 谁去凤姐微博给他推荐一下
    jin5354
    jin5354
    Sep 4, 2017
    34
    刚上大学的时候天天刷知乎,觉得可长见识了。。
    现在已经 3 年没上过了,帐号密码都忘了
    Zach2017
    Zach2017
    Sep 4, 2017
    35
    还是蛮喜欢上知乎的, 但是主要关注的还是些科普之类的文章, 感觉很长知识~
    linuxchild
    linuxchild
    Sep 4, 2017
    36
    不看知乎了 - -。
    yourimage
    yourimage
    Sep 4, 2017
    37
    这个以前不是爬的是 douban 的图片吗
    jallifish
    jallifish
    Sep 4, 2017
    38
    厉害了!
    之前时不时会看一下职得看的收集,感觉两家可以 PK PK。
    http://ainterest.ailingual.cn/topics/e8aad82a-a360-4fa4-8e85-ee866259c5f9
    wyan453351466
    wyan453351466
    OP
    Sep 4, 2017
    39
    @yourimage 是的。。豆瓣图片现在由于经常出现不可描述内容。故暂时下线了。。后期我优化算法以后,可能会再次上线^ ^
    bucky
    bucky
    Sep 4, 2017
    40
    有些人就别秀优越感了,前期的知乎绝对是个好网站,只不过现在变味了而已
    Mavious
    Mavious
    Sep 4, 2017 via iPhone
    41
    弱弱的球 rss 输出…
    wyan453351466
    wyan453351466
    OP
    Sep 4, 2017 via iPhone
    42
    @Mavious 嗯,后期会上的哈。。现在网站的功能还有些没做好
    WheatField
    WheatField
    Sep 4, 2017❤️1
    43
    其实知乎没变,看你怎么用而已。
    我只关注技术大牛,看技术大牛的发言,
    感觉还是学到很多东西,视野开阔了很多。
    我没有关注任何一个讲八卦话题的人。
    WheatField
    WheatField
    Sep 4, 2017
    44
    在知乎,只看技术问题就行了,其他的东西都是扯淡、讲故事。
    jerry12547
    jerry12547
    Sep 4, 2017
    45
    @WheatField 我顺带还关注了 一些历史政治类的 感觉有些角度还是挺好的
    Sydney2016
    Sydney2016
    Sep 4, 2017 via iPhone❤️1
    46
    总有人反智觉得自己高贵,看不上的就自封垃圾,建议这类人可以公布自己的微信公众号或者开一个 tg 群,看一下你高贵在哪,嘴炮倒是挺贵。
    d7101120120
    d7101120120
    Sep 4, 2017
    47
    知乎前期的产出还是不错的,现在经常 Google 还能找到前期有用的答案。。。至于现在就不太清楚了
    ggwp
    ggwp
    Sep 4, 2017
    48
    现在知乎太多编段子、耍机灵的,要不就是营销号钓鱼的
    jyf
    jyf
    Sep 4, 2017
    49
    建议弄个浏览器插件 大家一起共享 ip 资源 一起爬 一起分享获得的数据
    Davidwg
    Davidwg
    Sep 4, 2017
    50
    不错
    wyan453351466
    wyan453351466
    OP
    Sep 4, 2017 via iPhone
    51
    @jerry12547
    @WheatField 确实。知乎水不水完全取决于你关注了哪些人,如果关注的都是大牛和高质量用户,内容也不会太水的。
    wyan453351466
    wyan453351466
    OP
    Sep 4, 2017 via iPhone
    52
    @Davidwg 谢谢!
    Crossin
    Crossin
    Sep 4, 2017
    53
    挺好的,赞一个。之前『看知乎』关了挺可惜的。
    我也想过做一个,不过是另外的角度,想挖掘一些快速增长的大 V 号和受关注度高的问题。
    drunkpianoNj
    drunkpianoNj
    Sep 5, 2017 via iPhone
    54
    是这样,苏莉安提供了接口给客户端用,去年我用他的接口写了一个安卓 App 叫知乎每日精选,投稿到很多应用商店人家都说版权问题不予收录,后来投稿到酷安网和 Google Play,被收录了,后来我收到知乎的站内信说我侵权,让我下架,过了一阵子我发现酷安所有关于这种知乎的第三代 app 都被下架了....
    linux40
    linux40
    Sep 5, 2017 via Android
    55
    少数专栏看一下还是不错,毕竟用户没走光。
    axzy
    axzy
    Sep 5, 2017
    56
    谢谢楼主,已经收藏和注册了~希望网站保持住
    SoulSleep
    SoulSleep
    Sep 5, 2017
    57
    曾经做过爬取一些收藏夹的回答,效果不错,跑了两年没挂....但是.....也只是练手罢了

    现在知乎版权意识很高了,指望这个盈利,怕是会吃律师函的.....
    SoulSleep
    SoulSleep
    Sep 5, 2017
    58
    之前爬取的思路是,文本全部抓到本地,图片用 nginx 转发到知乎上,需要伪造一下 domain 就好
    superXiong
    superXiong
    Sep 5, 2017
    59
    知道为什么知乎没有开发该功能吗?不是技术问题,而是理念问题。
    airqj
    airqj
    Sep 5, 2017
    60
    @cnwtex 我看了将近二十年故事会
    知乎只是偶尔看看
    lovestudykid
    lovestudykid
    Sep 5, 2017
    61
    检索了关于唐山的内容,结果点进去已经被删除了,哈哈
    cat9life
    cat9life
    Sep 5, 2017
    62
    还是要赞一个的
    torment5524
    torment5524
    Sep 5, 2017
    63
    以前觉得知乎能找到不少有价值的内容。现在感觉主流都是感受分享,情感交流,编故事大赛
    bytewalk
    bytewalk
    Sep 5, 2017
    64
    滋磁。。。另外建议上个 https
    wyan453351466
    wyan453351466
    OP
    Sep 5, 2017
    65
    @poorcai 嗯,最近抽空加一个。。
    a4854857
    a4854857
    Sep 5, 2017
    66
    很不错呀..还有别的网站的热门..简洁高效..以后上班摸鱼有东西看了
    raincoat
    raincoat
    Sep 5, 2017
    67
    很棒哎楼主,已收藏。
    friejq
    friejq
    Sep 5, 2017
    68
    考虑开源么
    czmecho
    czmecho
    Sep 5, 2017 via iPhone
    69
    @ggwp 你这种说法就跟那些常常抱怨 YouTube 那么多反共反中视频一样,自己关注什么人物就有什么信息流。

    知乎整体是越来越水,但维护好自己的信息流,并没有多大变化。
    bluefountain
    bluefountain
    Sep 5, 2017
    70
    希望增加 rss 订阅功能~
    Hagrid
    Hagrid
    Sep 5, 2017
    71
    知乎现在是变差了,所以自己在慢慢的取关一些人,要有新关注的时候也会点进去看看大多数回答的问题或者他关注的问题怎么样。
    以及用好首页的话题、问题屏蔽功能,感觉这样用了一段时间后,变的好一点了。
    yuansmin
    yuansmin
    Sep 5, 2017
    72
    其实这种爬虫最麻烦、成本最高的就是维护了,不是说爬虫不好不聪明,而是网站更新升级快啊
    vtexcaonm
    vtexcaonm
    Sep 5, 2017
    73
    上知乎,分享你刚编的故事
    wyan453351466
    wyan453351466
    OP
    Sep 5, 2017
    74
    @cat9life 谢谢!
    7blW5Kcai534HdX1
    7blW5Kcai534HdX1
    Sep 5, 2017
    75
    诶。。。。言说,怎么好像在群里面看到有 boyz 以前说过
    yaoxuwang
    yaoxuwang
    Sep 7, 2017
    76
    我觉得还是挺不错的,赞一个
    tuding
    tuding
    Sep 29, 2017
    77
    @aitaii 知乎都是有故事会的人
    CharlieInsight
    CharlieInsight
    Jan 9, 2018
    78
    我现在把知乎当内涵段子看
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1013 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 211ms · UTC 18:41 · PVG 02:41 · LAX 10:41 · JFK 13:41
    ♥ Do have faith in what you're doing.