抓了点知乎用户数据，打算分享给各位兄弟

airqj · 2016-09-16T12:02:51Z

大概 5W 个知乎用户的 500 条动态不知道放在什么地方合适呢？不想放百度网盘，自己的 vps 流量硬盘也不够。。。。另外把这些数据公开会不会被知乎喝茶？

知乎

VPS

网盘

喝茶

49 replies • 2016-09-24 14:44:10 +08:00

abelyao

Sep 16, 2016 via iPhone

1

放 LeanCloud 吧，每月有 100 万次免费的数据接口调用，或者全部转为静态数据后存储在又拍云七牛。

a87150

Sep 16, 2016

2

有什么用？

ooh

Sep 16, 2016

3

知乎网管正在拨打东北黑社会小哥电话 ing 🤣

airqj

OP

Sep 16, 2016

4

@a87150 兄弟我把计算机话题下的所有子话题的最佳回答者的动态都给抓下来了
有没有用就看你自己了
用户推荐什么的

airqj

OP

Sep 16, 2016

5

@abelyao 多谢兄弟我试一下

URgoy

Sep 16, 2016 via Android

6

不知道。

youmualone

Sep 16, 2016

1

7

Disallow: /login
Disallow: /logout
Disallow: /resetpassword
Disallow: /terms
Disallow: /search
Disallow: /notifications
Disallow: /settings
Disallow: /inbox
Disallow: /admin_inbox
Disallow: /*?guide*
Disallow: /people/*-*-*-*

lslqtz

Sep 16, 2016

8

我想想哈。。
大小多大？

rhen

Sep 16, 2016 via Android

9

支持，不过 5w..根本看不完

airqj

OP

Sep 16, 2016

10

@lslqtz 处理一下估计有 2G 左右
恢复成真正的数据十几个 G

airqj

OP

Sep 16, 2016

11

@rhen 这不是用来看的
用来做机器学习用户推荐之类的

lll9p

Sep 16, 2016

12

抓情感类或者别的很喜欢讲故事的话题更好哈，用 RNN 训练之后输出一些上知乎看看得多少赞

lslqtz

Sep 16, 2016

13

@airqj lzma 压缩神器试试看

lslqtz

Sep 16, 2016

14

我找到了，你可以试试看 daocloud 。
没找到说限制带宽和流量的，但是我找到了存储空间是需要 1x 的容量，默认搞定后是有 2x 的容量，搞微信还有 3x 。
其中 1x 可以开个 docker ， 1x 可以开 10g 的存储空间，就是注意优化和经常登录，这玩意容易休眠，也容易内存爆掉挂掉。
如果怕内存挂掉可以去搞微信，再来个 1x 加内存。
建议用 lzma 压缩，否则上传速度感人。
http://233.dog/f_40127258.png
http://233.dog/f_29750671.png
http://233.dog/f_48875122.png

zhouzb889

Sep 16, 2016

15

忘了乌云和世纪佳缘的故事了吗？

airqj

OP

Sep 16, 2016

16

@lll9p 原本是打算把爬虫放到 github 上有兴趣的人把数据爬了就 PR 一下
不过目前看来不太合适

airqj

OP

Sep 16, 2016

17

@zhouzb889 我这东西又不是用来盈利的
再者爬虫爬下来的应该不会有什么事吧？

airqj

OP

Sep 16, 2016

18

@lslqtz 多谢兄弟
明天试试

lslqtz

Sep 16, 2016

19

@airqj 如果分卷的话你可以用 oschina ，速度飞快，上传限制 1G ，分卷用 999M 就好。
http://osu.acgvideo.cn/songs/Chuunibyou-1.mp3

viko16

Sep 16, 2016 via Android

20

@lslqtz 图床域名好赞

lslqtz

Sep 16, 2016

2

21

@viko16 http://myloli.club ，去用吧。
顺便吐槽一下，上次写代码测试，因为用客户端删表麻烦，脑抽直接把数据库清空了，备份不太及时，结果大部分的记录炸了没法管理 2333 。

7sDream

Sep 16, 2016

1

22

https://zhuanlan.zhihu.com/p/20828854

很早之前抓了 300w 知乎活跃用户的基础数据……至今不知道往哪放……

airqj

OP

Sep 16, 2016

23

@7sDream 爬数据用的是兄弟你的爬虫哈哈

wizardforcel

Sep 16, 2016 via Android

24

有小黄文么😂😂😂

7sDream

Sep 16, 2016

25

@airqj

这 TM 就尴尬了 23333 。

不过自己的项目有人用感觉还是挺好的哈，虽然我项目的定位并不是爬虫……尴尬。

ovear

Sep 16, 2016

26

mega 盘挺不错的啊。。

abelyao

Sep 17, 2016

1

27

@7sDream 有意思，分享给了很多非互联网行业的朋友，很直观的表现了 “数据分析” 的应用和价值

7sDream

Sep 17, 2016

28

@abelyao 谢谢支持~~

jiaots

Sep 17, 2016

29

@7sDream @airqj 哥们我想抓点特定网站的数据，能不能加我 QQ 858 82 70 900

andyfan

Sep 17, 2016 via Android

30

马克等地址

ryd994

Sep 17, 2016 via Android

31

楼主你放吧，我服务器不限流量给你转好了
主要问题是………预计会很慢
megadrive 也可以

ryd994

Sep 17, 2016 via Android

32

也可以考虑 BT ，人多点立刻就快了

prefere

Sep 17, 2016

33

挂自己服务器上，用迅雷下载一次。然后删掉自己服务器上的内容。
别人想下的时候直接用迅雷下就可以了，
以前看别人这么搞过，不知道现在还能不能用。

hard2reg

Sep 17, 2016

34

@prefere 然后就被举报了

shiji

Sep 17, 2016

35

我 Linode 还剩 8T 流量，需要帮忙么？

airqj

OP

Sep 17, 2016

36

@ryd994
@prefere
@shiji
主要是怕被请去喝茶

Ouyangan

Sep 17, 2016

37

上次爬了三十万....一直扔硬盘

shiji

Sep 17, 2016 via Android

38

@airqj 实在不行遮盖住部分用户名，这样基本没啥毛病

prefere

Sep 17, 2016

39

要不你看看能不能塞谷歌网盘里

ixinshang

Sep 17, 2016 via Android

40

里面的段子不错

timestamp

Sep 17, 2016

41

http://www.zhihu.com/robots.txt

chenxx

Sep 17, 2016

42

@airqj 能提供下爬虫吗，我想学习一下

airqj

OP

Sep 17, 2016 via Android

43

@chenxx 可以去看看 7sDream 大大的爬虫

chenxx

Sep 17, 2016

44

@airqj 在哪，我现在碰到的问题是伪装浏览器没成功，不知道是不是 headers 没写对

airqj

OP

Sep 17, 2016 via Android

45

@chenxx 兄弟找代码不是应该上 github 吗………

lll9p

Sep 17, 2016

46

哦哦对，可以放 Btsync 啊~
@airqj

chuhemiao

Sep 17, 2016

47

https://daxiaxia.github.io/

abelyao

Sep 17, 2016

48

@jiaots 想抓啥？

googlefans

Sep 24, 2016

49

怎么抓的？ zhihu 没防抓措施？