做个简单易用通用型采集器不容易，这个项目已经花了 6 年时间，还没完还将继续。
3 年前第一次发布
http://v2ex.com/t/65371#reply149
第一次发布后有人说太复杂，有人说应该提供独立的 WEB 管理界面等等，花了 3 年时间在这个版本都有实现，并且做了很多的重构与功能完善。
三年前注册的用户，可以直接安装使用(鸟巢采集器个人用户终身免费使用)，
项目地址
https://github.com/speed/newcrawler
目前还不打算开放注册，准备再测试一个月（请不要申请邀请码）
鸟巢采集器
http://www.newcrawler.com
测试帐号(请使用海外节点，因为 GAE,OpenShift 都已被墙)
username:test
password:test
演示视频
http://video.newcrawler.com/newcrawler_v2.2.mp4
http://ww3.sinaimg.cn/large/5e24c9a7gw1f2sj1vgfx8j20zk0rhtg2.jpg
 |
1
楼主强人哦.界面细腻,功能强大到难以想像.不知道处理有 IP 限制的页面是否有解决方案
|
 |
2
cool
|
 |
3
以前也考虑过写类似东西，但思路不及楼主。看得出花费了大量心血。
|
 |
4
有毅力，一个项目能够坚持这么多年，赞！
|
 |
5
牛逼，能用 6 年做一件事的都是牛人
|
 |
serverApr 11, 2016
6
牛人，毅力！！
|
 |
whahugaoApr 11, 2016
7
好棒！楼主好毅力
|
 |
pypyApr 11, 2016
8
好厉害！学习楼主这种精神！
|
 |
9
|
 |
mew7woApr 11, 2016
10
楼主牛人 已安装试用
|
 |
kukatApr 11, 2016
11
有 docker image 吗？
|
 |
sewyuApr 11, 2016
12
吓到了，好强大。。。。 绝对大神
|
|
13
|
 |
feather12315Apr 11, 2016 via Android
14
@sohoer 爬虫共享赞一个。
|
 |
sylviayoungApr 11, 2016 via iPad
15
佩服楼主持之以恒的精神！
|
 |
leehonApr 11, 2016
16
6 年有点太长，一直是楼主一个人开发吗
|
 |
alongdjApr 11, 2016 via Android
17
楼主好毅力…
|
 |
inorichoApr 11, 2016
18
楼主大触！
|
 |
wuyadongApr 11, 2016
19
楼主，吊~！
|
 |
zeacApr 11, 2016
20
佩服~
|
 |
keepcleargasApr 11, 2016
21
大牛 膜拜.
|
 |
KilerdApr 11, 2016
22
太厉害了，坚持了那么久，我很久之前也写过一个，不过完全不通用啊。
|
 |
mahone3297Apr 11, 2016
23
什么毅力居然让你坚持了 6 年。。。赞。。。
|
 |
kutataApr 11, 2016
24
这项目的构建方式刷新了三观，好腻害.....
|
 |
qa52666Apr 11, 2016
25
牛逼
|
 |
soultearyApr 11, 2016
26
成功炸出来潜水党...点赞。
|
 |
dong3580Apr 11, 2016
27
已经 star,真是膜拜大牛啊,
|
 |
ixinshangApr 11, 2016
28
在树莓派贴吧 看过一个类似的 info
|
 |
sunbeams001Apr 11, 2016
29
定制度和完成度都好高……膜拜下
|
 |
XrongApr 11, 2016
30
我了个去啊，牛逼到家啊。。。给楼上点个赞啊
|
 |
heige853Apr 11, 2016
31
看了下 好牛逼 颠覆了对以往采集工具的理解~
|
 |
AsimovApr 11, 2016 via Android
32
回家试试
|
 |
missqsoApr 11, 2016
33
好厉害啊，很多 ux 动画也是非常的精致。
|
 |
FanErrorApr 11, 2016
34
一登录进去 NPE 了哦
java.lang.NullPointerException at lllllllllllllll.IIlIIllllIIlllllI.lIlIllIllIIIllI(Unknown Source) at lllllllllllllll.IIlIIllllIIlllllI.IIIIIllIlIIIIII(Unknown Source) at lllllllllllllll.IIlIIllllIIlllllI.IIIIIIlllIlllIl(Unknown Source) at lllllllllllllll.IIlIIllllIIlllllI.IIlIIIlIlIIlIIl(Unknown Source) at lllllllllllllll.IIlIlllIlllIlIIII.lIIllIllllIIIIl(Unknown Source) at lllllllllllllll.IIlIlllIlllIlIIII.check(Unknown Source) at sun.reflect.GeneratedMethodAccessor60.invoke(Unknown Source) at sun.reflect.DelegatingMethodAccessorImpl.invoke(Unknown Source) at java.lang.reflect.Method.invoke(Unknown Source) at lllllllllllllll.IIlIlIllIIIlIlIll.IIIIlIlllIIlIll(Unknown Source) at lllllllllllllll.IIlIlllIlIllllIIl.call(Unknown Source) at lllllllllllllll.IIlIIlIIIlIIlIIII.IIlIIlIlIlIlIIl(Unknown Source) at lllllllllllllll.IIlIIlIIIlIIlIIII.service(Unknown Source) |
 |
CaratpineApr 11, 2016
35
好厉害，赞赞赞
|
 |
loadingimgApr 11, 2016
36
膜拜一下
|
 |
ketleApr 11, 2016
37
可视化的怎么弄
|
 |
SunyaApr 11, 2016 via iPhone
38
wecl come back 😆。赞
|
 |
csx163Apr 11, 2016
39
三年前看过，记得当时根本无从下手，现在真的好用多了。 [赞]
|
|
41
上一次发布有人说访问太慢，
所以我自己实现了分布式同步，目前有三个节点， aliyun 、 gae 、 linode 被墙的资源如 GAE 请使用 linode(海外节点)访问 |
 |
frankmdongApr 11, 2016
42
好毅力 已 star
|
 |
xiaogouxoApr 11, 2016
43
楼主太刁了。已 star
|
 |
walkershowApr 11, 2016
44
楼主牛逼啊！
|
|
45
@leehon 一直都是一个人开发
有时候想想都觉得自己很强大，坚持这么久做一件事情 无数次编译，数不清的重构，每一次重构都很痛苦 刚开始程序员生涯的时候做过很多垃圾站，也用过不少采集器 后面知道 GAE 免费，于是想用很多的 GAE APP 来搭一个免费的爬虫网络（违反 TOS ） 基于 GAE 开发后发现 PAAS 平台限制太多，后来加上了标准的 JAVA 环境支持 目前同时支持 GAE 与标准 JAVA 环境，开发上也增加不少难度， 谁让我想吃免费的蛋糕呢！ 最后大家都能有免费蛋糕吃 |
 |
xingshuApr 11, 2016
46
能留个邮箱么，有点其他需求，希望能通过邮箱沟通。🤗
|
|
47
|
 |
fengxiangApr 11, 2016 via Android
49
手动点赞，楼主能坚持真的很厉害。不像某些项目，一堆 bug 还到处宣扬。
|
 |
gimpApr 11, 2016
50
佩服楼主的毅力和能力，点赞！
|
 |
mcwandererApr 11, 2016
51
膜拜
|
 |
52
看哭了，我确定是回这贴的
|
 |
DesignerSkylineApr 11, 2016
54
给你点赞啦！希望以后也继续更新
 |
 |
FlygoatApr 11, 2016 via iPad
55
垃圾站助手？
|
|
56
@Flygoat 现在不做垃圾站了，像这样的 http://www.shishibi.com(半成品)
|
|
58
|
 |
venApr 11, 2016
59
太强大了！赞！
|
 |
binuxApr 11, 2016
61
|
 |
ddterApr 11, 2016
62
不是泼冷水啊，这个跟八爪鱼比起来有啥明显的优势吗。。。
|
 |
jiezhiApr 11, 2016
63
牛人，学习坚持精神！
|
|
65
|
 |
HanSonJApr 11, 2016
66
我吓尿了，好厉害！
|
 |
leafofApr 11, 2016
68
很牛！可惜暂时用不到
|
 |
ftp11yyyApr 11, 2016
69
点赞,好厉害！
|
 |
lemayiApr 11, 2016
70
太 nb 了！
|
 |
alocneApr 11, 2016
71
好厉害
|
 |
isbApr 11, 2016
72
惊呆。~ 好厉害！！
|
 |
yylzcomApr 11, 2016 via Android
73
我见过的收藏人数最多的一个帖子
|
 |
imWBBApr 11, 2016
74
点赞
|
 |
xiaocslApr 11, 2016
75
在以前的公司,有过类似的.
我负责前端,开发一个 Chrome 插件,来让人选择爬取的内容. 楼主这个,看功能要完善好多.犀利啊~ |
 |
huijian222Apr 11, 2016
76
cool
|
 |
jaylongApr 11, 2016
77
好棒！
|
 |
hpengApr 11, 2016
78
好牛逼。读书的时候就有这个想法，但是并没有做下去。实在佩服，佩服。
|
 |
h4ltApr 11, 2016
79
叼炸了。正好有相关的需要，学习学习。
|
 |
strweiApr 12, 2016
80
功能强大到爆，可惜不适合小白用
|
 |
branchzeroApr 12, 2016
81
好强大啊，已 star ，佩服 LZ 的毅力！
|
 |
konakonaApr 12, 2016
82
看了介绍视频，很强大！
非常感谢楼主分享！ |
 |
jackerApr 12, 2016
83
和国外的 kimono 太像啦
|
 |
cxshunApr 12, 2016
85
好强大，佩服楼主！
|
 |
codeyungApr 12, 2016
86
支持楼主！
|
 |
wq2016Apr 12, 2016
87
支持一个！
|
 |
myforgameApr 12, 2016
88
屌爆了
|
|
jackerApr 12, 2016
90
以前做过 SEO ，采集方面主要是采集后伪原创处理然后发布，现在主要做一些运营方面，会遇到需要采集一些数据做分析，根据这两方面我个人感觉可以加上的几个功能是
1.根据部分开源的程序有通用的规则，方便小白来采集（如 WordPress ，或者 magento ）； 2.对接一些 API ，如 copypass 等 如果能根据数据生成图就更好啦 kimono 可以生成自己的 API ，这个功能也是非常不错的 |
 |
vioseyApr 13, 2016
91
太强大了, 虽然说个人免费使用, 但是即使收费了也是毫不犹豫的买买买
|
|
92
|
 |
vvaaiinnApr 13, 2016
93
NB 啊。求个邀请码注册玩玩
|
 |
wingyiuApr 15, 2016
94
NB
|
|
wingyiuApr 15, 2016
95
test 账号进去各种 error ，引导做得不好，居然不是开源，不过好像反编译就行了
|
 |
quericyApr 20, 2016
96
看完 LZ 的项目,感觉自己写的爬虫的通用性就是个笑话
6 年....佩服 LZ 的毅力 |
|
mew7woMay 25, 2016
97
个人安装之后，用什么帐号可以登录使用个人采集器
|
 |
jinfeng333Aug 19, 2016
98
佩服楼主的毅力
|
 |
sparkssssssssAug 20, 2016 via Android
99
膜拜！！！！
|
 |
fanghuiFeb 21, 2017
100
@sohoer 主要问题是没有 xpath 表达式显示在页面的左上角,你可以看下截图，截图地址： https://pan.baidu.com/s/1ctf1Yu
|
1
Select Language