爱意满满的作品展示区。
sohoer

做了两年多的一个项目,第一次邀请测试,希望对您有用

  •  
  •   sohoer ·
    speed · Apr 9, 2013 · 18489 views
    This topic created in 4956 days ago, the information mentioned may be changed or developed.
    之前没想过把他做成产品只是按照自己的实际需求做,断断续续用业余时间做了快两年,为了完成这个项目在去年12月断然离职到现在全职做了4个月,
    现在总算是可以晒出来给大家用用了。

    他是一款WEB版的通用型网页数据采集工具,我叫他鸟巢采集器。
    鸟巢采集器拥有强大的内容采集和数据过滤功能,基于JAVA语言开发,是平台无关的可以在任何系统上运行。
    鸟巢采集器分WEB端和后端应用,WEB端不干预后端应用的逻辑只为后端应用提供可视化的操作界面,后端应用完全由用户部署管理,包含“采集器应用”、“爬虫池应用”、“爬虫应用”。
    通过WEB端对后端应用的接入,可以对后端应用进行可视化管理。

    鸟巢采集器访问地址:
    http://www.newcrawler.com/

    鸟巢采集器能做些什么:
    采集数据、博客迁移、友情链接检查、定向采集实现垂直搜索 等等。

    鸟巢采集器相比其它采集器的优势:
    1、平台无关,可以在任何系统上运行如:Linux、Windows ...
    2、可以运行在云环境 PAAS 平台上如:Google App Engine 、Sina App Engine 、AppFog ...
    3、Raspberry Pi 也是支持的。
    4、提供四种插件,让鸟巢采集器可以满足更多更复杂的需求。
    5、可以将采集到的数据以文本或附件的形式发布到指定的邮箱,如推送资讯到Kindle。
    6、使用WEB的管理方式,可以在任何终端上操作。
    总之最大的优势是WEB版平台无关,其它核心功能也都有。


    目前唯一一个在用鸟巢采集器抓取数据的网站:
    http://www.shishibi.com/

    如果您只想看看效果请使用下面的账号密码登录
    test
    test

    如果您想试用请留下邮箱,我将给您发送邀请码

    PS: 正式版发布后会考虑收费但肯定会至少有1个月的试用期,试用期过后后端应用还是可以正常使用的,只是不可以通过WEB端进行可视化管理,对于邀请注册的用户在正式版发布后至少可以多免费使用1年。
    提前声明英文版还没找专业人士翻译目前是直接GOOGLE的。
    鸟巢采集器还有一个爬虫分享计划,试想一下每抓取一个页面换一个IP是不是很爽呢,只是目前尚未启动 ^^
    Supplement 1  ·  Apr 9, 2013
    不知道有没有人发布应用,附上安装说明

    1.下载GAE发布工具 “windows-gae-deploy-tools.zip” 与采集器应用包 “soso-crawler-gae.zip”
    http://pan.baidu.com/share/link?shareid=359591&uk=539995500
    http://pan.baidu.com/share/link?shareid=366793&uk=539995500

    2.解压 windows-gae-deploy-tools.zip
    解压 soso-crawler-gae.zip 到发布工具的war目录,war目录结构如下:
    -war
    -WEB-INF
    -index.html
    -favicon.ico
    ....

    2.修改project-app-deploy.xml配置文件,
    your.gae.app.id #Google App Engine 的App Id
    your.gae.account #Google App Engine 的账户
    your.gae.account.password #Google App Engine 的账户密码

    3.双击运行 deploy.bat 进行发布

    4.发布成功后接入你的采集器应用到WEB端
    登录newcrawler.com在
    系统设置 > 采集器管理
    填上你的刚刚发布的应用地址和名称点添加,成功后你就可以在WEB端管理你的采集器应用了
    Supplement 2  ·  Apr 9, 2013
    还需要注意的一点,GAE应用需要Datastore Indexes创建好之后才能使用,大家可以在GAE的控制台查看Datastore Indexes 状态
    谢谢刚刚反馈的用户。
    149 replies  •  2015-04-25 00:43:13 +08:00
    1  2  
    ❮ ❯
    niko
    niko
    Apr 9, 2013
    1
    貌似很NB的样子,给个邀请码吧, [email protected]
    ostrichmyself
    ostrichmyself
    Apr 9, 2013
    2
    [email protected]

    看好你~
    Ziya
    Ziya
    Apr 9, 2013
    3
    邀请下看看吧
    Ziya.TLF#Gmail.com
    sohoer
    sohoer
    OP
    Apr 9, 2013
    4
    @Ziya
    @ostrichmyself
    @niko
    已发送,注意查收,谢谢支持!
    lj0014
    lj0014
    Apr 9, 2013
    5
    来试用下,曾用scrapy爬过数据

    lj0014#gmail.com
    jerry
    jerry
    Apr 9, 2013
    6
    嗯,有需求,来个邀请码试试嘛 lxb429#gmail.com
    Isight
    Isight
    Apr 9, 2013
    7
    这个跨平台不错,求测试 zbq#live.cn
    iiduce
    iiduce
    Apr 9, 2013
    8
    这个感兴趣 iiduce#163.com
    andybest
    andybest
    Apr 9, 2013
    9
    求邀请,已注册了: hankfo#gmail.com
    jackyzy823
    jackyzy823
    Apr 9, 2013 via iPhone
    10
    jackyzy823#gmail.com 感兴趣→_→
    nsxuan
    nsxuan
    Apr 9, 2013 via Android
    11
    juven
    juven
    Apr 9, 2013
    12
    感兴趣,谢LZ。juven.lab # gmail.com
    sohoer
    sohoer
    OP
    Apr 9, 2013
    13
    @juven
    @nsxuan
    @jackyzy823
    @andybest
    @iiduce
    @Isight
    @jerry
    @lj0014

    已发送,注意查收,谢谢支持!
    binux
    binux
    Apr 9, 2013❤️1
    14
    test账号试用了一下,感觉太复杂了,太流程化了

    贴一个我们的爬虫系统图,用程序化脚本控制
    sohoer
    sohoer
    OP
    Apr 9, 2013
    15
    @binux 你这个不是通用的吧,自己定制是可以做到最简单的效果,如果每次都定制这个工作量就大了
    Mrlee
    Mrlee
    Apr 9, 2013
    16
    Gmail: @Bestmrlee
    sevenday
    sevenday
    Apr 9, 2013
    17
    麻烦发个邀请码,多谢! mustnot # gmail.com
    andybest
    andybest
    Apr 9, 2013
    18
    @sohoer 是不是给账户默认提供一个环境?
    现在要自己有GAE,并且安装3份程序到自己GAE,自己机器还要装发布工具。。。。

    这个测试成本也太高了。。想简单看下功能都不行。。。。
    lj0014
    lj0014
    Apr 9, 2013
    19
    试用了下,没整成功,总是报错。
    markmx
    markmx
    Apr 9, 2013
    20
    imanbian#gmail.com
    求邀请码!
    andybest
    andybest
    Apr 9, 2013
    21
    应用安装第一次安装没有成功,
    现在现在再点就是“请升级您的账户”了。
    sohoer
    sohoer
    OP
    Apr 9, 2013
    22
    @andybest
    要想用GAE、APPFOG的免费空间是麻烦点,需要自己手动部署,为了方便部署我提供了一个GAE的发布工具。
    也可以部署在本地那样也需要做端口映射让外网可以访问

    @lj0014 刚刚有人使用了GAE在线安装,这个功能其实已经做好了,只是需要我提供服务器来发布你的GAE应用,只是目前还没有提供这台服务器。所以我暂时把它这功能关了,

    现在需要您在本地发布,我有提供一个GAE发布工具,按照Readme.txt中步骤应该可以发布成功
    sohoer
    sohoer
    OP
    Apr 9, 2013
    23
    @andybest 原来是你,不好意思我刚刚把这功能关了
    andybest
    andybest
    Apr 9, 2013
    24
    @sohoer 至少提供一个默认的“采集器”吧
    说实话作为一个WEB项目让人安装程序有点不应该

    另外有测试成功的吗?发布个教程呗。。。
    sohoer
    sohoer
    OP
    Apr 9, 2013
    25
    @Mrlee
    @sevenday
    @markmx

    已发送,注意查收,谢谢支持!
    sohoer
    sohoer
    OP
    Apr 9, 2013
    26
    @andybest
    "Google App Engine 发布工具" 用这个工具无法发布GAE应用吗? 这个工具我测试过的呀!
    lj0014
    lj0014
    Apr 9, 2013
    27
    @sohoer 我就是刚用了GAE在线安装
    andybest
    andybest
    Apr 9, 2013
    28
    @sohoer 恩,我觉得你这个页面框架做的不错,比如异常堆栈的输出/显示方法,安装过程信息的同步输出这些,所以觉得东西做的应该值得看
    sohoer
    sohoer
    OP
    Apr 9, 2013
    29
    @lj0014
    @andybest
    你们下载"Google App Engine 发布工具"这个工具发布吧!
    sohoer
    sohoer
    OP
    Apr 9, 2013
    30
    @andybest 全是HTML+ajax
    sohoer
    sohoer
    OP
    Apr 9, 2013
    31
    @andybest 目前是部署在GAE上的
    sohoer
    sohoer
    OP
    Apr 9, 2013
    32
    @andybest 我一定会努力把功能都做好的,谢谢你
    wingoo
    wingoo
    Apr 9, 2013
    33
    地址打不开了?
    csx162
    csx162
    Apr 9, 2013
    34
    支持一下,以前都用火车,想试试这个,求邀请
    sohoer
    sohoer
    OP
    Apr 9, 2013
    35
    @wingoo 看来WEB端部署在GAE不是长久之计
    sohoer
    sohoer
    OP
    Apr 9, 2013
    36
    @csx162
    67a64bbf656901c5
    l0wkey
    l0wkey
    Apr 9, 2013
    37
    zzm110112@163.
    xiiing
    xiiing
    Apr 9, 2013
    38
    可不可以导出腾讯微博?
    sohoer
    sohoer
    OP
    Apr 9, 2013
    39
    @xiiing 能给个微博地址吗,我试抓一下
    inroading
    inroading
    Apr 9, 2013
    40
    挂上VPN就可以打开了
    求邀请 inroading#gmail.com
    sohoer
    sohoer
    OP
    Apr 9, 2013
    41
    @xiiing
    刚刚看了下腾讯微博的数据,不是ajax的,只要不是ajax的100%是可抓取的,ajax的会有些不确定性,得看javascript解析引擎

    @l0wkey
    @inroading
    已发送,注意查收,谢谢支持!
    drupal
    drupal
    Apr 9, 2013
    42
    希望能够测试drupal#sina.cn
    Wy4q3489O1z996QO
    Wy4q3489O1z996QO
    Apr 9, 2013
    43
    希望能够测试一下 romotc#@#gmail .dot. com
    kamehamehon
    kamehamehon
    Apr 9, 2013
    44
    @sohoer 求一个联系方式
    workaholic
    workaholic
    Apr 9, 2013
    45
    关注你很久了哥们, ^_^ , v2sker # gmail.com
    sohoer
    sohoer
    OP
    Apr 9, 2013
    46
    @kamehamehon
    其实收了邀请码的都可以联系到我的


    @drupal
    @romotc
    @workaholic
    已发送,注意查收,谢谢支持!
    workaholic
    workaholic
    Apr 9, 2013
    47
    @sohoer 不能添加爬虫池,提示"错误:需要升级您的账户"
    durrrr
    durrrr
    Apr 9, 2013 via Android
    48
    求邀请
    ihaku4#gmail.com
    sohoer
    sohoer
    OP
    Apr 9, 2013
    49
    @workaholic 爬虫池还没有开放,添加一个采集器应用就可以爬数据了.
    AnyOfYou
    AnyOfYou
    Apr 9, 2013
    50
    看上去很棒!
    anyofyou(AT)gmail.com
    nan0kai
    nan0kai
    Apr 9, 2013
    51
    @sohoer
    感觉潜力相当大。求邀请码帮你测试试用下
    [email protected]
    谢谢
    binux
    binux
    Apr 9, 2013
    52
    @sohoer 当然是通用的了,你需要为每个站加规则,而我通过代码表达规则
    sohoer
    sohoer
    OP
    Apr 9, 2013
    53
    @binux 好吧是不是可以把他当成一个DOS 一个WIN的区别
    sohoer
    sohoer
    OP
    Apr 9, 2013
    54
    @binux 不过确实还不够简单,到时我会考虑将一些不常用的选项做为高级选项隐藏起来
    thedevil5032
    thedevil5032
    Apr 9, 2013 via iPad
    55
    @binux 可以弱弱地问问你的截图里是个什么软件吗?
    binux
    binux
    Apr 9, 2013
    56
    @sohoer 用代码更灵活,任何页面都可以爬,任何情况都能适配,要新功能import就可以
    甚至可以在框架内实现一套你的导出规则,当然要有一点代码基础。。不过用的是python还好。。
    jeansfish
    jeansfish
    Apr 9, 2013
    57
    jeansfish#####outlook.com
    来一个看看
    binux
    binux
    Apr 9, 2013
    58
    @thedevil5032 我们自己开发的爬虫引擎
    kaifazhe
    kaifazhe
    Apr 9, 2013
    59
    admin#html5点cn

    发一个,谢谢
    sohoer
    sohoer
    OP
    Apr 9, 2013
    60
    @binux 其实我的也很灵活的,有抓取插件,javascript的支持就是通过插件实现的,其实越灵活变相的就越复杂,我发现我这工具目前都无法面向一般的大众用户的。
    adspe
    adspe
    Apr 9, 2013
    61
    不错
    来一个
    [email protected]
    lushnis
    lushnis
    Apr 9, 2013
    62
    求邀請 lushnis[AT]gmail.com
    huangzxx
    huangzxx
    Apr 9, 2013
    63
    zhongxin.huang[at]gmail.com 谢谢。。
    sohoer
    sohoer
    OP
    Apr 9, 2013
    64
    以上用户邀请码都以发送如果没有收到请与我联系,谢谢支持!
    anyalso
    anyalso
    Apr 9, 2013
    65
    我也求一个 anyalso[at]yahoo.com.cn,谢谢
    pengdu
    pengdu
    Apr 9, 2013
    66
    赞楼主!
    python有个scrapy,做爬虫很好。之前小弄了个快播电影站(http://17sotv.com/),就是用的scrapy,从页面采集,解析,入库一条龙服务。
    sohoer
    sohoer
    OP
    Apr 9, 2013
    68
    @yuhuofeihe
    @anyalso
    已发送,注意查收,谢谢支持!

    @pengdu
    谢谢!其实我也有很多站想做的。
    Yannis1990
    Yannis1990
    Apr 10, 2013
    69
    求邀请,求测试.... excellentbright#gmail.com
    TigerS
    TigerS
    Apr 10, 2013
    70
    给一个邀请吧,z.jiang##queensu.ca
    ksky
    ksky
    Apr 10, 2013 via iPhone
    71
    要个邀请 hebine#me.com
    guokb
    guokb
    Apr 10, 2013
    72
    @sohoer 同球個邀請碼 guokb0922[at]126.com 謝謝!
    parkman
    parkman
    Apr 10, 2013
    73
    求邀请码 [email protected]
    zetttt
    zetttt
    Apr 10, 2013
    74
    同求邀请码 [email protected]
    haker
    haker
    Apr 10, 2013
    75
    求邀请码 myhaker[at]gmail.com
    jasla
    jasla
    Apr 10, 2013
    76
    langqixu[at]gmail.com
    感谢。
    amirfish
    amirfish
    Apr 10, 2013
    77
    求邀请码,谢谢!
    amirfish.cn[at]gmail.com
    hdinfo
    hdinfo
    Apr 10, 2013
    78
    球邀请码,谢谢
    [email protected]
    sohoer
    sohoer
    OP
    Apr 10, 2013❤️1
    79
    @TigerS
    @ksky
    @guokb
    @parkman
    @zetttt
    @haker
    @jasla
    @amirfish
    @hdinfo

    邀请码已发,谢谢支持!
    xiiing
    xiiing
    Apr 10, 2013
    80
    @sohoer t.qq.com/sailingyang
    谢谢,一直想导出来
    Tinet
    Tinet
    Apr 10, 2013
    81
    tinetkiller#gmail.com
    给我也发一个吧
    sohoer
    sohoer
    OP
    Apr 10, 2013
    82
    @xiiing
    目前只提供抓取与通过接口发布,还没有数据导出的功能。

    @Tinet
    邀请码已发,谢谢支持!
    madfrog1984
    madfrog1984
    Apr 10, 2013
    83
    madfrog1984#gmail.coom 求邀请码
    firsthym
    firsthym
    Apr 10, 2013
    84
    penglilonghc
    penglilonghc
    Apr 11, 2013
    85
    penglilonghc#gmail.com 求缴请,求测试
    molinxx
    molinxx
    Apr 11, 2013 via iPhone
    86
    uoryon
    uoryon
    Apr 11, 2013
    87
    [email protected]
    求邀請。
    dengyunxuan
    dengyunxuan
    Apr 11, 2013
    88
    dengyunxuan#qq.com 求邀请!!!
    DXpro
    DXpro
    Apr 11, 2013
    89
    [email protected] 求邀请!!!
    welsmann
    welsmann
    Apr 11, 2013
    90
    [email protected],求邀请!!!
    sohoer
    sohoer
    OP
    Apr 11, 2013
    91
    @madfrog1984
    @firsthym
    @penglilonghc
    @molinxx
    @uoryon
    @dengyunxuan
    @DXpro
    @welsmann

    邀请码已发,谢谢支持!
    solo7net
    solo7net
    Apr 11, 2013
    92
    我来试用
    solo.7net 爱它 gmail.com
    creeper
    creeper
    Apr 11, 2013
    93
    求邀请码,谢谢了~ [email protected]
    XDA
    XDA
    Apr 11, 2013
    94
    码子在哪里? [email protected]
    Tianpu
    Tianpu
    Apr 11, 2013 via iPhone
    95
    dull # live.com

    谢谢
    glongzh
    glongzh
    Apr 11, 2013 via Android
    96
    很感兴趣!

    glongzh#126.com

    谢谢!
    lin
    lin
    Apr 11, 2013
    97
    khb_gl
    khb_gl
    Apr 12, 2013
    98
    [email protected] 可以很强大。 求白名单适用
    koon_kai
    koon_kai
    Apr 12, 2013 via Android
    99
    [email protected] 求邀请使用
    yearsaaaa
    yearsaaaa
    Apr 12, 2013
    100
    1  2  
    ❮ ❯
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   1392 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 154ms · UTC 22:25 · PVG 06:25 · LAX 14:25 · JFK 17:25
    ♥ Do have faith in what you're doing.