Home Sign Up Sign In
nyfwan123
V2EX  ›  问与答

需求征集 这样的产品有没有人用？

  •   
  •   nyfwan123 · Apr 14, 2022 · 1606 views
    This topic created in 1670 days ago, the information mentioned may be changed or developed.
    一个爬虫综合管理框架
    整合了常见如 github 、Twitter 、rss 等等等等采集源数据接口
    使用者只需要按照定义好的配置文件规范编写配置文件就可以零代码管理众多爬虫
    同时输出 api 、log 、task 信息等（无 GUI ）

    如果有 我就做一个（免费但不开源）
    提示：我只是提供了一个框架 并不是提供爬虫 最终某用户因为写了某目标的配置文件导致爬虫运行 与我无关
  • 爬虫
  • 文件
  • 框架
  • GUI
    6 replies
    986244073
    986244073
    Apr 14, 2022❤️1
    1
    可以做一个
    freeup
    freeup
    Apr 14, 2022
    2
    和八爪鱼挺像的功能 目的都是减少爬虫开发工作量
    nyfwan123
    nyfwan123
    OP
    Apr 14, 2022
    3
    @freeup 八爪鱼是 win 下的那个软件吧 我目的是想做长任务 服务端下的 长久自运行 定时任务
    freeup
    freeup
    Apr 14, 2022❤️1
    4
    @nyfwan123 嗯 就是 win 下面的那个软件 很久之前见过的东西 但是一直没有用过 刚才特意看了下现在支持挺多功能了 比如 云采集 自然语言处理 预制模板等等 不过楼主定位于他些许不一样 适用人群也有差别 不能算完全同质产品
    Pythoner666666
    Pythoner666666
    Apr 14, 2022
    5
    我见过这种 一个用 go 写的
    nyfwan123
    nyfwan123
    OP
    Apr 14, 2022
    6
    @Pythoner666666 crawlab 是吧
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   2081 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 36ms · UTC 14:45 · PVG 22:45 · LAX 06:45 · JFK 09:45
    ♥ Do have faith in what you're doing.