• 请不要在回答技术问题时复制粘贴 AI 生成的内容
muraku
V2EX  ›  程序员

部门内部的两个系统居然是爬网页传信息

  •  
  •   muraku · Nov 26, 2020 via iPhone · 10655 views
    This topic created in 2168 days ago, the information mentioned may be changed or developed.

    今天了解到部门内的运维相关的两个系统居然通过爬虫交流。 一个动态监控故障追加到 redmine,一个实时从 redmine 爬故障信息给对应的负责人发通知的系统(本地客户端) 这种操作太搞笑了,分享一下

    64 replies  •  2020-11-30 19:58:57 +08:00
    airfling
    airfling
    Nov 26, 2020
    1
    还好,没人开发运维系统就这样也不错
    crclz
    crclz
    Nov 26, 2020
    2
    看上去很笨拙,但是很多事情能 work 就谢天谢地了
    lrh3321
    lrh3321
    Nov 26, 2020
    3
    异步通信 #(狗头
    luckyrayyy
    luckyrayyy
    Nov 26, 2020
    4
    反正能跑
    ByZHkc3
    ByZHkc3
    Nov 26, 2020❤️1
    5
    又不是不能用
    tzigone
    tzigone
    Nov 26, 2020
    6
    这个情况很多 ,
    1. 两套系统都没接口
    2. 两套系统的归属不一致
    不用人工导入,要实现自动化,爬虫还真是解决之道
    stardustree
    stardustree
    Nov 26, 2020❤️27
    7
    换个说法就高端了: “我们使用 redmine 集中管理各个系统的故障事件,并基于 redmine 自研了主动式消息通知系统”
    catsoul
    catsoul
    Nov 26, 2020❤️26
    8
    罗永浩头
    罗永浩头
    罗永浩肩 罗永浩肩
    白板 罗永浩手臂 白板白板白板白板白板
    白板白板 罗永浩手指 白板白板白板白板
    白板白板 又不是不能用 白板白白板白板
    白板白板白板白板白板白板白板白板白板
    heyjei
    heyjei
    Nov 26, 2020❤️1
    9
    等你看懂了 redmine 的 reset api 文档动起手写代码的时候,我爬虫已经写好运行起来了🐶🐶
    msana
    msana
    Nov 26, 2020
    10
    我们曾经还通过爬虫实现了各系统的单点登录
    Takashi123
    Takashi123
    Nov 26, 2020
    11
    哈哈我也做过类似的操作,用 vba 做一些小功能的时候从我自己的网站爬取一个字段表示版本号,用来更新自己。
    HuHui
    HuHui
    Nov 26, 2020❤️2
    12
    刚毕业的时候做过一种中间件,干嘛的呢?

    现有一套业务系统,需要做移动端。
    没有接口怎么办。
    我们就爬系统,一个个功能试。最终做成一个 api 服务器。
    移动端再去调用这个 api 服务。
    xiaolinjia
    xiaolinjia
    Nov 26, 2020
    13
    nacos 没提供 rest api 模糊查询的时候,我也是用爬虫拿某个 group 的所有配置的。
    acmore
    acmore
    Nov 26, 2020❤️4
    14
    《最强解耦》
    ynkkdev
    ynkkdev
    Nov 26, 2020❤️22
    15
    《基于网络爬虫的微服务实践》
    westoy
    westoy
    Nov 26, 2020❤️2
    16
    鹅厂当年搞 linuxqq 的时候, 显 IP 版 QQ 显示用 linuxqq 的用户都是来自深圳腾讯

    当时就有种猜测,linuxqq 的协议是非标的, 用户发的数据都是转到鹅厂的中间服务器, 再转成标准的 qq 数据扔给 QQ 服务器.......
    kingfalse
    kingfalse
    Nov 26, 2020 via Android
    17
    与其跨部门对接扯淡,还不如直接去爬,没毛病
    yh7gdiaYW
    yh7gdiaYW
    Nov 26, 2020
    18
    实习的时候部门还真是这么搞得,也是 redmine
    murmur
    murmur
    Nov 26, 2020
    20
    这不是很正常么,我们集团的 oa 做移动端适配就是爬虫
    leeguo
    leeguo
    Nov 26, 2020
    21
    又不是不能用
    muraku
    muraku
    OP
    Nov 26, 2020 via iPhone
    22
    后续:现在貌似是打算后续弄成接口了😅
    zjsxwc
    zjsxwc
    Nov 26, 2020 via Android
    23
    不用改 redmine 代码呢
    Saszr
    Saszr
    Nov 26, 2020
    24
    @HuHui #12 +1
    Vegetable
    Vegetable
    Nov 26, 2020
    25
    这不是很常规的操作吗?
    有时候运营希望做一个导出功能,更简单的办法其实是写一个导出脚本而不是前端后端一起该系统。
    见怪不怪了,少年,早点下班不香吗
    lotosbin
    lotosbin
    Nov 26, 2020 via iPhone❤️1
    26
    尝试定制下 redmine 就知道 还是爬虫简单
    mikuazusa
    mikuazusa
    Nov 26, 2020
    27
    常规操作,很多异构系统和老系统根本找不到人改了,这是最快捷的办法了...
    kop1989
    kop1989
    Nov 26, 2020
    28
    肯定是因为被取数的系统不配合而导致。
    这个太正常了。
    比如因为某些原因不能更新,比如两边领导不对付,比如双方都对接,都不想当工作量大的那方等等
    vwhenx
    vwhenx
    Nov 26, 2020
    29
    调用 API 本身和爬虫原理上就是一回事啊,你仔细想想
    ik
    ik
    Nov 26, 2020 via iPhone
    30
    😢, 本人写过从内部一个系统抓取数据同步到 redmine....
    Tink
    Tink
    Nov 26, 2020
    31
    又不是不能用
    littlewing
    littlewing
    Nov 26, 2020 via iPhone
    32
    公司内部部门之间的合作远比你想象得困难得多
    ajaxfunction
    ajaxfunction
    Nov 26, 2020
    33
    巧了,我们部门内部也是用的爬虫,因为要协调其他分公司太难了,数据泄露还追责。
    只好模拟登录取数据,然后二次开发
    xingyun12
    xingyun12
    Nov 26, 2020
    34
    这才是完全匹配哈哈。不用担心中间商赚差价
    sDG9xz87SqqCC3mN
    sDG9xz87SqqCC3mN
    Nov 26, 2020 via Android
    35
    又不是不能用,哈哈
    huobazi
    huobazi
    Nov 26, 2020
    36
    领导让你 “敏捷” 的用上一上午开发这个功能的时候,能想到这个办法的是人才。
    你是没见过爬数据丢 ftp,另一个部门定时去 ftp 拉文件处理的。
    DoctorCat
    DoctorCat
    Nov 26, 2020
    37
    没准,完美的解释了康威定律
    cherryas
    cherryas
    Nov 26, 2020
    38
    很正常,伪静态其中的一种方法不就是这样?
    laminux29
    laminux29
    Nov 26, 2020
    39
    大惊小怪。

    你没见到过领导指挥几个员工干活,员工慢吞吞故意拖着不干,领导没办法,只能重新招相同数量的几个人,来试图分掉他们的工作。

    然后新进来的这几个人,又被另外一个部门的更高地位的大 boss 直接拿走了好几个。

    剩下的几个,又被下属领导分掉几个,最后真正能实现当初目的的只剩下一个了。

    接着部门有个大项目,同部门另一个组要这个组配合,该组不仅不配合,还各种拖后腿。

    这些事情见多了,你这种小事自然就见怪不怪了。

    世界之大,无奇不有,但很多矛盾归纳起来,其实就是利益二字在作祟。
    MakeItGreat
    MakeItGreat
    Nov 26, 2020 via Android
    40
    Nicoco
    Nicoco
    Nov 26, 2020
    41
    想象力一级棒
    levelworm
    levelworm
    Nov 26, 2020 via Android
    42
    我们当初需要每个月进 BI 系统手动下载几百个 csv,后来我实在受不了就用 vba 写了个爬虫,然后在 excel 里自动处理一下转换成 csv 。
    raaaaaar
    raaaaaar
    Nov 26, 2020 via Android
    43
    @youngce #15 。。。
    akira
    akira
    Nov 27, 2020
    44
    运维系统啊。。正常。。
    fmumu
    fmumu
    Nov 27, 2020
    45
    有个系统要对接,又不提供接口,咋办呢
    sunus
    sunus
    Nov 27, 2020❤️1
    46
    这叫 RPA
    madpecker009
    madpecker009
    Nov 27, 2020
    47
    @catsoul 现在都这么抽象的了么
    muraku
    muraku
    OP
    Nov 27, 2020 via iPhone
    48
    @fmumu 都是自己人开发的,明明可以商量个接口的😓
    milukun
    milukun
    Nov 27, 2020
    49
    😄同类的事情还有网站的 web 端和 app 端是两个团队,app 端同步 web 端的文章数据是靠爬虫 XD
    不过高级一点的是 web 端发布文章后会推送消息给爬虫,然后爬虫启动
    原因是因为本来是两家公司,然后 web 端和 app 端编辑后台不是互通的
    NjcyNzMzNDQ3
    NjcyNzMzNDQ3
    Nov 27, 2020
    50
    原来大家都是这么想的啊,又不是不能用。

    不然沟通、折腾联调接口真的很累啊。
    x66
    x66
    Nov 27, 2020❤️1
    51
    太正常了,求别的部门给个接口比什么都难,还不如自己动手写爬虫,我们这特别是运维或者部署这块的流程,全靠爬虫实现自动化
    x66
    x66
    Nov 27, 2020
    52
    @x66 我们公司为了做一些订单自动化的工作,专门搞了一下基于爬虫的数字化转型项目
    annielong
    annielong
    Nov 27, 2020
    53
    好多内外不同的项目都用 ftp,看过一个据说最严的物理隔离用摄像头取数据
    hareandlion
    hareandlion
    Nov 27, 2020 via Android
    54
    不同的设计标准导致最后只能从 UI 交换系统间的信息,
    hareandlion
    hareandlion
    Nov 27, 2020 via Android
    55
    不同的设计标准导致最后只能从 UI 交换系统间的信息,但是……相比还在运行的上个世纪的系统,这已经算进步了吧🤣
    heyhumor
    heyhumor
    Nov 27, 2020
    56
    存在即合理
    wangkun025
    wangkun025
    Nov 27, 2020
    57
    赞。
    tangzh55
    tangzh55
    Nov 27, 2020
    58
    @catsoul #8
    @lc1450 #19
    supuwoerc
    supuwoerc
    Nov 27, 2020
    59
    我们有个 zf 内网的项目,年头久远,需要内网文件外网预览,写了个服务专门把内网的 blob 推送到外网数据库,再下载到外网环境的机器上,再走 office web365 预览 =。=||
    wangyzj
    wangyzj
    Nov 27, 2020
    60
    @catsoul #8 逗死我了
    CallMeReznov
    CallMeReznov
    Nov 27, 2020❤️1
    61
    讲道理没有问题啊,都是小作坊,野路子山炮,能快速监控与可维护才是我最关心的.
    找开发求给个状态接口跟球爹一样,还不如自己弄来的快。

    工作经历类似的问题我处理过 N 多,大概举几个例子。

    1.人脸抓拍系统,没有抓拍数据的统计数据报表,可业务那块每天都找我要,于是我就写了个 FLASK,你想看直接打开刷新一下。
    2.机房没温度监控,可空调老爆,没办法 9 块钱的 8266+1 块钱的 BMP180,插到服务器上然后用 zabbix 取值监控,最近我还搞了个小的抬头显示在我面前,可以随时看到机房温度,后面还想实现 ADB 电话与红外控制空调,和断电检测。
    3.前端摄像头在线率没办法统计,写了个端口监控更新状态,然后用 DJANGO 做后台管理展示.
    4.游戏业务被攻击,接口有问题被各种 CC 和撞库,还有直接注入到库游戏金币为负数的,开发解决不了就自己写脚本定时检测封禁。


    jsjgjbzhang
    jsjgjbzhang
    Nov 27, 2020
    62
    别说小公司了 就是大公司也有这么干的
    wolong
    wolong
    Nov 29, 2020 via iPhone
    63
    两套系统,应该是常规操作了。之前维护过一个系统,要求供应商提供接口,但是价格翻倍(原价一年 20 万,提供接口要 40 万),老板不愿加钱,让我们自己想办法。除了爬虫还能有什么方法。
    另一套系统也是不提供接口,不过使用了数据库,我们直接连到了远程数据库取数据,后来公司换了一个技术负责人,说不给这样直接连接远程数据库,又只好用爬虫。
    julyclyde
    julyclyde
    Nov 30, 2020
    64
    宽松耦合
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   5251 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 162ms · UTC 01:30 · PVG 09:30 · LAX 17:30 · JFK 20:30
    ♥ Do have faith in what you're doing.