今天了解到部门内的运维相关的两个系统居然通过爬虫交流。 一个动态监控故障追加到 redmine,一个实时从 redmine 爬故障信息给对应的负责人发通知的系统(本地客户端) 这种操作太搞笑了,分享一下
今天了解到部门内的运维相关的两个系统居然通过爬虫交流。 一个动态监控故障追加到 redmine,一个实时从 redmine 爬故障信息给对应的负责人发通知的系统(本地客户端) 这种操作太搞笑了,分享一下
|
airflingNov 26, 2020
1
还好,没人开发运维系统就这样也不错
|
|
crclzNov 26, 2020
2
看上去很笨拙,但是很多事情能 work 就谢天谢地了
|
|
lrh3321Nov 26, 2020
3
异步通信 #(狗头
|
|
luckyrayyyNov 26, 2020
4
反正能跑
|
|
5
又不是不能用
|
|
tzigoneNov 26, 2020
6
这个情况很多 ,
1. 两套系统都没接口 2. 两套系统的归属不一致 不用人工导入,要实现自动化,爬虫还真是解决之道 |
|
7
换个说法就高端了: “我们使用 redmine 集中管理各个系统的故障事件,并基于 redmine 自研了主动式消息通知系统”
|
|
8
罗永浩头
罗永浩头 罗永浩肩 罗永浩肩 白板 罗永浩手臂 白板白板白板白板白板 白板白板 罗永浩手指 白板白板白板白板 白板白板 又不是不能用 白板白白板白板 白板白板白板白板白板白板白板白板白板 |
|
9
等你看懂了 redmine 的 reset api 文档动起手写代码的时候,我爬虫已经写好运行起来了🐶🐶
|
|
msanaNov 26, 2020
10
我们曾经还通过爬虫实现了各系统的单点登录
|
|
Takashi123Nov 26, 2020
11
哈哈我也做过类似的操作,用 vba 做一些小功能的时候从我自己的网站爬取一个字段表示版本号,用来更新自己。
|
|
12
刚毕业的时候做过一种中间件,干嘛的呢?
现有一套业务系统,需要做移动端。 没有接口怎么办。 我们就爬系统,一个个功能试。最终做成一个 api 服务器。 移动端再去调用这个 api 服务。 |
|
xiaolinjiaNov 26, 2020
13
nacos 没提供 rest api 模糊查询的时候,我也是用爬虫拿某个 group 的所有配置的。
|
|
14
《最强解耦》
|
|
15
《基于网络爬虫的微服务实践》
|
|
16
鹅厂当年搞 linuxqq 的时候, 显 IP 版 QQ 显示用 linuxqq 的用户都是来自深圳腾讯
当时就有种猜测,linuxqq 的协议是非标的, 用户发的数据都是转到鹅厂的中间服务器, 再转成标准的 qq 数据扔给 QQ 服务器....... |
|
kingfalseNov 26, 2020 via Android
17
与其跨部门对接扯淡,还不如直接去爬,没毛病
|
|
yh7gdiaYWNov 26, 2020
18
实习的时候部门还真是这么搞得,也是 redmine
|
|
19
|
|
murmurNov 26, 2020
20
这不是很正常么,我们集团的 oa 做移动端适配就是爬虫
|
|
leeguoNov 26, 2020
21
又不是不能用
|
|
22
后续:现在貌似是打算后续弄成接口了😅
|
|
zjsxwcNov 26, 2020 via Android
23
不用改 redmine 代码呢
|
|
VegetableNov 26, 2020
25
这不是很常规的操作吗?
有时候运营希望做一个导出功能,更简单的办法其实是写一个导出脚本而不是前端后端一起该系统。 见怪不怪了,少年,早点下班不香吗 |
|
26
尝试定制下 redmine 就知道 还是爬虫简单
|
|
mikuazusaNov 26, 2020
27
常规操作,很多异构系统和老系统根本找不到人改了,这是最快捷的办法了...
|
|
kop1989Nov 26, 2020
28
肯定是因为被取数的系统不配合而导致。
这个太正常了。 比如因为某些原因不能更新,比如两边领导不对付,比如双方都对接,都不想当工作量大的那方等等 |
|
vwhenxNov 26, 2020
29
调用 API 本身和爬虫原理上就是一回事啊,你仔细想想
|
|
ikNov 26, 2020 via iPhone
30
😢, 本人写过从内部一个系统抓取数据同步到 redmine....
|
|
TinkNov 26, 2020
31
又不是不能用
|
|
littlewingNov 26, 2020 via iPhone
32
公司内部部门之间的合作远比你想象得困难得多
|
|
ajaxfunctionNov 26, 2020
33
巧了,我们部门内部也是用的爬虫,因为要协调其他分公司太难了,数据泄露还追责。
只好模拟登录取数据,然后二次开发 |
|
xingyun12Nov 26, 2020
34
这才是完全匹配哈哈。不用担心中间商赚差价
|
|
sDG9xz87SqqCC3mNNov 26, 2020 via Android
35
又不是不能用,哈哈
|
|
huobaziNov 26, 2020
36
领导让你 “敏捷” 的用上一上午开发这个功能的时候,能想到这个办法的是人才。
你是没见过爬数据丢 ftp,另一个部门定时去 ftp 拉文件处理的。 |
|
DoctorCatNov 26, 2020
37
没准,完美的解释了康威定律
|
|
cherryasNov 26, 2020
38
很正常,伪静态其中的一种方法不就是这样?
|
|
laminux29Nov 26, 2020
39
大惊小怪。
你没见到过领导指挥几个员工干活,员工慢吞吞故意拖着不干,领导没办法,只能重新招相同数量的几个人,来试图分掉他们的工作。 然后新进来的这几个人,又被另外一个部门的更高地位的大 boss 直接拿走了好几个。 剩下的几个,又被下属领导分掉几个,最后真正能实现当初目的的只剩下一个了。 接着部门有个大项目,同部门另一个组要这个组配合,该组不仅不配合,还各种拖后腿。 这些事情见多了,你这种小事自然就见怪不怪了。 世界之大,无奇不有,但很多矛盾归纳起来,其实就是利益二字在作祟。 |
|
MakeItGreatNov 26, 2020 via Android
40
|
|
NicocoNov 26, 2020
41
想象力一级棒
|
|
levelwormNov 26, 2020 via Android
42
我们当初需要每个月进 BI 系统手动下载几百个 csv,后来我实在受不了就用 vba 写了个爬虫,然后在 excel 里自动处理一下转换成 csv 。
|
|
akiraNov 27, 2020
44
运维系统啊。。正常。。
|
|
fmumuNov 27, 2020
45
有个系统要对接,又不提供接口,咋办呢
|
|
46
这叫 RPA
|
|
madpecker009Nov 27, 2020
47
@catsoul 现在都这么抽象的了么
|
|
milukunNov 27, 2020
49
😄同类的事情还有网站的 web 端和 app 端是两个团队,app 端同步 web 端的文章数据是靠爬虫 XD
不过高级一点的是 web 端发布文章后会推送消息给爬虫,然后爬虫启动 原因是因为本来是两家公司,然后 web 端和 app 端编辑后台不是互通的 |
|
NjcyNzMzNDQ3Nov 27, 2020
50
原来大家都是这么想的啊,又不是不能用。
不然沟通、折腾联调接口真的很累啊。 |
|
51
太正常了,求别的部门给个接口比什么都难,还不如自己动手写爬虫,我们这特别是运维或者部署这块的流程,全靠爬虫实现自动化
|
|
annielongNov 27, 2020
53
好多内外不同的项目都用 ftp,看过一个据说最严的物理隔离用摄像头取数据
|
|
hareandlionNov 27, 2020 via Android
54
不同的设计标准导致最后只能从 UI 交换系统间的信息,
|
|
hareandlionNov 27, 2020 via Android
55
不同的设计标准导致最后只能从 UI 交换系统间的信息,但是……相比还在运行的上个世纪的系统,这已经算进步了吧🤣
|
|
heyhumorNov 27, 2020
56
存在即合理
|
|
wangkun025Nov 27, 2020
57
赞。
|
|
supuwoercNov 27, 2020
59
我们有个 zf 内网的项目,年头久远,需要内网文件外网预览,写了个服务专门把内网的 blob 推送到外网数据库,再下载到外网环境的机器上,再走 office web365 预览 =。=||
|
|
jsjgjbzhangNov 27, 2020
62
别说小公司了 就是大公司也有这么干的
|
|
wolongNov 29, 2020 via iPhone
63
两套系统,应该是常规操作了。之前维护过一个系统,要求供应商提供接口,但是价格翻倍(原价一年 20 万,提供接口要 40 万),老板不愿加钱,让我们自己想办法。除了爬虫还能有什么方法。
另一套系统也是不提供接口,不过使用了数据库,我们直接连到了远程数据库取数据,后来公司换了一个技术负责人,说不给这样直接连接远程数据库,又只好用爬虫。 |
|
julyclydeNov 30, 2020
64
宽松耦合
|