Essaim
V2EX  ›  Java

请教下,物联网的大量数据采集如何保存数据

  •  
  •   Essaim · May 20, 2019 · 9877 views
    This topic created in 2738 days ago, the information mentioned may be changed or developed.
    公司突然要求做行车轨迹,而且还不调用地图软件的开放 api.然后让我这个半年开发经验,没有任何物联网数据的蔡狗子来搞.一点头绪都没有.
    简单的以公司 10W 个设备来计算,每天平均 3 小时在线,每 10 秒钟采集一条数据,那么一天的数据量就能达到上亿条.那么 mysql 等关系数据库肯定是不行了.但是实际数据大小肯定不大,一个设备 ID,一个经纬度信息,一个时间戳.
    简单的想了个思路:
    以一段路程作为一个单位,从起点开始采集数据,将数据放在 nosql 缓存中,然后当设备发送结束路径请求的时候,将数据打包序列化到文件中,通过 fastdfs 存储起来,然后在 mysql 中存储一条文件索引记录,因为系统的查询量比较少,所以性能应该还是过得去的.
    大佬们有没有更好的想法,或者我这个想法有什么不可行的地方,希望大家斧正.
    49 replies  •  2019-05-21 14:48:58 +08:00
    ThisDay
    ThisDay
    May 20, 2019 via Android
    1
    时序数据库了解一下
    wizzer
    wizzer
    May 20, 2019
    2
    1、业务拆分,实时数据只是在需要查看的时候才显示,比如 10 分钟内的实时数据可以放 redis ;
    2、历史数据,根据需要,每隔多长时间存 mongodb 去,而不是 10s 一次的保存;
    3、统计数据,可以实时统计出来的数据、或通过历史数据统计出的数据,放 mysql 里去,按月分表等;
    4、队列肯定是要加的,并发转队列,慢慢处理生成以上数据;
    MoHen9
    MoHen9
    May 20, 2019 via Android
    3
    一楼是正解,但是数据量一上去就必须得大数据了。
    snappyone
    snappyone
    May 20, 2019
    4
    时序数据库+1
    David1119
    David1119
    May 20, 2019
    5
    timescaleDB
    looseChen
    looseChen
    May 20, 2019 via iPhone
    6
    influxdb
    Essaim
    Essaim
    OP
    May 20, 2019
    7
    @leeyuzhe 谢谢,我去了解一下~
    goodryb
    goodryb
    May 20, 2019
    8
    云计算 IOT 平台了解一下,一条龙服务
    Essaim
    Essaim
    OP
    May 20, 2019
    9
    先说下另外一个想法,如果一段路线看做一个单位,并且绝对不会用这些数据来查询,那么是否可以直接把这段路程的所有数据打包成一个 json 字符串,然后存储到一个字段里面去,这样的话就可以忽略数据条数带来的影响了.但是相应的,是否会影响数据的使用?如果以后有什么新需求,需要对数据做统计的话.
    然后现在去了解一下时序数据库,统一谢过楼上各位.
    Essaim
    Essaim
    OP
    May 20, 2019
    10
    @goodryb 我先吐槽下公司决策层,虽然这些东西涉及到物联网,但是他们似乎根本没想往这方面发展,所以需求都是,数据保存一段时间后删除.
    采集这么多数据,然后后面还不用,还得出这么多钱,他们肯定不愿意了.
    goodryb
    goodryb
    May 20, 2019
    11
    @Essaim #10 你们公司有架构师吗,有的话这个问题应该是他来考虑的,如果没有,根据需求,给出 2-3 个解决方案和所需要的资源,提交老板审批即可。
    Essaim
    Essaim
    OP
    May 20, 2019
    12
    @goodryb 没有!后端目前就两人,我的上级以前还是搞安卓开发的,没有任何后端经验,在我两个月前进来后公司才开始做互联网项目.
    ps:我也不明白公司为什么不找个大牛招个半年开发经验的过来,我现在都特别想溜了.
    Essaim
    Essaim
    OP
    May 20, 2019
    13
    @goodryb 明白了,谢了,我看下几个方案,稍微评估下交给上级去.最难受的是上级还请陪产假了,公司后端目前就我一个.Orz
    goodryb
    goodryb
    May 20, 2019
    14
    @Essaim #12 没有就找第三方服务商去买,要不就用云平台,自己搞不了就不要硬抗,要不然到时候还要甩锅
    Essaim
    Essaim
    OP
    May 20, 2019
    15
    @goodryb 好的,谢谢.
    ynkkdev
    ynkkdev
    May 20, 2019
    16
    influxdb+1
    opengps
    opengps
    May 20, 2019
    17
    咱可以沟通一下,我做了 6 年多的汽车位置平台
    opengps
    opengps
    May 20, 2019
    18
    我第一版设计的 sqlserver,单数据库单表,实际应用达到了 15 亿行数据毫无压力,设计峰值每秒 3000,实际才用到 100 多点
    Vkery
    Vkery
    May 20, 2019
    19
    cassandra
    F281M6Dh8DXpD1g2
    F281M6Dh8DXpD1g2
    May 20, 2019
    20
    keep 以前存跑步轨迹的时候,是把 gps 坐标放到一个 json 数组里面,然后把这个数组 base64 之后用 zip 压缩这个字符串,然后放到 hbase 里.
    做分析的时候简直噩梦一样
    largecat
    largecat
    May 20, 2019 via Android
    21
    找半年经验的,对 boss 威胁小,
    哈哈
    Essaim
    Essaim
    OP
    May 20, 2019
    22
    @largecat 2333,我偶尔也会这么想.
    @opengps 老哥怎么联系.
    janxin
    janxin
    May 20, 2019
    23
    influxdb 了解一下
    janxin
    janxin
    May 20, 2019
    24
    @liprais 卧槽这个操作是怎么想到的,真神了
    opengps
    opengps
    May 20, 2019
    25
    @Essaim v 站 id 同微信 id
    opengps
    opengps
    May 20, 2019
    26
    @liprais 666,这是我见过最安全的操作方式
    opengps
    opengps
    May 20, 2019
    27
    更正 18 楼数据,iops 指标,闲时 100 多,忙时 500 左右,并发 tcp 在线连接数 20 万
    ponymaggie
    ponymaggie
    May 20, 2019
    28
    openTDB 可以看看
    ynkkdev
    ynkkdev
    May 20, 2019
    29
    @opengps 我想请教一下,在大概 15 亿行数据后, 假如需要调取某辆,某一天的某个时间段的轨迹数据,大概需要耗费多少时间?
    kim01
    kim01
    May 20, 2019❤️1
    30
    车联网行业做 GPS 定位的同仁路过,不好评价!!!
    cszchen
    cszchen
    May 20, 2019 via Android
    31
    行车轨迹一般要纠偏,也就是 gps 数据会有误差,一般采用地图 api 接口,自己搞会有点难度。
    tmac6740
    tmac6740
    May 20, 2019 via iPhone
    32
    之前做过 把位置数据绘制一张图片 存起来
    opengps
    opengps
    May 20, 2019
    33
    @youngce 很快,跟单表性能相差很小,因为做了表分区 https://www.opengps.cn/Blog/View.aspx?id=284
    opengps
    opengps
    May 20, 2019❤️1
    34
    @cszchen 自己做个纠偏库就很好办了,也有同行是输出时候做一次批量转化
    goodleixiao
    goodleixiao
    May 20, 2019
    35
    HBase 是一个开源的非关系型分布式数据库( NoSQL ),它参考了谷歌的 BigTable 建模,实现的编程语言为 Java。
    ynkkdev
    ynkkdev
    May 20, 2019
    36
    @opengps 感谢大佬的回复,博客看了很有启发。谢谢,祝工作顺利:)
    opengps
    opengps
    May 20, 2019 via Android
    37
    @youngce 实际应用更建议分库分表,因为数据库文件到了一定量,由于存储太大会不方便扩展,我当时是到了 700G,然后把轨迹部分单独换作 nosql 类型处理,现在则又走回 mysql 的老路,选用阿里云 drds 了
    wplct
    wplct
    May 20, 2019
    38
    先出方案和成本,调研也是做事情的基本
    老板不会怪罪你的
    rockyou12
    rockyou12
    May 20, 2019
    39
    别用关系库,虽然上面有人做过方案但是和专门的时序数据库没得比。哪怕在时序数据库里,influxdb 这种自己实现底层存储的都强国 opentsdb 这种依赖 hbase 的好几倍。

    我之前在做服务器监控的时候顺带研究过这块,最开始用的 elasticsearch 做采集,一天的数据有 20g,后来换成了 promethus 一天就 500m 都没有。由于关系库不会像专门的时序数据库这样有很多优化与压缩,所以至少存储上你会很快遇到压力。

    promethus 和 infuxdb 有很多设计上的相似,所以可以期望 infuxdb 至少在存储上也有这样大的优势。而且有大量 benchmark 都说明了综合看 infuxdb 是性能最好的了,唯一缺点就是集群要收费。
    izoabr
    izoabr
    May 20, 2019
    40
    postgres 的 gis 了解一下
    killadm
    killadm
    May 20, 2019 via Android
    41
    influxdb+1
    IsA26hN4DcQDS7Z9
    IsA26hN4DcQDS7Z9
    May 20, 2019
    42
    地图偏移会经常变吗?
    smdbh
    smdbh
    May 20, 2019 via iPhone
    43
    内存保存不下的,就用硬盘啊
    opengps
    opengps
    May 20, 2019
    44
    @Raynard 几乎不会,都是固定的坐标系了。(可以参考 https://www.opengps.cn/Map/offset/offset.aspx )
    比如大部分国内地图都采用的国测局 gcj02,百度是自己又做了一次加密的 bd09ll
    国内要出版上限的地图服务,必须至少使用 gcj02 坐标系
    byteli
    byteli
    May 20, 2019
    45
    楼上的大家 influxdb 有单机瓶颈吧,集群收费
    midoks
    midoks
    May 20, 2019 via iPhone
    46
    肯定是大数据的相关软件呀 hadoop,spark...
    ryomahan
    ryomahan
    May 20, 2019
    47
    为啥没看到有用 MongoDB 的,我(同楼主工作经验半年)目前在做一个车联网项目,研究了一下选用了 MongoDB,目前还在做开发,性能方面确实没怎么考虑,不过我结合了阿里云给出的自家 MongoDB 和 时序数据库的介绍,感觉两者差别不大(本人非专业数据库工作人员),有人愿意给我们这些小白科普一下 MongoDB 与 InfluxDB 在读写方面差距在哪吗?关系型数据库暂时不想考虑,貌似得优化不少东西吧。
    janxin
    janxin
    May 21, 2019 via iPhone
    48
    @byteli 自己做集群方案
    @ryomahan influxdb 在压缩比 io 优化做了很多工作,可以搜索一下 influxdb tsm 相关的东西了解一下。最终还是落到使用场景上,influxdb 也不是银弹
    lbxl2345
    lbxl2345
    May 21, 2019
    49
    我在阿里云做物联网平台,楼主有空加个微信交流下~ hunter19901016
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Privacy   ·   Solana   ·   996 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 76ms · UTC 19:31 · PVG 03:31 · LAX 11:31 · JFK 14:31
    ♥ Do have faith in what you're doing.