SunshineJohn
V2EX  ›  问与答

大数据多维度数据分析问题请教

  •  
  •   SunshineJohn · Aug 3, 2017 · 2253 views
    This topic created in 3271 days ago, the information mentioned may be changed or developed.

    从一张用户表(字段包括:日期、业务 id、渠道、版本、uid ;已 groupby,表记录是唯一的)进行数据分析,维度包括:日期、业务 id、渠道、版本。当前端查看结果,筛选条件可以是多个维度的各种组合,不同的业务 id、渠道、版本,uid 可以相同,因此根据条件做 sum 肯定不能满足需求的,请问如何实现?现在知道的一个笨方法是:每种组合都分析一遍。请大神指点,谢谢!

    WhoMercy
        1
    WhoMercy  
       Aug 3, 2017 via Android
    1.分析热点数据,进行预统计;(如前一天、七天、三十天)
    2.缓存数据组合,提高组合数据命中率;(一级缓存、二级缓存)
    ……
    rockyou12
        2
    rockyou12  
       Aug 3, 2017
    给用户看还是给自己人看?给自己人看的话直接倒进 elasticsearch,用 kibana 去看,啥都不用写
    SunshineJohn
        3
    SunshineJohn  
    OP
       Aug 3, 2017
    SunshineJohn
        4
    SunshineJohn  
    OP
       Aug 3, 2017
    @WhoMercy 谢谢回复,刚刚从别人那里得到好像可以用 Cube 实现。正在研究。

    @rockyou12 自己内部开发,所有前后端自己做。
    About   ·   Help   ·   Advertise   ·   Blog   ·   API   ·   FAQ   ·   Solana   ·   1086 Online   Highest 6679   ·     Select Language
    创意工作者们的社区
    World is powered by solitude
    VERSION: 3.9.8.5 · 37ms · UTC 18:34 · PVG 02:34 · LAX 11:34 · JFK 14:34
    ♥ Do have faith in what you're doing.