万亿数据下的多维实时分析系统,怎样做到亚秒级响应
在进行开发之前,我们做了这些调研。 1.离线数据分析平台能否满足这些需求,结论是不能满足。离线数据分析平台不行的原因如下: C侧数据上报过来,需要经过Spark的多层离线计算,最终结果出库到Mysql或者ES提供给离线分析平台查询。这个过程的延时最少3-6个
在进行开发之前,我们做了这些调研。 1.离线数据分析平台能否满足这些需求,结论是不能满足。离线数据分析平台不行的原因如下: C侧数据上报过来,需要经过Spark的多层离线计算,最终结果出库到Mysql或者ES提供给离线分析平台查询。这个过程的延时最少3-6个