随着抖音、快手等短视频平台的兴起,流式计算进入了大家的视线,各大公司使用流式计算根据用户的行为偏好,在短时间内反映在推荐模型中,推荐模型再以低延迟的捕捉用户的行为偏好,从而提供更精准、及时的推荐,这也就是我们刷抖音停不下来的原因;接下来就给大家介绍一下流式数据的前世今生:

第一种:

特点:实时性好,但是海量数据的时候,高并发就不行了;

大数据流式处理的演变-LMLPHP

第二种:

特点: 高并发实现了,但是低延迟做不到

大数据流式处理的演变-LMLPHP

第三种:(最初第一代流式处理的架构)

  • 特点: 把当前计算处理过程当中,所需要的哪些东西,不要去关系型数据库里查了,直接把它存到本地状态就行了;
  • 缺点: 无法满足处理数据的有序性;

大数据流式处理的演变-LMLPHP

第四种:

优点: 实现了实时性,低延迟;

缺点: 维护起来比较麻烦,要同时维护两套系统;

说明: 这里的speed table先获取近似的数据以供粗略查询;随后再查看和batch table

结合后的准确数据;

大数据流式处理的演变-LMLPHP

第五种:

说明: 就是用flink作流式处理,集合了所有的优点;

大数据流式处理的演变-LMLPHP

06-12 21:54