随着抖音、快手等短视频平台的兴起,流式计算进入了大家的视线,各大公司使用流式计算根据用户的行为偏好,在短时间内反映在推荐模型中,推荐模型再以低延迟的捕捉用户的行为偏好,从而提供更精准、及时的推荐,这也就是我们刷抖音停不下来的原因;接下来就给大家介绍一下流式数据的前世今生:
第一种:
特点:实时性好,但是海量数据的时候,高并发就不行了;
第二种:
特点: 高并发实现了,但是低延迟做不到
第三种:(最初第一代流式处理的架构)
- 特点: 把当前计算处理过程当中,所需要的哪些东西,不要去关系型数据库里查了,直接把它存到本地状态就行了;
- 缺点: 无法满足处理数据的有序性;
第四种:
优点: 实现了实时性,低延迟;
缺点: 维护起来比较麻烦,要同时维护两套系统;
说明: 这里的speed table先获取近似的数据以供粗略查询;随后再查看和batch table
结合后的准确数据;
第五种:
说明: 就是用flink作流式处理,集合了所有的优点;