文章目录
第3章:企业项目案例需求分析
案例需求分析
用户日志行为分析(新闻网)业务需求:
1.捕获用户浏览日志信息(TB)
2.实时分析前20名流量最高的新闻话题
3.实时统计当前线上已曝光的新闻话题
4.统计哪个时段用户浏览量最高
5.报表等形式展示(提供给业务、领导做决策)
系统架构设计
系统架构图
系统数据流设计
数据流程图
备注:
HBase:一般应用于数据并发量较大读写的情况。因为是存在hdfs上,所以HBase有非常好的扩展性。
Hive-mapreduce:hive进行实时查询底层使用的mapreduce。
集群资源规划设计
机器资源足够的情况:
考虑到尽可能在本机执行,最后使用3台机器
—————————————————————————————————————
说明:
此系列文章为网课学习时所记录的笔记,希望给同为小白的学习者贡献一点帮助吧,如有理解错误之处,还请大佬指出。学习不就是不断纠错不断成长的过程嘛~