目录
一、项目背景与目标
二、需求分析
三、主要思路与考点
详情
一、项目背景与目标
- 项目背景
- 随着大数据时代的到来，如何从茫茫数据中找到与公司相关的数据，并能在不同的方向角度去分析数据，得到有助于公司发展需要的结论或是发现必要的问题，成为各大公司在数据应用角逐中的制高点。此即为数据分析师岗位核心职责之一。
- 微博作为web2.0时代的代表性产物，成为很多数据类项目争相依赖的数据源，也批量产出了很多各式各样的数据采集工程师，他们经常以采集微博平台的各种数据为工作，并将数据持久化、结构化存储或交易给第三方需求者。但往往在数据交易时，数据是以各种各样的数据文件格式存储，如何将这些各式各样的数据文件快速通过ETL转化成我方需要的数据格式，成为数据仓库工程师常见的ETL任务之一。
- 将微博数据与数据分析需求相结合，是当下很多数据类公司和数据分析师常规工作之一。
- 项目目标
- 用时不超过一周，主要是通过查看之前教学资料和视频，百度搜索等方式搞定，加强实战应用开发能力和自学能力。
- 最终达到对于常用的小模块开发，可以在1-5天内迅速解决战斗，并形成自身的类库积累。
- 掌握数据仓库开发流程、核心代码开发，达到独立开发中小型数据仓库项目的能力。
- 项目产出
- 基于“天亮教育_实战项目_07_ETL实战项目之已采集微博数据结构化”的两张表，即用户表和评论表的数据，写出以下8道题相对应的SQl语名，并分析结果的正确性与否。
- 均通过hive cli来演示效果即可。
二、数据分析题
1、(基础分析题)各频道参与博主的人数分布排行，求top5
2、(基础分析题)各频道评论量排行，求top5
3、(基础分析题)各频道评论转发量排行，求top5
4、(基础分析题)各频道博文评论的回复(再回复)量排行，求top5
5、(综合分析题)各频道活跃度排行
***先定义合理的计算口径，然后写对应的SQL语句
（以下为数据分析题的步骤列表）
step1 : 候选影响因子集合找到
博主参与量，评论内容量，评论转发量，再评论量(评论内容质量)
step2 : 拟定一个计算公式
影响因子的权重：基准为1=有评论内容即为1，
有博主参与权重1.1，
有转发的权重：2
有再评论的权重：1.5
加权求和：
step3 : sql编码、review与修正
step4 : 上线
6、(综合分析题)各频道的博主的影响力排行，求top5
***先定义合理的计算口径，然后写对应的SQL语句
7、(综合分析题)各频道的博文的影响力排行,求top5
***先定义合理的计算口径，然后写对应的SQL语句
8、(综合分析题)各频道的博主的行为特征分析之每天的活跃时间段分析，求各频道每天最活跃时间段top3，以小时为单位即可。
***先定义合理的计算口径，然后写对应的SQL语句
三、需求分析
- 数据分析题本身，也是一个需求再分析的过程，往往需要自己把数据脉络理清楚，并给出合理的计算口径和方法，并能够对结果进行相应的分析，并判断准确与否，或是可信度几何。
四、主要思路与考点
- 主要思路
- 针对每道题，先得出明确的计算口径， 然后逐步写出相应的SQL语句
- 主要考点
- HiveSQl及其复杂结构使用
- Hive数据分析函数充分理解与运用
天亮教育是一家从事大数据云计算、人工智能、教育培训、产品开发、咨询服务、人才优选为一体的综合型互联网科技公司。
公司由一批BAT等一线互联网IT精英人士创建，
以"快乐工作，认真生活，打造高端职业技能教育的一面旗帜"为愿景，胸怀"让天下没有难找的工作"使命，
坚持"客户第一、诚信、激情、拥抱变化"的价值观，
全心全意为学员赋能提效，践行技术改变命运的初心。
更多学习讨论， 请加入
官方-天亮大数据交流-366784928
群二维码：
天亮教育公开课-从小白到大佬修成记-全系列视频地址：http://bbs.myhope365.com/forum.php?mod=viewthread&tid=1422&extra=page%3D1
欢迎关注天亮教育公众号，大数据技术资料与课程、招生就业动态、教育资讯动态、创业历程分享一站式分享，官方微信公众号二维码：
天亮教育大数据官方群318971238，
天亮教育web前端972788995官方群318971238，
爬虫、nlp技术qq群320349384
hadoop & spark & hive技术群297585251
教育培训官网：http://myhope365.com
项目研发业务尚云科技官网：http://shangyuninfo.com/
官方天亮论坛:http://bbs.myhope365.com/