本项目是为网站日志流量分析做的基础：网站日志流量分析系统，Kafka、HBase集群的搭建可参考：使用Docker搭建Spark集群（用于实现网站流量实时分析模块），里面有关于该搭建过程
本次对接Kafka及HBase是基于使用Docker搭建Spark集群（用于实现网站流量实时分析模块）搭建的6个Docker容器来实现的对接。
代码地址：https://github.com/Simple-Coder/sparkstreaming-demo
一、SparkStreaming整合Kafka
1、maven代码
2、启动测试
2.1启动3个kafka并测试
生产端消息如下：
接收到的消息如下：
2.2spark提交jar任务，SparkStreaming消费Kafka消息
console-producer生产消息，spartkStreaming主动拉取消息，console-consumer也能收到消息，结果如下：
console-consumer接收到的消息如下：
至此、Spark对接Kafka完成
3、问题总结
KafkaUtils的选择，由于maven中央库只有1.6.3版本的spark-streaming-kafka,其他版本的spark-streaming-kafka-***的api调用个人不习惯，还是停留在之前的api，所以这可能是导致以下问题的所在，不过还好问题解决
①ClassNotFoundException: org.apache.kafka.common.utils.Utils：上传kafka-clients-0.8.2.0.jar至spark的jars目录
②java.lang.NoClassDefFoundError:org/apache/spark/streaming/kafka/KafkaUtils ：上传kafka_2.11-0.8.2.1.jar、spark-streaming-kafka_2.11-1.6.3.jar至Spark的jars目录
③java.lang.NoClassDefFoundError:org/apache/spark/logging：开头maven结构图中，将工程jar上传至spark的jars目录
④NoClassDefFoundError: org/I0Itec/zkclient/serialize/ZkSerializer：上传zkclient-0.11.jar至spark的jars目录
二、SparkStreaming整合HBase
1、读取HBase表
1.1 scala代码
1.2 提交jar任务测试
由于是docker容器搭建的集群，本地不容易测试，只好提交jar至docker容器
提交任务截图如下：
HBase表t2数据如下：
至此scala读取HBase数据成功，期间还是同样的问题，缺少关于HBase的jar，将maven依赖的HBase全部上传至Spark的jars目录下即可。
2、写入HBase表
2.1 scala代码
2.2 提交jar任务至spark测试
提交jar任务如下：
HBase命令行查看如下：
至此、spark写入hbase成功。
3、过滤器
随即的返回row的数据,chance取值为0到1.0，如果<0则为空，如果>1则包含所有的行。
3.1 scala代码
3.2 提交jar至spark测试
第一次如下：
第二次如下：
至此、spark对接kafka及HBase完成，欢迎各位读者指正、交流~