前言
在本文中，我们将介绍如何使用Spark Streaming从GBIF接口获取数据，并将其处理为HDFS文件，并映射为Hive外部表。我们将详细说明Spark Streaming、HDFS和Hive的简介，并给出了从GBIF接口获取数据并处理为HDFS文件并映射为Hive外部表的实际需求说明。
一、简介
1. Spark-Streaming简介
Spark Streaming是Apache Spark提供的一种可扩展、高吞吐量的实时数据处理引擎。它允许您使用Spark的强大功能来处理实时数据流，并提供了与批处理作业相似的编程模型。Spark Streaming支持各种数据源，包括Kafka、Flume、HDFS等，并提供了丰富的操作和转换函数来处理流数据。
2. HDFS简介
HDFS（Hadoop Distributed File System）是Apache Hadoop生态系统的核心组件之一，用于存储和处理大规模数据集。HDFS采用分布式存储和计算的方式，将大文件切分为多个数据块，并将这些数据块存储在集群中的多个节点上，以实现高容错性和高吞吐量的数据存储和处理能力。
3. Hive简介
Hive是基于Hadoop的数据仓库基础设施，提供了类似于传统数据库的查询和分析功能。Hive使用HiveQL（类似于SQL）作为查询语言，并将查询转换为MapReduce任务或Spark任务来执行。Hive还支持表的分区和存储格式的定义，以及外部表的创建，使得数据的管理和查询更加灵活和高效。
二、需求说明
需求说明：从GBIF接口获取数据并处理为HDFS文件并映射为Hive外部表
1. 目标：
- 从GBIF（Global Biodiversity Information Facility）接口获取数据。
- 使用Spark Streaming处理数据。
- 将处理后的数据保存到HDFS文件系统。
- 创建Hive外部表，将HDFS文件映射为表。
2. 数据源：
- GBIF接口（https://api.gbif.org/v1/dataset）提供了生物多样性相关的数据集。
3. 数据处理流程：
- 使用HTTP请求从GBIF接口获取数据集。
- 使用Spark Streaming处理数据集，可以使用httpclient获取数据。
- 对获取的数据进行必要的转换、清洗和处理，以满足需求。
- 将处理后的数据保存到HDFS文件系统。
4. HDFS文件保存：
- 使用Spark Streaming将处理后的数据保存到HDFS文件系统。
- 可以选择合适的文件格式（如Parquet、ORC、Avro等）进行保存。
5. Hive外部表映射：
- 在Hive中创建一个外部表，将HDFS文件映射为表。
- 外部表可以直接引用HDFS文件中的数据，而无需将数据复制到Hive的仓库目录。
- 可以定义表的结构和分区等元数据信息。
三、实战示例演练
1. 编写gbifdataset.properties配置文件
hdfsUri=hdfs://192.168.198.101:8020
pathDir=/opt/bigdata/dataset
# 请求url
url=https://api.gbif.org/v1/dataset
2. 导入依赖
这部分代码是Maven的依赖配置，用于引入所需的Spark、Kafka和MySQL相关的库。
<dependency>
<groupId>org.apache.httpcomponents</groupId>
<artifactId>httpclient</artifactId>
<version>4.5.14</version>
</dependency>
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-autoconfigure</artifactId>
<version>2.7.15</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-core_2.11</artifactId>
<version>2.4.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-sql_2.11</artifactId>
<version>2.4.0</version>
</dependency>
<dependency>
<groupId>org.apache.spark</groupId>
<artifactId>spark-streaming_2.11</artifactId>
<version>2.4.0</version>
</dependency>
<dependency>
<groupId>org.projectlombok</groupId>
<artifactId>lombok</artifactId>
<version>1.18.28</version>
<scope>compile</scope>
</dependency>
<dependency>
<groupId>com.google.code.gson</groupId>
<artifactId>gson</artifactId>
<version>2.9.1</version>
</dependency>
3. 编写ConfigUtils类
package com.zcs.utils;
import java.io.IOException;
import java.io.InputStream;
import java.io.Serializable;
import java.util.Properties;
public class ConfigUtils implements Serializable {
public static String getDatasetProp(String key) throws IOException {
Properties properties = new Properties();
InputStream resource = ConfigUtils.class.getResourceAsStream("/gbifdataset.properties");
properties.load(resource);
return properties.getProperty(key);
}
}
4. 编写FieldUtils类
package com.zcs.utils;
import java.io.Serializable;
import java.lang.reflect.Field;
import java.util.List;
public class FieldUtils implements Serializable