学习大数据DAY15 PLSQL基础语法4
目录 动态SQL execute immediate语句 带参数使用 作业 动态游标 动态游标类型声明 动态游标使用 强类型游标 作业2 遗忘点复习 动态SQL plsql里面只能执行 select insert update delete ，想执行create怎么办？其他复杂功能？ 使用动态sql，不能加分号，单引号实现转义功能'''' 在Oracle数据库开发PL/SQL块中我们使用的SQL分为：静...
大数据之路 读书笔记 Day5 数据同步遇到的问题与解决方案
1. 分库分表的处理 分库（Database Sharding） 分库是指将一个大数据库分割成多个小的数据库，每个小数据库运行在不同的服务器上。这样做的目的是为了分散读写操作的压力，提高并发处理能力和数据存储容量。分库策略可以基于用户ID、地理位置、业务类型等进行数据的划分。 分表（Table Partitioning） 分表是在单个数据库内部对表进行分割，将一张大表按照一定的规则拆分成多张小表，这些...
学习大数据DAY16 PLSQL基础语法5
目录 异常 自定义异常的格式 raise_application_error 处理异常 预定义异常 SQLcode和SQLerrm 非预定义异常 作业 触发器 触发器基本概念 DML触发器 DML触发器使用 instead of 触发器 管理触发器 作业2 函数、过程和包 函数 过程 参数 1. in 参数 2.out 参数 3. in out 参数 函数和过程的区别 过程优点 过程缺点 作业3 遗忘点...
学习大数据DAY11 SQL最终阶段测试
SQL基础试题 目录 一、单选选择题（每题3分，共30分) 二、简答题（共70分） 错点复习： 一、单选选择题（每题3分，共30分) 1.第一步执行了DELETE命令,删除了某表中的一条记录.第二步执行了COMMIT命令.最后又执行了ROLLBACK命令.请问以下叙述正确的是(B ) (A) 被删除的记录又被恢复回来,仍然存放在数据库的表中 (B)...
学习大数据DAY13 PLSQL基础语法2
目录 选择结构 IF语句 简单判断语句 带判断不成立语句 多判断语句 IF语句注意事项： CASE 语句 简单CASE语句 搜索型CASE语句 作业 循环语句 循环结构 简单循环 属性 描述 位置 场景 WHILE循环 属性 FOR循环 数值型for循环 数值型for循环的特性 数值型for循环的规则 作业2 遗忘复习 PLSQL基础语法（二） 选择结构 改变程序的执行顺序 选择一个结果 条件为bool...
大数据基础：Hadoop之HDFS重点架构原理
文章目录 Hadoop之HDFS重点架构原理 一、什么是Hadoop 二、HDFS简介 三、HDFS架构 3.1、NameNode 3.2、SecondaryNameNode 3.3、DataNode 3.4、Client 四、fsimage和editslog合并 五、Block副本放置策略 六、读写流程 6.1、HDFS写文件流程 6.2、HDFS读文件流程 Hadoop之HDFS重点架构原理 一、...
大数据处理系统架构特征
Storm之父Nathan Marz在《大数据系统构建：可扩展实时数据系统构建原理与最佳实践》一书中，提出了他认为大数据系统应该具有的属性。 1.鲁棒性和容错性（Robust and Fault-tolerant） 对大规模分布式系统来说，机器是不可靠的，可能会宕机，但是系统需要是健壮、行为正确的，即使是遇到机器错误。除了机器错误，人更可能会犯错误。在软件开发中难免会有...
如何成为-10x工程师：反向教学大数据开发实际工作中应如何做
+10x 工程师可能是神话，但 -10x 工程师确实存在。要成为 -10x 工程师，只需每周浪费 400 小时的工程时间。结合以下策略： 目录 如何使 10 名工程师的输出无效化改变需求大数据开发示例 创建 400 小时的繁忙工作任务示例大数据开发示例 创建 400 小时的倦怠/离职示例代码大数据开发示例 在技术讨论中扣留 10 名工程师示例代码大数据开发示例 增加 400 小时的沟通开销示例代码大数...
如何利用数据仓库进行业务分析：一名大数据工程师的视角
在大数据时代，数据的有效利用对企业的成功至关重要。 本文将基于上面的流程图，详细介绍如何利用数据仓库进行业务分析，并提供实际的例子和代码演示，以帮助读者更好地理解和应用相关技术。 数据仓库的基本流程 上图展示了一个典型的数据仓库流程，包括以下几个主要环节： 业务系统数据接入：业务系统等数据源将数据导入数据仓库。数据仓库建设：规划、建设数据仓库，包括数据模型设计和数据集成。数据分析需求获取：数据分析师根...
大数据开发中的数据倾斜问题
数据倾斜是大数据开发中常见的性能瓶颈，了解其原因并采取有效的解决方案对系统性能至关重要。本文将从数据倾斜的影响、解决方法及示例代码等方面进行详细讨论。 目录 1. 数据倾斜的影响2. 解决数据倾斜的方法调整分区键预聚合倾斜处理逻辑 3. 进一步解决数据倾斜的方法使用Map-Side Join自定义分区器数据采样与倾斜数据单独处理 4. 示例代码5. 总结 1. 数据倾斜的影响 数据倾斜主要导致以下几个...