DAMA数据管理知识体系简介
数据治理
概念
数据治理的概念：在数据资产管理过程中行使权力和管控，称为数据治理。
内容包括：1.引言；2.活动；3.工具；4.实施指南；5.度量指标。
数据治理和数据管理的关系
数据治理保证数据是受到恰当管理的；数据管理是管理数据以达到既定目标。
首席数据官是从立法和司法角度做正确的事，而首席信息官是从执法角度正确的做事。
数据架构
定义了与组织战略相协调的数据资产蓝图，以建立及满足战略性数据需求的总体设计；
数据建模和设计
以数据模型的精确形式，进行发现、分析、展示和沟通数据需求的过程。
建模方法
关系、维度、面向对象、面向事实、基于时间、非关系型
模型
模型主要分为：概念模型，逻辑模型和物理模型；概念模型是识别业务中相关实体及他们之间的关系；逻辑模型是对数据需求的详细描述，逻辑数据模型不受任何技术活特定实施条件的约束；物理模型描述了一种详细的技术解决方案，与某一类系统的硬件、软件和网络工具相匹配。
关系范式
1NF->2NF:消除非主属性对键的部分函数依赖；
2NF->3NF:消除非主属性对键的传递函数依赖；
3NF->BCNF:消除主属性对键的传递函数依赖；
数据存储和操作
以数据价值最大化为目标，包括存储数据的设计、实现和支持活动，以及在整个数据生命周期中，从计划到销毁的各种操作活动。
数据安全
确保数据隐私和机密性得到维护，数据不被破坏，数据被适当访问。
数据安全涉及到数据采集、数据传输、数据存储、数据处理、数据共享、数据销毁。
数据集成和互操作
主要目的是为了对数据移动进行有效管理，包括与数据存储、应用程序和组织之间的数据移动和整合相关的过程。其中包含了数据的传输方法和编排方式；
数据传输方法包含批处理Batch,变更数据捕获CDC,准实时和事件驱动，异步数据传输，实时，同步数据传出，流式数据传输。
而流程编排则是指按照某种预定的规则或者流程,将不同的任务或服务按步骤组合自动化执行的一种机制。常见的有Airflow、Azkaban、Apache Nifi
文件和内容管理
用于管理非结构化的数据和信息的生命周期过程，包括计划、实施和控制活动，尤其是指支持法律法规遵从性要求所需的文档。
参考数据和主数据
主数据(Master Data)和参考数据(Reference Data)都是描述企业核心业务实体的关键数据，主数据描述企业核心业务对象的详尽信息，参考数据提供给主数据额外的背景信息。
数据仓库和商务智能DW and BI
包括计划、实施和控制流程，来管理决策支持数据，并使知识工作者通过分析报告从数据中获得价值。
这涉及到3个概念，1.数据库（主要是面向交易事务、在线的交易数据、事实数据）；2.数据仓库 Data Warehouse（主要是面向分析操作、历史交易数据、维度数据）；3.大数据 Big Data(数据源更广泛、数据处理效率更高更智能)
元数据 Metadata
元数据包括规划、实施和控制活动，以便能够访问高质量的集成元数据，包括定义、模型、数据流和其他至关重要的信息
数据质量 Data Quality
数据质量包括规划和实施质量管理技术，以测量、评估和提高数据在组织内的适用性。
数据质量观察的维度有：准确性、完备性、一致性、完整性、合理性、及时性、唯一性、有效性；
数据质量的成熟度模型主要从成熟度等级、数据质量（DQ）测量特性、自动化程度来看；
成熟度等级主要分为6层；0级则没有能力；1级，初始/临时，成功取决于个人能力；2级，可重复：最低的流程规程已到位；3级，已定义：制定和使用标准；4级，已管理：对过程进行量化和控制；5级，优化级：过程改进目标被量化。
数据质量DQ测量特性：1.不进行数据质量的度量；2.个人尝试度量数据质量，但这样做并不是他们工作的主要内容，而且没有一个确定方法。3.人们已经学会了度量数据质量的方法，并且正在为其制定一致的方法；4.定义了数据质量的度量标准，并且正在跨团队应用。5.系统和业务流程所有者必须度量其数据的质量并报告结果，以便数据使用者对数据质量有一致的了解；6.数据质量报告在管理利益相关者之间广泛共享，根据数据质量度量的结果来确定系统的业务流程改进时机，并报告这些改进的影响。
自动化程度：1.不适用；2.什么都没有，完全手工度量；3.过程仍然是手动的，但一些团队已经测试了自动化；4.采用了一种自动化的标准方法；5.度量过程是完全自动化的；6.报告包括劲爆是完全自动化的。