定位于前端数据分析,对接各种业务数据路、数据仓库和大数据平台的“思迈特大数据分析软件平台”(简称Smartbi Insight),整合了各行业数据分析和决策支持的功能需求,满足各种数据分析应用需求,如大数据分析、自助BI分析、地图可视化、移动管理驾驶舱、指挥大屏幕、企业报表平台等,充分体现和承载了数据分析发展的新四化。
Smartbi架构开放,功能丰富,完美兼容各种数据环境,RDBMS、MPP、OLAP、HADOOP、EXCEL等等。
今天介绍的是由柏睿数据公司出品MPP数据库:
RapidsDB是一个分布式,可扩展(MPP),share-nothing (partition table(s) by sharding key) 的内存数据库。可以采用联邦连接器(Federated Connectors)的方式,将多种数据源统一到同一个用户接口平台,使用一个Query语句实现不同数据源的连接(JOIN)分析查询。使用标准SQL访问数据,使用并行的单线程处理方式确保数据一致性,同时避免了传统数据库的锁,插销,资源管理开销。
RapidsDB提供数据的高速存取,高性能数据分析能力(包括机器学习及R语言的集成)。通过高扩展的分布式高速内存架构,具备了支持高吞吐、低延时、高并发等特性。与传统数据库相比,RapidsDB不仅具有:无磁盘IO、高并发、低延时、分布式多节点等众多优势,而且支持Hadoop系统整合,为企业海量数据实时分析提供强大支持,在扩展性方面,支持动态扩容,在线扩展,数据迁移可策略化管理,不影响线上应用。
RapidsDB的关键组件:
l SQL编译器及优化器
l 将用户SQL进行编译生成执行计划,并能根据不同的下层数据存储引擎(storage engine)生成各个存储引擎的原生执行SQL执行计划,能将MPP的执行引擎完成并行、快速的计算。
l MPP执行引擎
l 执行引擎实现了在不同数据源的情况下的跨机器节点的并发计算。
l 数据存储引擎(RapidsSE)
l RapidsSE是一个完全基于内存的分布式存储引擎,与执行引擎、SQL编译器和优化器是一个原生集成的整体。
l RapidsDB理论上没有节点数据的限制,能够有效便捷完成在线扩展的业务需求。
RapidsDB的性能优点:
完善的SQL查询支持
无宕机横向扩展,动态扩容
跨分区多表关联
多数据源的统一SQL查询支持
自有分布式内存数据存储在存储上直接完成数据过滤、查询操作,极速提升查询执行性能。
日前Smartbi Insight已与RapidsDB顺利完成双向连通认证——思迈特软件旗下核心产品 Smartbi Insight将与柏睿数据旗下核心产品RapidsDB强强联合,为企业级用户打造真正满足企业需求的安全可信赖的端到端大数据平台,充分保障 Smartbi Insight与 RapidsDB 间的技术连通性与产品兼容性。