超越想象,普通笔记本分析亿级数据只要几秒钟!
Smartbi只做最真实的测试,用事实来证明思迈特软件Smartbi的高性能,这将是你难得一见的时刻。
如图所示,我们测试的电脑是一台2013年的thinkpad笔记本,售价不到6000,用鲁大师检测硬件配置如下:
而用于测试的数据包括1份数据2个模型——星型和宽表,其中星型包括产品、客户、地理三个维度,事实表0.98亿条记录,维度表数百条记录。做过性能测试的朋友一看就知道,这样一个星型模型,如果交给业务人员自己拖拽分析数据,性能是很有问题的,数据库配置不好的情况下还能直接跑死系统,更别说是一台这么普通的笔记本电脑了!
接下来,我们基于这个数据模型,考虑到自助分析的场景,构建了三大类22个测试案例,以确保客观合理的测试案例覆盖度。比如用户会以年为条件,进行同期增长率的计算等等。
交代好性能测试的基本情况,我们不兜圈,直接来看测试结果:
简言之,星型模型因为要进行关联操作,平均响应时间为13.3秒(6.7秒——17.1秒),宽表模型没有关联操作,平均响应时间为4.5秒(2.7秒——6.3秒),总体平均为8.9秒!是的,你没看错,无论怎样拖拽的自助分析,平均8.9秒!!测试结果后,我们和你一样感到兴奋,Smartbi居然可以在一台几年前的普通笔记本电脑上对1亿大数据量的自助探索在区区几秒完成分析查询!!
跨库数据源支持应用在数据集定义中,通常在可视化数据集和自助数据集中应用比较广泛。我们常规的这个数据分析底层结构是基于数据源直接连我们的数据连接进行数据的分析展现,那这种情况如果我们的数据量比较少的情况下一般是没有什么问题,但是我们的数据一旦达到某个级别之后我们的报表性能就会出现很大的一个瓶颈,甚至说导致我们的这个报表长时间刷不出来,以至于我们的系统崩溃,那这个时候就可以直接使用高速缓存库机制,以保证系统具有较长的生命力和扩展能力最重要保障。
Smartbi将数据抽取到高速缓存库后,之后的查询直接从高速缓存库取数,来提高查询性能。如在Smartbi体验中心的“体验式场景5”在分析某公司的emplyees数据情况时,其中的雇员表(300,024条记录)与薪资表(2,844,047条记录)进行跨库关联,使用前高速缓存之前刷新数据至少要20秒;当数据抽取到高速缓存库后,切换年份刷新仅需2秒,甚至更快。