上QQ阅读APP看书,第一时间看更新
第三节 大数据核心技术
一、可视化分析技术
可视化分析是大数据分析专家和普通用户等大数据分析的使用者对于大数据分析最基本的要求。因为可视化分析能够直观地呈现大数据特点,同时非常容易被读者接受,如同看图说话一样简单明了。
数据可视化技术是对大型数据库或数据仓库数据的可视化,是可视化技术在非空间数据领域的应用,使人们不再局限于通过关系数据表来观察和分析数据信息,而能以更直观的方式看到数据及其结构关系。数据可视化技术的基本思想是将数据库中每一个数据项作为单个图元元素表示,大量的数据集构成数据图像,同时将数据的各个属性值以多维数据的形式表示,可从不同维度观察数据,从而对数据进行更深入的观察和分析。
数据可视化工具一般指将数据转化为可能展示和分析的报表工具或BI工具。报表类是指Excel、水晶报表等2D格式,但是这样利用信息时有局限性。BI工具是指如BO、QlikView、Yonghong Z-Suite等,可以自动提供洞察力,但忽视了部分整层细节。云计算、标签云、关系图等交互式可视化技术是数据可视化的趋势。交互式可视化分析技术是指针对传统分析方法交互性和可理解性不足的问题,研究启发式、人机交互、可视化数据挖掘新技术,实现大数据挖掘的高度人机交互功能。
近年国际上提出了信息可视化问题。科学计算可视化一般是指空间数据场的可视化,而信息可视化则是指非空间数据的可视化。随着社会信息化的推进和网络应用的日益广泛,信息源越来越庞大。除了需求对海量数据进行存储、传输、检索及分类等外,更迫切需求了解数据之间的相互关系及发展趋势。实际上在激增的数据背后,隐藏着许多重要的信息,人们希望能够对其进行更高层次的分析,以便更好地利用这些数据。
但可视化分析并不是唯一的分析方法,可视化分析可以与多种分析相结合,达到性能、服务质量、分析能力的另一个高峰。IBM近期推出“BLU加速技术”的革新技术,它整合了大幅改善分析能力和简化行政管理的一系列技术。这个新系统可使将企业在使用企业级Hadoop技术时的加载时间从数周减少到数分钟,而且还为商业分析师和数据科学家提供易用、功能强大的分析工具以及呈现可视化效果。此外,它还提供了跟踪、开发与更多企业系统整合的加强版大数据工具。