1.2.3 用3V描述大数据特征
从字面来看,“大数据”这个词可能会让人觉得只是容量非常大的数据集合而已。但容量只不过是大数据特征的一个方面,如果只拘泥于数据量,就无法深入理解当前围绕大数据所进行的讨论。因为“用现有的一般技术难以管理”这样的状况,并不仅仅是由于数据量增大这一个因素所造成的。
IBM说:“可以用3个特征相结合来定义大数据:数量(Volume,或称容量)、种类(Variety,或称多样性)和速度(Velocity),简称3V,即庞大容量、极快速度和种类丰富的数据”,如见图1-9所示。
图1-9 按数量、种类和速度来定义大数据
1.Volume(数量)
用现有技术无法管理的数据量,从现状来看,基本上是指从几十太字节到几拍字节这样的数量级。当然,随着技术的进步,这个数值也会不断变化。
如今,存储的数据数量正在急剧增长,存储的事物包括环境数据、财务数据、医疗数据、监控数据等。有关数据量的对话已从TB级别转向PB级别,并且不可避免地会转向ZB级别。但是,随着可供企业使用的数据量不断增长,可处理、理解和分析的数据比例却不断下降。
2.Variety(种类)
随着传感器、智能设备以及社交协作技术的激增,企业中的数据也变得更加复杂,因为它不仅包含传统的关系型数据,还包含来自网页、互联网日志文件(包括点击流数据)、搜索索引、社交媒体论坛、电子邮件、文档、主动和被动系统的传感器数据等原始、半结构化和非结构化数据。
种类表示所有的数据类型。其中,爆发式增长的一些数据,如互联网上的文本数据、位置信息、传感器数据、视频等,用企业中主流的关系型数据库是很难存储的,它们都属于非结构化数据。
当然,在这些数据中,有一些是过去就一直存在并保存下来的。和过去不同的是,除了存储,还需要对这些大数据进行分析,并从中获得有用的信息。例如,监控摄像机中的视频数据。近年来,超市、便利店等零售企业几乎都配备了监控摄像机,最初目的是为了防范盗窃,但现在也出现了使用监控摄像机的视频数据来分析顾客购买行为的案例。
例如,美国高级文具制造商万宝龙(Montblane)过去是凭经验和直觉来决定商品陈列布局的,现在尝试利用监控摄像头对顾客在店内的行为进行分析。通过分析监控摄像机的数据,将最想卖出去的商品移动到最容易吸引顾客目光的位置,使得销售额提高了20%。
美国移动运营商T-Mobile也在其全美1000家店中安装了带视频分析功能的监控摄像机,可以统计来店人数,还可以追踪顾客在店内的行动路线、在展台前停留的时间,甚至是试用了哪一款手机、试用了多长时间等,对顾客在店内的购买行为进行分析。
3.Velocity(速度)
数据产生和更新的频率,也是衡量大数据的一个重要特征。就像人们收集和存储的数据量和种类发生了变化一样,生成和需要处理数据的速度也在变化。不要将速度的概念限定为与数据存储相关的增长速率,应动态地将此定义应用到数据,即数据流动的速度。有效处理大数据需要在数据变化的过程中对它的数量和种类进行分析,而不只是在它静止后执行分析。
例如,遍布全国的便利店在24小时内产生的POS机数据,电商网站中由用户访问所产生的网站点击流数据,高峰时达到每秒近万条的微信短文,全国公路上安装的交通堵塞探测传感器和路面状况传感器(可检测结冰、积雪等路面状态)等,每天都在产生着庞大的数据。
IBM在3V的基础上又归纳总结了第四个V——Veracity(真实和准确)。“只有真实而准确的数据才能让对数据的管控和治理真正有意义。随着社交数据、企业内容、交易与应用数据等新数据源的兴起,传统数据源的局限性被打破,企业愈发需要有效的信息治理以确保其真实性及安全性。”
IDC(互联网数据中心)说:“大数据是一个貌似不知道从哪里冒出来的大的动力。但实际上,大数据并不是新生事物。然而,它确实正在进入主流,并得到重大关注,这是有原因的。廉价的存储、传感器和数据采集技术的快速发展、通过云和虚拟化存储设施增加的信息链路,以及创新软件和分析工具,正在驱动着大数据。大数据不是一个事物,而是一个跨多个信息技术领域的动力/活动。大数据技术描述了新一代的技术和架构,其被用于:通过使用高速(Velocity)的采集、发现和/或分析,从超大容量(Volume)的多样(Variety)数据中经济地提取价值(Value)。”
这个定义除了揭示大数据传统的3V基本特征,即Volume(大数据量)、Variety(多样性)和Velocity(高速),还增添了一个新特征:Value(价值)。
大数据实现的主要价值可以基于下面3个评价准则中的1个或多个进行评判:
(1)它提供了更有用的信息吗?
(2)它改进了信息的精确性吗?
(3)它改进了响应的及时性吗?
总之,大数据是个动态的定义,不同行业根据其应用的不同有着不同的理解,其衡量标准也在随着技术的进步而改变。