1.2 高效能存储管理
大数据存储管理需要存储系统不断追求海量存储容量、高性能、高安全性、高可用性、可扩展性、可管理性等特性,以满足数据量爆炸式增长趋势带来的压力。企业需要不断购置大量的存储设备来应对数据增长的存储需求,但这并不能从根本上解决问题。一方面,存储设备的采购预算越来越高,大多数企业难以承受如此巨大的开支。另一方面,随着数据中心的扩大,存储管理成本、占用空间、制冷能力、能耗等也都变得越来越严重,其中能耗尤为突出。另外,大量的异构物理存储资源大大增加了存储管理的复杂性,容易造成存储资源浪费和利用效率不高。为缓解存储系统空间增长的问题,缩减数据占用空间,简化存储管理,最大限度地利用已有资源,降低成本,高效能的大数据存储管理模式应运而生。
高效能存储是指能够提升存储资源利用效率,从而达到简化存储管理、降低存储能耗、节省运营成本的存储方式。目前,已有的实现高效能存储管理的基本策略主要有以下几种:
· 存储资源整合:利用存储虚拟化、分布式文件系统和负载均衡等技术将分散物理存储资源替换为虚拟的统一存储资源池,减缓管理负担和存储需求,但可能存在性能瓶颈。
· 动态存储容量配置:应用系统访问存储空间时无须关心资源具体物理位置与其容量限制,完全根据自身需求任意预支,获得极大的配置自由度;也可按需自动分配物理存储资源,以缓解过度预配置,使应用程序只消耗必要的存储资源来将块数据写入特定卷,自动精简配置优化存储利用率。
· 缩减存储容量:通过重复数据删除技术删除重复的文件和块,以及利用压缩技术对数据进行重新编码等数据缩减技术消减存储系统中的数据冗余,有效减少数据存储量和网络通信量。
· 信息生命周期管理:根据数据价值和访问频度自动在不同存储层次之间流动。读写缓存机制配合存储自动分级技术,智能地将新数据和那些很可能被频繁访问的“热”数据迁移到更快、更贵的高性能存储媒介上,而那些不是很重要的“冷”数据则存储在便宜、性能低的存储媒介上。在保障存储系统性能的同时,有效降低存储成本。
· 降低能耗:综合多种虚拟化技术减缓存储需求,提高存储利用率和系统能耗效率,例如将空闲磁盘转换成非活动或低速旋转模式,有效节省能耗。
高效能存储技术目前已经在存储产品中得到广泛推广和应用。业界公认的四项高效能存储管理核心技术分别是存储虚拟化、自动分层存储、自动精简配置和数据缩减技术。