2.1.8 数据架构师
任何解决方案的设计都是围绕数据展开的,并且通常都涉及数据的存储、更新和访问,无论这些数据是关于客户的还是关于产品的。随着互联网的应用越来越普及,数据飞快地增长,对数据架构师的需求也越来越大。在过去的十年里,数据的增长呈指数级上升,不久前,1GB的数据就被认为是较大的数据,但现在,100TB的数据司空见惯,一个平常的计算机硬盘就有1TB。
传统上,数据通常以关系型的结构化方式存储。现在,大多数数据都是以非结构化的格式存储,这些数据通常来源于社交媒体、物联网(IoT)和应用程序日志等。企业需要存储、处理和分析数据以获得有用信息,于是数据架构师应运而生。
数据架构师定义一套规则、策略、标准和模型,用于管理组织数据库中使用和收集的数据类型。他们设计、创建和管理组织中的数据架构。数据架构师开发数据模型并设计数据湖,以捕获业务的关键绩效指标(Key Performance Indicator,KPI)并实现数据转换。他们确保整个组织的数据性能和数据质量保持一致。
数据架构师的主要客户如下:
□使用商业智能(Business Intelligence,BI)工具进行数据可视化的业务主管。
□使用数据仓库以获得更多数据洞见的业务分析师。
□使用提取、转换和加载(Extract,Transform,Load,ETL)进行数据整理的数据工程师。
□使用机器学习的数据科学家。
□管理应用程序数据的开发团队。
为了满足组织需求,数据架构师负责以下工作:
□数据库技术选型。
□用于应用程序开发的关系型数据库模式。
□用于数据分析和BI工具的数据仓库。
□作为中心化数据存储的数据湖。
□数据集市设计。
□机器学习工具。
□数据安全和加密。
□数据合规性。
更多关于数据架构的知识见第13章。总而言之,数据架构师需要了解不同的数据库技术、BI工具、数据安全性和加密技术,才能做出正确的选择。