从数据在信息系统中的生命周期角度考虑，大数据从数据源经过分析挖掘到最终获得价值一般需要经过数据准备、数据存储与管理、计算处理、数据分析和知识展现5个主要环节，技术体系框架如图1-3-2所示。

在进行存储和处理之前，需对数据进行清洗、整理，传统数据处理体系中称为ETL过程。与以往数据分析相比，大数据的来源多种多样，包括企业内部数据库、互联网数据和物联网数据，不仅数量庞大、格式不一，质量也良莠不齐。这就要求数据准备环节一方面要规范格式，便于后续存储管理，另一方面要在尽可能保留原有语义的情况下去粗取精、消除噪声。

目前，全球数据量正以每年超过50%的速度增长，存储技术的成本和性能面临非常大的压力。大数据存储系统不仅需要以极低的成本存储海量数据，还需适应多样化的非结构化数据管理需求，具备数据格式上的可扩展性。

需要根据处理的数据类型和分析目标，采用适当的算法模型，快速处理数据。大数据处理要消耗大量的计算资源，对于传统单机或并行计算技术来说，速度、可扩展性和成本方面都难以适应大数据计算分析的新需求。分而治之的分布式计算成为大数据的主流计算架构，但在一些特定场景下的实时性还需要大幅提升。

数据分析需要从纷繁复杂的数据中发现规律提取新的知识，是大数据价值挖掘的关键。传统数据挖掘对象多是结构化、单一对象的小数据集，挖掘更侧重根据先验知识预先人工建立模型，然后依据既定模型进行分析。对于非结构化、多源异构的大数据集的分析，通常缺乏先验知识，很难建立显式的数学模型，这就需要发展更加智能的数据挖掘技术。

在大数据服务于决策支撑场景下，以直观的方式将分析结果呈现给用户，是大数据分析的重要环节。如何让复杂的分析结果易于理解是主要挑战。嵌入多业务中的闭环大数据应用中一般由机器根据算法直接应用分析结果，而无需人工干预，这种场景下知识展现则不是必需的内容。

从整体层面上看，大数据对数据准备环节和知识展现环节来说只是量的变化，并不需要根本性的变革。但大数据对数据分析、计算和存储等环节影响较大，需要对技术架构和算法进行重构，是当前和未来一段时间大数据技术创新的焦点。