第1章 工业大数据分析概论

1.1 工业大数据分析概述

1.1.1 工业大数据分析的概念

工业大数据即工业数据的总和。工业大数据分析是利用统计学分析技术、机器学习技术、信号处理技术等技术手段，结合业务知识对工业过程中产生的数据进行处理、计算、分析并提取其中有价值的信息、规律的过程。大数据分析工作应本着需求牵引、技术驱动的原则开展。在实际操作过程中，要以明确用户需求为前提、以数据现状为基础、以业务价值为标尺、以分析技术为手段，针对特定的业务问题，制订个性化的数据分析解决方案。

工业大数据分析的直接目的是获得业务活动所需的各种知识，架起大数据技术与大数据应用之间的桥梁，支撑企业生产、经营、研发、服务等各项活动的精细化，促进企业转型升级。

工业大数据的分析要求用数理逻辑严格地定义业务问题。由于工业生产过程本身受到各种机理约束条件的限制，利用历史过程数据定义问题边界往往达不到工业的生产要求，需要采用数据驱动+模型驱动的双轮驱动方式，实现数据和机理的深度融合，能在较大程度上解决实际的工业问题。工业数据分析多领域交叉示意如图1-1所示。

1.1.2 工业大数据分析的相关技术

近年来，大数据的兴起有两个原因：一是传统业务的发展遭遇数据存储量大、采集速度频率快、结构复杂等瓶颈问题，需要采用新的技术解决，即“大数据平台技术”，如时序数据采集技术、海量数据存储技术等；二是随着数据存储量的增大和处理能力的增强，催生了新的应用和业务，即“大数据应用技术”，如智能制造、现代农业、智能交通等。

图1-2是工业大数据系统参考框架，从下至上分别是工业大数据平台技术和工业大数据的应用技术。

总体上看，“大数据平台技术”主要偏重IT技术，“大数据应用技术”关注的重点主要是业务和领域知识。大数据分析技术则深度融合这两类技术知识，并结合机器学习技术、产品分析技术等数据分析技术，解决实际业务问题。

1.1.3 工业大数据分析的基本过程

工业大数据分析的基本任务和直接目标是发现与完善知识，企业开展数据分析的根本目标是为了创造价值。这是两个不同层次的问题，需要一个转化过程进行关联。为了提高分析工作的效率，需事先制订工作计划，如图1-3所示的工业大数据分析任务的工作方案与探索路径。

数据分析缘于用户的业务需求，相同的业务需求会有多个可行方案，每个方案又有若干可能的实现途径。例如，面对减少产品缺陷的业务需求，可以分成设备故障诊断和工艺优化等方案。而设备诊断又可进一步根据设备和机理的不同，分成更明确的途径，如针对特定设备故障的诊断。遇到复杂问题，这些途径可能会被再次细分，直至明确为若干模型。首先了解输入/输出关系，如特定参数与设备状态之间的关系，这些关联关系即知识的雏形；然后，需要寻找适当的算法，提取和固化这些知识。

知识发现是个探索的过程，并不能保证每次探索都能成功，上述计划本质上只是罗列了可能的方案。只要找到解决问题的办法，就不必对每种方案或途径都进行探索。在不同的途径中，工作量和成功的概率、价值成本都是不一样的，一般尽量挑选成功概率大、工作量相对小、价值大、成本低的路径作为切入点，尽量减少探索成本。在项目推进或者探索的过程中，还会根据实际的进程，对预订的计划及顺序进行调整。

计划的制订和执行过程，本质上体现了领域知识和数据分析知识的融合。其中，方案和途径的选择，要兼顾业务需求和数据条件。这是本书第3～5章要讨论的问题，而算法、模型、验证等相关问题，则放在第6章和第7章讨论。

1.1.4 工业大数据分析的类型

根据业务目标的不同，数据分析可以分成4种类型。

1．描述型分析

描述型分析用来回答“发生了什么”、体现的“是什么”知识。例如，工业企业总的周报、月报、商务智能（BI）分析等，就是典型的描述型分析。描述型分析一般通过计算数据的各种统计特征，把各种数据以便于人们理解的可视化方式表达出来。

2．诊断型分析

诊断型分析用来回答“为什么会发生这样的事情”。针对生产、销售、管理、设备运行等过程中出现的问题和异常情况，找出导致问题的原因所在，诊断分析的关键是剔除非本质的随机关联和各种假象。

3．预测型分析

预测型分析用来回答“将要发生什么”。针对生产、经营中的各种问题，根据现在可见的因素，预测未来可能发生的结果。

4．处方型（指导型）分析

处方型分析用来回答“怎么办”的问题。针对已经和将要发生的问题，制订适当的行动方案，有效地解决存在的问题或把工作做得更好。

业务目标不同，所需要的条件、对数据分析的要求和难度也不同。大体上说，以上4种问题的难度是递增的：描述型分析的目标只是便于人们理解；诊断型分析有明确的目标和对错；预测型分析不仅有明确的目标和对错，还要区分因果关系；而处方型分析往往要进一步与实施手段和流程的创新相结合。

同一个业务目标可以有不同的实现路径，还可以转化成不同的数学问题。例如，处方型分析可以用回归、聚类等多种方法来实现。每种方法所采用的变量也可以不同，故而得到的知识也不一样，这就要求对实际的业务问题有深刻的理解，并采用合适的数理逻辑关系描述。

1.1.5 工业大数据分析的价值

工业大数据分析的根本目标是创造价值。工业对象的规模和尺度不同，价值点也有所不同，数据分析工作者往往要学会帮助用户寻找价值。价值寻找遵循这样一个原则：一个体系的价值取决于包含这个体系的更大体系。因此，确定工作的价值时，应该从更大的尺度上看问题。对象不同，隐藏价值的地方往往也不尽相同。下面是常见的价值点。

1．设备尺度的价值点

船舶、飞机、汽车、风车、发动机、轧机等都是设备。首先面对的是如何使用设备，包括如何使用才能有更好的性能或更低的消耗、如何使用才可能避免造成损失。其次是如何保证设备正常使用，也就是如何更好、更快、更高效地解决设备维修、维护、故障预防等问题。除此之外，从设备类的生命周期看问题，分析如何对下一代设备进行设计优化，使之更方便使用等问题。

2．车间尺度的价值点

按照精益生产的观点，车间里面常见的问题可以划分为7种浪费：等待时的浪费、搬运时的浪费、不良品的浪费、动作的浪费、加工时的浪费、库存品的浪费、制造过多（早）的浪费。数据分析的潜在价值也可以归结到这7种浪费。一般来说，这7种浪费的可能性是人发现的，处理问题的思路是人类专家给出的。人们可以用数据来确定它们是否存在、浪费多少，并进一步确定最有效的改进方法。

3．企业尺度的价值点

除了生产过程，工业企业的业务还包括研发设计（创新）、采购销售、生产组织、售后服务等多方面的工作。相关工作的价值多与跨越时空的协同、共享、优化有关。例如，把设计、生产、服务的信息集成起来；加强上下级之间的协同、减少管理上的“黑洞”；把历史数据记录下来，对工业和产品设计进行优化；把企业/车间计划和设备控制、反馈结合起来，等等。随着企业进入智能制造时代，这类价值将会越来越多。然而，问题越复杂，在落实阶段遇到的困难就越大，应在价值大小和价值落地之间取得平衡。

4．跨越企业的价值点

跨越企业的价值点包括供应链、企业生态、区域经济、社会尺度的价值。这些价值往往涉及企业之间的分工、协作，以及企业业务跨界重新定义等问题，是面向工业互联网的新增长点。

1.1.6 工业大数据分析支撑业务创新

一般来说，工业大数据分析服务于现有业务，但越来越多的企业开始把这一工作作为业务创新、转型升级的手段。两类工作的性质不同，前者的重点在于如何进行数据分析，后者的重点是如何应用数据分析技术。

支撑企业的转型升级、业务创新是工业大数据最重要的用途之一，但是从转型升级的尺度来看，工业大数据分析只是一种技术支撑手段。在利用该技术手段之前，需要梳理清楚数据分析技术和目标之间的关系。首先要关注的是业务需求什么，而不是能从数据中得到什么。反之，思维就有很大的局限性，甚至南辕北辙。

用大数据推动业务创新时，需要确认几个问题：想做什么（业务目标）、为什么这么做（价值存在性）、打算怎么做（技术线路、业务路径）、需要知道什么（信息和知识，数据分析的目标）、怎么才能知道（数据分析过程）。由此可知，推动企业的业务创新和优化（做什么、怎么做）是个大目标，而具体的数据分析则只是一个子目标（怎样才能知道）。衡量两类目标的尺度是不一样的。对于具体的问题，数据分析不仅要关注如何实现小目标，还要结合业务需求，将大目标分解成子目标，也就是确定“需要知道什么”。从数据分析的过程来说，子目标的实现是战术问题，子目标的设定则是战略问题。它们都是数据分析团队需要面对的难点。

如前所述，数据分析是个探索的过程。而数据分析的子目标（想知道什么）能否实现取决于数据的条件。数据条件不满足时，有些子目标是无法满足的。而数据条件是否满足，往往需要在探索的过程中才能确定下来。同时，如果子目标无法实现，那么人们可能需要围绕业务需求，重新设置数据分析的子目标，甚至业务子目标。但这样做会降低数据分析的效率。

总之，进行工业大数据分析，必须从业务角度看问题，才能找准工作大目标。以上的描述可以用图1-4表示。