数据分析的过程主要包含这7个方面

标签：数据分析的过程 | 发布时间： 2022-09-20 11:58:53

数据分析的过程是循序渐进的过程，主要包括如下7个方面。

一个完整的数据分析的过程，应该包括数据采集、数据存储、数据提取、数据挖掘、数据分析、数据展现、数据应用七个方面。今天我们就来从这几个角度着手，简要介绍一下数据分析的过程。

1. 数据采集

数据采集的意义在于真正了解数据的原始面貌，包括数据产生的时间、条件、格式、内容、长度、限制条件等。这会帮助数据分析师更有针对性的控制数据生产和采集过程，避免由于违反数据采集规则导致的数据问题；同时，对数据采集逻辑的认识增加了数据分析师对数据的理解程度，尤其是数据中的异常变化。

2.数据存储

数据可以存储于云端数据库或者本地数据库。在数据存储阶段，需要了解数据存储内部的工作机制和流程，最核心的因素是在原始数据基础上经过哪些加工处理，最后得到了怎样的数据。需要注意的是，数据在存储阶段是不断动态变化和迭代更新的，要注意其及时性、完整性、有效性、一致性、准确性。

比如：

数据存储系统是MySql、Oracle、SQL Server还是其他系统。
数据仓库结构及各库表如何关联，星型、雪花型还是其他。
接触到的数据是原始数据还是ETL后的数据，ETL规则是什么。
数据仓库数据的更新更新机制是什么，全量更新还是增量更新。
不同数据库和库表之间的同步规则是什么，哪些因素会造成数据差异，如何处理差异的。

3.数据提取

数据提取是将数据取出数据分析的过程，数据提取的核心环节是从哪取、何时取、如何取。

在数据提取阶段，数据分析师首先需要具备数据提取能力。其次是理解业务需求的能力，比如业务需要销售额这个字段，相关字段至少有产品销售额和产品订单金额，其中的差别在于是否含优惠券、运费等折扣和费用。包含该因素即是订单金额，否则就是产品单价×数量的产品销售额。

4.数据挖掘

数据挖掘是面对海量数据时进行数据价值提炼的关键，在数据挖掘阶段，数据分析师要掌握数据挖掘相关能力。一是数据挖掘、统计学、数学基本原理和常识；二是熟练使用一门数据挖掘工具，Clementine、SAS或R都是可选项，如果是程序出身也可以选择编程实现；三是需要了解常用的数据挖掘算法以及每种算法的应用场景和优劣差异点。