最为常用的数据挖掘方法论

内容导航：

最为常用的数据挖掘方法论

数据挖掘的方法有哪些?

常用的数据挖掘算法有哪几类？

大数据挖掘方法有哪些

一、最为常用的数据挖掘方法论

01 CRISP-DM方法论

CRISP-DM方法论由NCR、Clementine、OHRA和Daimler-Benz的数据挖掘项目总结而来，并被SPSS公司大力推广。CRISP-DM方法论将数据挖掘项目的生命周期分为6个阶段，分别是商业理解、数据理解、数据准备、建模、评估和准备工作，如图1所示。在实际项目进行过程中，由于使用者的目标背景和兴趣不同，有可能打乱各阶段顺承的关系。

图1呈现了CRISP-DM方法执行流程的6个阶段。各个阶段的顺序不是保持不变的，有时需要在某个阶段向前或向后移动，这取决于每个阶段的结果和下一个阶段的具体任务。箭头指出了各个阶段之间的关联。

在图1中，最外圈的循环表示数据挖掘本身的循环特征。数据挖掘是一项持续的工作。在上一个流程和解决方案中获得的经验与教训，可以给下一个项目提供指导。下面简要介绍每个阶段的特点。

1）商业理解。该阶段的特点是从商业角度理解项目的目标和要求，通过理论分析找出数据挖掘可操作问题，制订实现目标的初步计划。

2）数据理解。该阶段开始于原始数据的收集，然后是熟悉数据、标明数据质量问题、探索对数据的初步理解、发掘有趣的子集，以形成对探索关系的假设。

3）数据准备。该阶段包括所有从原始的、未加工的数据构造数据挖掘所需信息的活动。数据准备任务可能被实施多次，而且没有任何规定的顺序。这些任务的主要目的是从源系统根据维度分析的要求，获取所需要的信息，同时对数据进行转换和清洗。

4）建模。该阶段主要是选择和应用各种建模技术，同时对参数进行校准，以达到最优值。通常，同一类数据挖掘问题会有多种建模技术。一些技术对数据格式有特殊的要求，因此常常需要返回到数据准备阶段。

5）评估。在模型最后发布前，根据商业目标评估模型和检查模型建立的各个步骤。此阶段的关键目的是，确认重要的商业问题都得到充分考虑。

6）准备工作。模型完成后，由模型使用者（客户）根据当时的背景和目标完成情况，决定如何在现场使用模型。

02 SEMMA方法论

除了CRISP-DM方法论，SAS公司还提出了SEMMA方法论。其与CRISP-DM方法论内容十分相似，流程为定义业务问题、环境评估、数据准备、循环往复的挖掘过程、上线发布、检视。其中循环往复的挖掘过程包含探索、修改、建模、评估和抽样5个步骤，如图2所示。

1）抽样。该步骤涉及数据采集、数据合并与抽样操作，目的是构造分析时用到的数据。分析人员将根据维度分析获得的结果作为分析的依据，将散落在公司内部与外部的数据进行整合。

2）探索。这个步骤有两个任务，第一个是对数据质量的探索。变量质量方面涉及错误值（年龄=-30）、不恰当（客户的某些业务指标为缺失值，实际上是没有这个业务，值应该为“0”）、缺失值（没有客户的收入信息）、不一致（收入单位为人民币，而支出单位为美元）、不平稳（某些数据的均值变化过于剧烈）、重复（相同的交易被记录两次）和不及时（银行客户的财务数据更新滞后）等。探索步骤主要解决错误的变量是否可以修改、是否可以使用的问题。比如，缺失值很多，平稳性、及时性很差的变量不能用于后续的数据分析，而缺失值较少的变量需要进行缺失值填补。第二个是对变量分布形态的探索。对变量分布形态的探索主要是对变量偏态和极端值进行探索。由于后续的统计分析大多是使用参数统计方法，这要求连续变量最好是对称分布的，这就需要我们了解每个连续变量的分布情况，并制定好变量修改的方案。

3）修改。根据变量探索的结论，对数据质量问题和分布问题涉及的变量分别做修改。数据质量问题涉及的修改包括错误编码改正、缺失值填补、单位统一等操作。变量分布问题涉及的修改包括函数转换和标准化，具体的修改方法需要与后续的统计建模方法相结合。

4）建模。根据分析的目的选取合适的模型，这部分内容在1.3节已经做了详细的阐述，这里不再赘述。

5）评估。这里指模型的样本内验证，即使用历史数据对模型表现的优劣进行评估。比如，对有监督学习使用ROC曲线和提升度等技术指标评估模型的预测能力。

CIO之家 微信公众号:imciow

一、数据挖掘的方法有哪些?

数据挖掘的的方法主要有以下几点：　
1.分类挖掘方法。分类挖掘方法主要利用决策树进行分类，是一种高效且在数据挖掘方法中占有重要地位的挖掘方法。为了对数据进行较为准确的测试并据此分类，我们采用决策树算法，而决策树中比较典型的几种方法为：ID3算法，此方法具有较强的实用性，适用于大规模数据处理；KNN算法，此方法算量较大，适用于分别类别的数据处理。
2..聚类分析挖掘方法。聚类分析挖掘方法主要应用于样品与指标分类研究领域，是一种典型的统计方法，广泛应用于商业领域。此聚类分析方法根据适用对象不同又可分为四种分析挖掘方法：基于网格的聚类分析方法、基于分层的聚类方法、基于密度的聚类挖掘方法和基于模型的聚类方法。
3.预测方法。预测方法主要用于对知识的预测以及对连续数值型数据的挖掘，传统的预测方法主要分为：时间序列方法、回归模型分析法、灰色系统模型分析。而现在预测方法主要采用神经网络与支持向量机算法，进行数据分析计算，同时可预测未来数据的走向趋势。

关于大数据挖掘工程师的课程推荐CDA数据分析师的相关课程，课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。要求学生具备从数据治理根源出发的思维，通过数字化工作方法来探查业务问题，通过近因分析、宏观根因分析等手段，再选择业务流程优化工具还是算法工具，而非“遇到问题调算法包”。

二、常用的数据挖掘算法有哪几类？

常用的数据挖掘算法分为以下几类：神经网络，遗传算法，回归算法，聚类分析算法，贝耶斯算法。

目前已经进入大数据的时代，所以数据挖掘和大数据分析的就业前景非常好，学好大数据分析和数据挖掘可以在各个领域中发挥自己的价值；同时，大数据分析并不是一蹴而就的事情，而是需要你日积月累的数据处理经验，不是会被轻易替代的。一家公司的各项工作，基本上都都用数据体现出来，一位高级的数据分析师职位通常是数据职能架构中领航者，拥有较高的分析和思辨能力，对于业务的理解到位，并且深度知晓公司的管理和商业行为，他可以负责一个子产品或模块级别的项目，带领团队来全面解决问题，把控手下数据分析师的工作质量。

想要了解更多有关数据挖掘算法的信息，可以了解一下CDA数据分析师的课程。课程教你学企业需要的敏捷算法建模能力，可以学到前沿且实用的技术，挖掘数据的魅力;教你用可落地、易操作的数据科学思维和技术模板构建出优秀模型，只教实用干货，以专精技术能力提升业务效果与效率。。

三、大数据挖掘方法有哪些

数据挖掘是指人们从事先不知道的大量不完整、杂乱、模糊和随机数据中提取潜在隐藏的有用信息和知识的过程。下面说下我们在挖掘大数据的时候，都会用到的几种方法：
方法1.(可视化分析)无论是日志数据分析专家还是普通用户，数据可视化都是数据分析工具的最基本要求。可视化可以直观地显示数据，让数据自己说话，让听众看到结果。
方法2.(数据挖掘算法)如果说可视化用于人们观看，那么数据挖掘就是给机器看的。集群、分割、孤立点分析和其他算法使我们能够深入挖掘数据并挖掘价值。这些算法不仅要处理大量数据，还必须尽量缩减处理大数据的速度。
方法3.(预测分析能力)数据挖掘使分析师可以更好地理解数据，而预测分析则使分析师可以根据可视化分析和数据挖掘的结果做出一些预测性判断。
方法4.(语义引擎)由于非结构化数据的多样性给数据分析带来了新挑战，因此需要一系列工具来解析，提取和分析数据。需要将语义引擎设计成从“文档”中智能地提取信息。
方法5.(数据质量和主数据管理)数据质量和数据管理是一些管理方面的最佳实践。通过标准化流程和工具处理数据可确保获得预定义的高质量分析结果。

想要了解更多有关大数据挖掘的信息，可以了解一下CDA数据分析师的课程。课程内容兼顾培养解决数据挖掘流程问题的横向能力以及解决数据挖掘算法问题的纵向能力。要求学生在使用算法解决微观根因分析、预测分析的问题上，根据业务场景来综合判断，洞察数据规律，使用正确的数据清洗与特征工程方法，综合使用统计分析方法、统计模型、运筹学、机器学习、文本挖掘算法，而非单一的机器学习算法。真正给企业提出可行性的价值方案和价值业务结果。。