评估

评估概述

现在，数据挖掘项目已经完成了一大半。而且，根据之前定义的数据挖掘成 功标准，还确定在建模阶段构建的模型从技术上说是正确而且有效的。但是，前面的模型还不能直接运用到商业中去。在建模阶段的模型评估主要基于技术角度，

一个有着很强拟合能力的模型不一定有着同样好的预测能力。众所周知，数据分析中常常会遇到“过拟合”的问题，我们做数据挖掘的目的不仅是在总结过去的特征或者规律，更主要是为了用于预测未来，那么我们通过挖掘技术从历史信息中挖掘出的规律应该是既适用于过去，又适用于现在，还同样适用于未来。如果我们对历史信息“过度总结”，那很可能会造成我们挖掘出了一些规律只代表过去的特征，这就会导致用这样的规律去拟合历史的数据会很准确，却使得预测未来的效果很差，这就是“过拟合”现象。另外，我们在实际应用中，还可能会遇到模型“不稳定”，也就是有时模型预测准确，有时差距很大，这种“不稳定”导致我们无法信任模型。

因此，在继续之前，还应该使用在项目开始时设立的业务成功标准评估模型。这是确保实现业务目标的关键环节。

评估结果

在这个阶段，将对项目结果是否达到业务成功标准的评估进行规范。此步骤要求对声明的业务目标有清晰地了解，因此请确保在项目评估时包含关键决策制定者。在这里主要回答以下几个问题：

三个模型中哪个模型最优？

选择使用单一模型部署还是使用混合模型部署？

单一模型和混合模型各自的优势和不足分别是什么？模型未来的风险有多大，对业务影响有多大？

应对措施是什么？

将对业务有多大改善？

今后如何改善模型？

确定后续步骤

至今为止，已经生成了结果并且评估了数据挖掘过程，此时应该考虑，接下来该做些什么？这一阶段将根据数据挖掘业务目标回答上述问题。实际上，此时具有两个选择：

一是，继续进入部署阶段，将模型结果并入业务过程中，从而生成最终的报告。

二是，返回到前面的步骤改进或替换模型。如果发现结果几乎可以算是（但并非）最佳结果，可以考虑另一轮建模。可将在此阶段中了解到的信息用于改进模型并生成更好的结果。

此时的决定关系到建模结果的准确度和相关性。如果结果实现了数据挖掘目标和业务目标，则已经可以进入部署阶段。不论作出什么决定，都请确保记录下完整的评估过程。