分类预测

线性回归

**节点用途：**线性回归可以用来研究一个或多个自变量对一个目标字段的影响重要程度，或者对目标字段进行预测。

使用条件：

• 该节点的目标字段必须为数值型字段。
• 使用该节点前需要先用一个类型节点指定参与分析的字段的角色，目标字段的角色定义为目标，其他自变量的角色定义为输入。

节点输出：

• 通过训练， 节点可以输出预测结果、模型的参数估计以及PMML格式的模型
• 在该节点之后配合使用分类预测器节点，可以得出未知目标字段的预测结果。通过评估节点还可以评估预测效果。

操作方法：

1. 在配置对话框中可以指定汇总方式，如下图：

图5-1-1-1

配置选项卡：

说明：

• **正则化方法：**预防机器学习过程中，因模型参数过多，导致过拟合现象。SM中，正则化方法综合了Lasso回归和Ridge回归，这里设定的数值用于调节这两种方法之间的比例。
• **正则化系数：**允许模型在拟合过程中存在偏差的程度，系数越大，对模型拟合的约束越松。
• **模型中包含常数：**设置回归模型中是否需要有截距
• 最优算法：求最优解时所用的算法，可以选择正规方程或L-BFGS（变量数量多数据量大时建议使用），也可由节点根据数据自动选择
• **最大迭代次数：**设置线性回归模型中求最优解的迭代次数，最好用默认值，因为过少容易导致模型准确度低，过多容易导致系统运行效率太低。
• **收敛条件：**设置模型收敛条件，符合条件，迭代计算将停止。一般用默认值。
• **使用标准化数据：**如果自变量数据量纲差异大，则勾选此项。
• **名义值最大类别数：**在模型训练期间，名义型字段的取值不能超过这里所定义的最大类别数，取值过多的话容易造成系统运算效率低，默认值5
• 缺失值: 模型数据中，若有缺失值，模型可选择终止执行，停止建模，或者模型仅使用完整记录进行建模。
• **散点图：**选取生成散点图的记录，起始行以及总行数

1. 确认配置后，执行并查看视图，以及预测表

• 线性回归结果：模型中线性回归系数，方差分析，R方
• 散点图：展示自变量于目标变量之间的关系
• 变量重要性图：显示各个参与建模字段对目标的影响程度
• PMML模型\PMML导出
• 预测数据表

线性回归结果

显示估计的系数和模型评估结果。

散点图

散点图用于展示输入数据点和回归线。Y轴为目标字段，X轴为其中一个数值型自变量。 注意：如果有多个自变量，此视图只是一个近似的图。 图中将没有显示在视图中的变量设为平均水平，因此，这个视图在仅有少数自变量时比较准确。

案例如下：

以1952-1988年中国农业实际国民收入指数序列为数据创建如下工作流：

连接线性回归模型配置节点如下：

执行结果如下：

利用表节点输出结果如下：

逻辑回归

节点用途： 测量一个分类型目标变量与一个或多个自变量之间的关系。

目标字段可以是二分类，也可以是多分类的；自变量可以是数值型的，也可以是分类型的，当自变量为分类型时将转化为多个哑变量进行分析。 逻辑回归可用于研究影响目标字段的因素的重要性、预测和判别。

在流行病学中有着广泛的应用，如探索某疾病的危险因素，根据危险因素预测该疾病发生的概率。

前提条件：

• 该节点的目标字段必须为名义型字段。
• 使用该节点前需要先用一个类型节点指定参与分析的字段的角色，目标字段的角色定义为目标，其他自变量的角色定义为输入。在配置界面选择目标字段的其中一个类别作为参考类别（该类别不参与建模，但可以通过其他类别计算得出该类的预测结果）。

节点输出：

• 节点可以输出模型的参数估计结果，以及PMML格式的模型。
• 在该节点之后配合使用回归预测器节点，可以得出目标字段的预测结果以及目标字段每个类别的预测概率。
• 通过分类评估节点还可以评估预测结果的准确度。

操作方法：

1. 在配置对话框中可以指定汇总方式，如下图：

图5-1-2-1

配置选项卡：

说明：

• **模型：**定义模型中识别目标变量分类方式

1. 自动：模型自动识别目标变量的分类数；
2. 二分类目标：用户指定目标变量是二分类的；
3. 多分类目标：用户指定目标变量是多分类的；

• **正则化方法：**预防机器学习过程中，因模型参数过多，导致过拟合现象。SM中，正则化方法综合了Lasso回归和Ridge回归，这里设定的数值用于调节这两种方法之间的比例。
• **正则化系数：**允许模型在拟合过程中存在偏差的程度，系数越大，对模型拟合的约束越松。
• **模型中包含常数：**设置回归模型中是否需要有截距
• 最优算法：求最优解时所用的算法，可以选择正规方程或L-BFGS（变量数量多数据量大时建议使用），也可由节点根据数据自动选择
• **最大迭代次数：**设置线性回归模型中求最优解的迭代次数，最好用默认值，因为过少容易导致模型准确度低，过多容易导致系统运行效率太低。
• **收敛条件：**设置模型收敛条件，符合条件，迭代计算将停止。一般用默认值。
• **使用标准化数据：**如果自变量数据量纲差异大，则勾选此项。
• **名义值最大类别数：**在模型训练期间，名义型字段的取值不能超过这里所定义的最大类别数，取值过多的话容易造成系统运算效率低，默认值5
• **追加所有概率：**在输出的预测数据中增加字段，输出模型预测的每条记录的流失/不流失的概率

1. $LP_0表示模型预测的该记录不流失的概率
2. $LP_1表示模型预测的该记录流失的概率
3. 其中$LP_0+$LP_1=1
4. 默认勾选

• 缺失值: 模型数据中，若有缺失值，模型可选择终止执行，停止建模，或者模型仅使用完整记录进行建模。

1. 确认配置后，执行并查看视图，以及预测表

• 变量重要性图：显示各个参与建模字段对目标的影响程度
• **逻辑回归结果：**展示预测模型中每个自变量的系数
• PMML模型\PMML导出
• 预测数据表

案例如下：

在软件自带案例“客户流失分析模型”中使用了该节点，工作流如下：

该节点配置如图5-1-2-1。

执行结果如下：

朴素贝叶斯

**节点用途：**使用给定的训练数据创建一个贝叶斯模型, 进行分类预测。 它为名义型字段计算其所有值的记录数，为数值型字段计算高斯分布概率。

前提条件：

• 该节点的目标字段必须为名义型字段。
• 使用该节点前需要先用一个类型节点指定参与分析的字段的角色，目标字段的角色定义为目标，其他自变量的角色定义为输入。在配置界面选择目标字段的其中一个类别作为参考类别（该类别不参与建模，但可以通过其他类别计算得出该类的预测结果）。

节点输出：

• 节点可以输出模型的参数估计结果，以及PMML格式的模型。
• 在该节点之后配合使用分类预测器节点，可以得出目标字段的预测结果以及目标字段每个类别的预测概率。
• 通过分类评估节点还可以评估预测结果的准确度。

操作方法：

1. 在配置对话框中可以指定汇总方式，如下图：

图5-1-3-1

配置选项卡：

说明：

• **平滑指数：**朴素贝叶斯模型进行平滑时所采用的参数lambda，默认为0（没进行平滑）
• **名义值最大类别数：**在模型训练期间，名义型字段的取值不能超过这里所定义的最大类别数，取值过多的话容易造成系统运算效率低，默认值为20
• **追加所有概率：**在输出的预测数据中增加字段，输出模型预测的每条记录的流失/不流失的概率

1. $NBP_0表示模型预测的该记录不流失的概率
2. $NBP_1表示模型预测的该记录流失的概率
3. 其中$NBP_0+$NBP_1=1
4. 默认勾选
5. 确认执行后，查看输出结果：

• 变量重要性图：显示各个参与建模字段对目标的影响程度
• 统计表：展示各个参与建模字段的基本统计量
• PMML模型\PMML导出
• 预测数据表

案例如下：

将朴素贝叶斯算法应用到信用评分模型，该案例的工作流分为三个部分：数据理解与探索、建模和应用，该部分的工作流图如下：

其他节点不在这里赘述了，本节点配置如图5-1-3-1，执行后查看结果：

执行结果：

1. 输入变量的重要性，如下图所示

1. 输入变量统计表，即在预测结果的各个类别下，输入变量的统计指标。

1. 预测数据，也就是针对每条记录的预测结果和针对预测结果的概率，如果在设置中已勾选，还会输出模型预测的每条记录的流失/不流失的概率。

1. 输出PMML模型结果并提供PMML模型导出功能，可在其他节点或者其他软件中调用已建好的模型。

一般，朴素贝叶斯模型生成后，使用评估节点，进行评估。结果如下图所示，对于测试集的预测准确度达到76.3%，是个不错的预测水平。

图 朴素贝叶斯算法评估结果图

还可以针对流失用户和非流失用户分别评估模型结果，以进一步保证模型的有效性。

分类预测器

**节点用途：**使用一个训练好的分类预测模型对新数据进行预测。

输入模型，输入数据，默认配置执行，就可以查看数据的分类结果。

C4.5

节点用途： 该节点包含可以进行分类预测的决策树算法。决策树(Decision Tree）是在已知各种情况发生概率的基础上，通过构成决策树来求取净现值的期望值大于等于零的概率，评价项目风险，判断其可行性的决策分析方法，是直观运用概率分析的一种图解法。由于这种决策分支画成图形很像一棵树的枝干，故称决策树。

说明：

• 目标字段必须是名义型字段。
• 输入字段可以是名义型的，也可以是数值型的。

1. 数值型字段通常进行二元分割， 根据确定的分割点将数据分成两个分区。
2. 名义型字段可以是二元分割也可以是多元分割，甚至是每一个名义值为一个分割点
3. 该模型该提供了两个计算分割质量的算法

• 包含减少决策树大小，提升预测精度的后修剪算法，该算法是基于最小描述长度原则。
  这个算法可以基于多处理器或者开启多个线程进行并行执行，这样可以提高性能。

节点输出：

• 节点可以输出模型的分类视图，分类规则，以及PMML格式的模型。
• 在该节点之后配合使用分类预测器节点，可以得出目标字段的预测结果以及目标字段每个类别的预测概率。
• 通过分类评估节点还可以评估预测结果的准确度。

操作方法：

1. 在配置对话框中可以指定汇总方式，如下图：

图5-1-5-1

配置选项卡：

说明：

• **树的最大深度：**定义树的最大节点数
• **最小信息增益：**分裂时最小的信息增益，如果小于此阈值则停止分裂
• **分支最小记录数：**为了防止分支中包含过少的记录，防止由于噪声造成的过度拟合，确定每个子节点中所包含的最小记录数，如果记录数小于或等于该值，则树不再进一步生长。这相当于预修剪。
• **连续字段最大分箱数：**基于连续性字段分裂时需要将其分箱转化为分类字段，为了控制执行成本和效率，需要限制连续性字段的最大
• **名义值最大类别数：**在模型训练期间，名义型字段的取值不能超过这里所定义的最大类别数，取值过多的话容易造成系统运算效率低，默认值10
• 追加所有概率：在输出的预测数据中增加预测字段，表示每条记录的属于每种分类的概率和最终预测的分类和相应的概率。默认勾选
• 缺失值: 模型数据中，若有缺失值，模型可选择终止执行，停止建模，或者模型仅使用完整记录进行建模。
• **固定随机种子：**如果希望每次执行的结果不变，勾选此选项。如果不勾选，每次执行会使用一个新的随机种子，多次执行的结果可能有所不同。

1. 确认配置后，执行并查看视图，以及预测表

• **决策树视图：**以视图形式显示决策树的分类，图中加减号可以进行收缩分支节点
• **决策树规则：**以文件目录的形式显示决策树的分类
• 变量重要性图：显示各个参与建模字段对目标的影响程度
• PMML模型\PMML导出

案例如下：

该节点的使用在软件中自带案例“信用评价模型”案例中的工作流如下：

该节点配置如图5-1-5-1，设置为默认值。

执行结果如下：

预测数据中显示了每条记录的分类预测值，同时输出分类规则，可使用分类预测器节点，将决策树的规则用来对同源但未知分类的数据进行预测。

LSVM

节点用途: 该节点使用输入的数据建立支持向量机训练模型。它支持许多不同的内核(双曲正切函数 、多项式和径向基函数)。支持向量机训练模型支持分类型字段（通过计算每一个类值和其余类值的双曲正切函数），不过这会增加执行时间。

操作方法：

1. 在配置对话框，如下图：

图5-1-6-1

配置选项卡：

说明：

• **正则化系数：**允许模型在拟合过程中存在偏差的程度，系数越大，对模型拟合的约束越松。
• **模型中包含常数：**模型中含有固定截距
• **最大迭代次数：**设置线性回归模型中求最优解的迭代次数，最好用默认值，因为过少容易导致模型准确度低，过多容易导致系统运行效率太低。
• **收敛条件：**设置模型收敛条件，符合条件，迭代计算将停止。一般用默认值。
• **使用标准化数据：**如果自变量数据量纲差异大，则勾选此项。
• 追加所有概率：在输出的预测数据中增加预测字段，表示每条记录的属于每种分类的概率和最终预测的分类和相应的概率。默认勾选
• 缺失值: 模型数据中，若有缺失值，模型可选择终止执行，停止建模，或者模型仅使用完整记录进行建模。

1. 确认配置后，执行并查看视图，以及预测表

• 变量重要性图：显示各个参与建模字段对目标的影响程度
• PMML模型\PMML导出
• 预测数据表

案例如下：

以“信用卡违约数据”建立如下工作流：

节点配置如图5-1-6-1，确认配置后，执行节点。

结果如下图，通过LSVM算法预测，对客户进行是否违约预测：

多项式回归

节点用途： 与线性回归一样，多项式回归模型可以研究一个或多个自变量对一个目标字段的影响重要程度，或者对目标字段进行预测。不同的是，多项式回归用来研究非线性关系，如种植密集度对粮食产量的影响。
　　该节点的目标字段必须为数值型字段。使用该节点前需要先用一个类型节点指定参与分析的字段的角色，目标字段的角色定义为目标，其他自变量的角色定义为输入。在配置界面指定多项式的最大阶数，系统默认执行二次多项式。 通过训练， 估计得出使得离差平方和最小的系数。节点可以输出预测结果、模型的参数估计以及PMML格式的模型，在有新的数据输入时，可以使用得到的PMML模型配合使用分类预测器节点对新的输入的目标字段进行预测。通过评估节点还可以评估预测效果。

操作方法：

1. 在配置对话框，如下图：

图5-1-7-1

配置选项卡：

说明：

• **多项式最大阶：**多项式回归模型的最高阶数
• **散点图：**用于作散点图的数据，选取总样本的前多少行数
• 缺失值: 模型数据中，若有缺失值，模型可选择终止执行，停止建模，或者模型仅使用完整记录进行建模。

1. 确认配置后，执行并查看视图，以及预测表

• **多项式回归结果：**多项式回归预测计算后的值
• **散点图：**用图显示数据的分布
• 变量重要性图：显示各个参与建模字段对目标的影响程度
• PMML模型\PMML导出
• **系数与统计量：**显示回归模型中各参数的回归系数
• 预测数据

随机森林

节点用途： 随机森林利用随机的方式将许多决策树组合成一个森林，每个决策树在分类的时候投票决定测试样本的最终类别

随机森林同时训练多个决策树，模型的结果由多个决策树基于投票策略决定。相比与决策树，随机森林模型更为稳定。

使用条件：

• 该节点的目标字段必须为名义型字段。
• 使用该节点前需要先用一个类型节点指定参与分析的字段的角色，目标字段的角色定义为目标，其他自变量的角色定义为输入。

操作方法：

1. 在配置对话框，如下图：

图5-1-8-1

配置选项卡：

说明：

• 树棵数： 最终决策树的个数
• **树的最大深度：**定义树的最大节点数
• **最小信息增益：**分裂时最小的信息增益，如果小于此阈值则停止分裂
• **分支最小记录数：**为了防止分支中包含过少的记录，防止由于噪声造成的过度拟合，确定每个子节点中所包含的最小记录数，如果记录数小于或等于该值，则树不再进一步生长。这相当于预修剪。
• **连续字段最大分箱数：**基于连续性字段分裂时需要将其分箱转化为分类字段，为了控制执行成本和效率，需要限制连续性字段的最大
• **名义值最大类别数：**在模型训练期间，名义型字段的取值不能超过这里所定义的最大类别数，取值过多的话容易造成系统运算效率低，默认值10
• 追加所有概率：在输出的预测数据中增加预测字段，表示每条记录的属于每种分类的概率和最终预测的分类和相应的概率。默认勾选
• 缺失值: 模型数据中，若有缺失值，模型可选择终止执行，停止建模，或者模型仅使用完整记录进行建模。
• **固定随机种子：**如果希望每次执行的结果不变，勾选此选项。如果不勾选，每次执行会使用一个新的随机种子，多次执行的结果可能有所不同。
• **每棵树使用样本量占比：**每棵树建立时所用的样本量比例设定
• **每棵树节点划分时输入特征的使用策略：**默认Auto

1. 确认配置后，执行并查看视图，以及预测表

模型混合

节点用途： 模型混合节点可结合使用两个或多个模型块，这样所获得的预测会比通过任意一个模型获得的预测更为准确。通过结合多个模型的预测，可以避免单个模型的局限性，从而使整体准确性更高。一般情况下，以这种方式组合的模型所得的结果不但可以与使用单个模型所得的最佳结果相媲美，而且结果通常会更理想。

节点配置：

配置选项卡：

说明：

• **混合方法：**采取多个模糊预测时，设定模型混合的方式
• 随机选择: 采取随机的方式选择预测模型
• **最高置信度：**选取置信度最高的模型作为最终的预测模型
• **过滤出整体模型生成的字段：**选择是否输出模型建模过程中所生成字段

KNN

**节点用途：**KNN即最近相邻元素模型。基于最近相邻元素算法对测试数据进行分类预测。底层算法使用KD树，应该表现出理想的性能，然而,这种类型的分类器只适合几千到一万左右的训练实例。执行中可以用所有数值型字段和欧式距离，而测试数据中所有的非数值型字段都将原样的出现在输出表中

节点配置：

配置选项卡：

说明：

• **最近邻值数量(k) ：**选择生成一个新实例的最近邻值数量
• **邻值距离加权：**使用邻近距离进行加权。距离越近的近邻对结果影响越大。然而，只有考虑K近邻
• **追加概率：**如果启用此选项,将会追加概率到输出表中。
• 追加所有概率：在输出的预测数据中增加预测字段，表示每条记录的属于每种分类的概率和最终预测的分类和相应的概率。默认勾选
• **顶层树样本总量：**设定顶层树的大小，所含样本量的上限
• **顶层树子节点数量：**设定顶层树的大小，顶层树所含子节点的上限
• **分布式子树子节点数量：**设定各分布子树所含节点数量的上限
• **溢出树返回度量树的占比：**设定树溢出时的返回比例
• **使用随机种子：**如果希望每次执行的结果不变，勾选此选项。如果不勾选，每次执行会使用一个新的随机种子，多次执行的结果可能有所不同
• **名义值最大类别数：**在模型训练期间，名义型字段的取值不能超过这里所定义的最大类别数，取值过多的话容易造成系统运算效率低，默认值100

贝叶斯网络

**节点用途：**贝叶斯网络是基于贝叶斯决策理论的分类算法。它假定变量之间存在相关性，并采用网络的方式描述变量之间的关系。

使用条件：

• 该节点的目标字段必须为名义型字段
• 使用该节点前需要先用一个类型节点指定参与分析的字段的角色，目标字段的角色定义为目标，其他自变量的角色定义为输入。

节点配置：

配置选项卡：

说明：

• **ADTree：**用于加速参数求解，需要使用更多的内存
• **局部搜索：**如果不选择，将采用全局搜索算法，模型训练需要更多的时间
• **搜索算法：**搜索算法发现贝叶斯网络结构
• **评估方法：**评估网络结构好坏的方法
• **得分函数：**评估基准
• **最大父节点个数：**网络结构中最大的父节点个数。
• **初始权重：**设为默认值
• **使用随机种子：**如果希望每次执行的结果不变，勾选此选项。如果不勾选，每次执行会使用一个新的随机种子，多次执行的结果可能有所不同

高斯过程回归

**节点用途：**一种常用的监督学习方法，旨在解决*回归问题*和*概率分类问题*
使用条件：

• 该节点的目标字段必须为数值型字段。
• 使用该节点前需要先用一个类型节点指定参与分析的字段的角色，目标字段的角色定义为目标，其他自变量的角色定义为输入。

节点配置：

配置选项卡：

说明：

• **噪声等级：**高斯函数中的噪声等级，噪声数据的干扰程度
• **正则化方法：**包含归一化和标准化方法，如果选择无，则不正规化
• **核函数：**选择一个核函数，一般设为默认
• **缓存：**占用缓存大小
• **指数：**设为默认值
• **使用静态种子：**如果希望每次执行的结果不变，勾选此选项。如果不勾选，每次执行会使用一个新的随机种子，多次执行的结果可能有所不同

M5P回归树

节点用途： M5P回归树综合决策树和回归算法，用于处理目标字段为连续型的业务问题。

使用条件：

• 该节点的目标字段必须为数值型字段。
• 使用该节点前需要先用一个类型节点指定参与分析的字段的角色，目标字段的角色定义为目标，其他自变量的角色定义为输入

节点配置：

配置选项卡：

说明：

• **剪枝:**是否剪枝
• 平滑处理: 是否对数据进行平滑操作
• **构建回归树：**设定是否构建回归树
• **叶子最小样本数：**设定叶子节点所含样本量的下限
• **使用静态种子：**如果希望每次执行的结果不变，勾选此选项。如果不勾选，每次执行会使用一个新的随机种子，多次执行的结果可能有所不同