数据准备

概述
Java代码段
Java选择器
自定义算法
名义值过滤
抽样
汇总
排序
分区
合并
追加
选择
转置
参考行过滤
设为标志
重新结构化
时间选择
自定义选择
去重
提取字段名
插入字段名
平衡
RMF汇总
类型
过滤
分列
类型转换
缺失填充
参考列过滤
填充
自定义填充
组合
近似处理
标准化
延迟
字段重排
RFM分级
分箱
日期时间提取
时间偏移
时间差
时间区间
派生
2.43 重新编码
2.44 大小写转换
2.26 序列缺失填充

概述

（此页面暂无内容）

Java代码段

（此页面暂无内容）

Java选择器

（此页面暂无内容）

自定义算法

（此页面暂无内容）

名义值过滤

**节点用途：**筛选目标字段的取值等于选择的一个或者多个名义值的记录。

说明：该节点只适用于测量类型为分类型的字段，配置过程中需使用元数据

前提条件：选取的目标字段的类型为分类型字段

操作步骤：

选择配置选项卡，如下图：

配置选项卡

说明：

**选择字段：**选择作为过滤条件的字段，可选字段为测量类型为名义型、标志型、有序型的字段，默认选择最后一个。
**选择名义值：**选择要输出的名义值列表。选中一个字段后，左侧的可用名义值列表会从元数据获取该字段的所有名义值，可以通过”添加”和”移除”按钮将要输出的名义值选择到右侧，选中字段的取值不在已选名义值列表中的记录将从数据集中删除。

操作示例：

示例工作流中的统计案例用到了这一功能，原始数据如下：

员工基础信息表：

使用名义值过滤节点，过滤出所有工作类型为“State-gov”的记录，配置如下：

执行后，数据转换为，工作类型是“State-gov”的数据，如下图：

抽样

节点用途： 从输入数据中抽取一个样本

**操作方法：**在配置对话框中可以指定抽样方法

定义抽取样本量

选取抽样方式

配置选项卡

说明：

**定义样本数量：**设定本次抽样所需样本数量，有以下两种方式

样本量**：**指定本次抽样所需样本数量
样本比例：按照总样本的一定比例抽取样本

**抽样方式：**抽样的方法有很多种，常用的有下几种方法：

**前ｎ个：**抽取前ｎ条记录作为样本。如果现有的行数比指定的数小，则使用所有行。
**等距抽样：**先将总体按照一定顺序排列，采用简单随机抽样，抽取第一个样本 (或称为随机起点)，再顺序抽取其余的样本
**简单随机：**指定样本量占总记录数的百分比。该值必须处在1到100之间
**分层抽样：**是从一个可以分成不同子总体（或称为层）的总体中，按规定的比例从不同层中随机抽取样本的方法
**等量抽样：**此方法总是包含第一和最后的行，对于剩余的记录，每隔一定间隔抽取一条记录，例如每隔三行。
**固定随机数种子：**如果希望每次执行的结果不变，只需要勾选随机数种子即可。如果不勾选，每次执行会使用一个新的随机种子，多次执行的结果可能有所不同。

操作示例：

案例：员工基础信息表，含有总样本32,561条记录，现在按照员工性别，分层抽样，抽取10%的样本。

配置节点，如下：

执行后，右键点击本节点，会有两个输出表，一个是样本表（按指定规则抽取的样本，3,257条数据），一个是过滤表（总样本-抽取样本, 29,304条数据）。

汇总

节点用途：基于选中字段的唯一值对表中的行进行分组计算，生成汇总表。

说明：

汇总表的行，是由组合选项卡中每个选中字段的唯一值确定的，每一行是由组合选项卡中每个选中字段的唯一值确定的分组。
每个分组的汇总值基于聚合选项卡中指定的字段及定义的方法进行聚合得到。

操作方法：

在配置对话框中可以指定汇总方式，如下图：

配置选项卡

说明：

**分组选项卡：**可以选择一个或者多个字段作为分组字段。根据每个选中字段的唯一值确定分组，一个分组作为生成汇总表的一条记录。只支持“整型”或者“字符型”字段。
汇总选项卡：可以选择一个或多个字段基于分组进行汇总计算。可以在高级设置中批量设定各类型字段的汇总方法，然后添加到汇总表中；也先添加的目标字段，单独指定汇总方法。

汇总方式：

高级设置，为各类型字段进行批量定义汇总方法，在各类型字段对应的汇总方式列表中，勾选所需要的汇总方法（可多选）。
**汇总方法：**单独为所选变量指定汇总方法，如下图位置中设定：

单独设定

执行后输出汇总表

汇总表展示汇总结果，但是为了能清晰看到汇总结果，建议对汇总结果的分组变量进行排序。

操作示例 如下：

案例：对员工基础信息表进行汇总，汇总方式为：按照教育程度，国籍，进行分组后，按照列表汇总收入，按照总和，平均值汇总每周工时。

配置节点，如下图：

启用缓存，执行后，生成的**汇总表，**如下图:

排序

节点用途： 按照用户指定字段，对数据进行升序或者降序排列。

操作方法：

在配置对话框中可以指定汇总方式，如下图

配置选项卡

说明：

**主要关键字：**选择一个字段作为第一排序关键字
**添加条件：**添加新的字段，作为后续排序关键字
**删除条件：**删除不需要的排序字段
**上移/下移：**重新定义要排序的关键字的次序
**排序方式：**按照升序或者降序对关键字进行排序

执行后，输出排序表

操作示例如下：

案例：对员工基础信息表进行排序，方式为：按照国籍降序，教育程度升序对数据排序

配置节点，如下图：

启动缓存，执行后，生成的排序表如下：

可以看到，国籍按照字段降序，教育程度按照升序进行排序的数据。

分区

节点用途： 将数据表随机分为训练集和测试集，训练集用于生成模型，测试集用于测试已经生成的模型。可以预判此模型对新数据的拟合优劣。

说明：

分区节点会生成一个名义字段，其角色默认设置为分区
如果数据中已经存在相应的字段，可以使用”类型”节点将其角色指定为分区
一个工作流中只能定义一个分区字段，且一旦有了分区字段，则默认启用分区功能。
如果想禁用分区功能，只需要在类型节点中分区字段的角色改为无即可。

操作方法 如下：

配置选项卡

说明：

**分区字段：**定义作为分区字段而新生成的字段名
**训练分区大小：**指定训练样本占总样本的比例，该值必须是0到100之间的，默认训练占 80%的比例。
**测试分区大小：**指定测试样本占总样本的比例，该值必须是0到100之间的，默认为测试占20%的比例。
训练分区大小和测试分区大小的和必须等于100。
**固定随机数种子：**如果希望每次执行的结果不变，只需要勾选随机数种子即可。如果不勾选，每次执行会使用一个新的随机种子，多次执行的结果可能有所不同。

操作示例 如下：

通过配置选项卡，数据表得到新变量“分区”，将数据表随机分为训练数据和测试数据，执行后，右键查看分区表，训练集如下：

合并

**节点用途：**将两个或多个数据表，合并到一张数据表中，使生成的数据包含更多字段信息。当您要合并来源不同的数据（如客户基本信息和客户消费信息）时，此操作非常有用。有以下两种合并数据的方式：

说明：

按**顺序合并：**会按照输入的顺序连接来自所有源的相应记录，直到穷尽最小的数据源。如果使用此选项，务必确保两个表中的记录是按照位置索引一一对应的。这种合并方式就像将Excel一个工作表中的几列直接复制粘贴到另外一个工作表中一样，按照行的序号一一对应。
关键字段合并（如客户编码），使用此方法指定如何将来自一个数据源的记录与来自其他数据源的记录相匹配。连接的类型有许多，其中包括内部连接、左连接、右连接和全部外连接。

操作方法如下：

配置节点，如下图：

输入选项卡：

说明：

显示需要合并的数据表，以及每个表中所含有的字段数
上移/下移，调整数据合并过程中的次序，默认最上面一行显示的数据表为主数据表

配置选项卡：

说明：

合并方式：按照顺序或者关键字段
如果选择关键字合并，那么需要选择列表中字段作为关键字段
仅包含匹配的记录（内部链接）
包含匹配和不匹配的记录（完全外部链接）
包含匹配记录和第一个输入表的不匹配记录（左链接）

数据链接案例解释：

要合并第一个数据表（语文成绩表）和第二个数据表（数学成绩表）。

输入表：

语文成绩表： id 姓名语文成绩

001 张三 85

002 李四 70

数学成绩表：id 姓名数学成绩

001 张三 90

003 王二 80

内链接合并后：id 姓名语文成绩数学成绩

新表： 001 张三 85 90

外部链接合并后：id 姓名语文成绩数学成绩

新表： 001 张三 85 90

002 李四 70 -

003 王二 - 70

左链接合并后：id 姓名语文成绩数学成绩

新表： 001 张三 85 90

002 李四 70 -

过滤选项卡：

该选项卡的功能是过滤左表和右表中，对于建模分析不需要的字段。通过点击“过滤”列的，合并后的表，将不再输出不需要的字段。

操作示例 如下：

案例：合并学生的语文成绩表和数学成绩表。输入表如下图，合并为一个表

通过配置该节点，选择“关键字”合并，选择好关键字字段以后，点击“左链接”。确认后查看合并表

追加

节点用途： 用于将多个表追加到一张表中

说明：

一次最多可以追加多个表。自上而下，第一个链接的表为主数据表
该节点通过识别连接的输入表的字段名进行识别，会将字段名相同的列追加到一起。字段名不相同的列可以保留也可以剔除，在配置窗口中可以指定。

操作方法如下：

输入选项卡：

说明：

显示需要追加的数据表，以及每个表中所含有的字段数
上移/下移，调整数据追加过程中的次序，默认最上面一行显示的数据表为主数据表

配置选项卡：

说明：

字段配置依据：以依据位置或名称对字段进行匹配
**字段匹配和结构的预览:**预览生成表的字段以及结构
包含字段来源，是仅主数据集还是所有数据集

配置好节点后，就执行，启用缓存，就可以查看追加表。

操作示例如下：

案例：追加两个表，1班同学的数据成绩（4个学生）和2班的数学成绩（5个学生），配置追加节点如下图：

执行后，查看生成的**追加表，**数据表有9个学生，如下图

选择

**节点用途:**将输入表的数据拆分成两部分，一部分为符合指定条件的数据记录，可以在第一个输出端口中查看，另一部分为过滤掉的数据记录，可以在第二个输出端口中查看。

操作方法 如下图：

配置选项卡：

说明：2种数据选择方式

行属性：通过选取的字段值来设置条件，但是只能对单一字段进行过滤选择。

类型变量，可以选择**模式匹配，**进行多项选取
数值型变量，可以选择范围匹配，定义数据选择的上限下限
仅匹配缺失值，按照字段是否是缺失值，来分组数据。

**行号范围：**通过指定记录的行位置，设置条件

**输出端口：**选择表和过滤表

操作示例 如下：

案例：选择出员工信息表中所有婚姻状况是“Divorced”的数据。

员工信息表中有32,561条数据记录。

配置选择节点，选择“行属性”，选择匹配条件字段为“婚姻状况”，在模式匹配中，选择“Divorced”。

执行后，右键查看选择表如下图，仅有4443条记录。

转置

**节点用途：**用于转换数据的行列显示方式，新生成的数据表，可以用新的字名，或者延用数据转置前的字段名

**端口：**数据收入端口；转置数据输出端口

操作方法：

配置节点，如下图：

图2-12-1

配置选项卡：

说明：

新字段名称：定义转置后新字段的名称，有两种方式，从字段读取，或者通过使用前缀，自定义新字段名，生成_新字段名+后缀数字_。
**转置：**选择要转置的字段。如果转置后数据的字段名，是从数据字段中读取的，那么要转置的可选字段就不包含已被读取为新数据表字段名的变量。

**操作示例：**将数据-数学成绩表进行转置。

1 配置节点如图2-12-1，选择从字段读取后**，点击“读取值”，**在转置中

添加所有变量。

2启用缓存，并执行后，查看转置表 ，如下图

参考行过滤

节点用途： 将第一个输入表，按照第二个输入表中所选字段的条件，对数据进行过滤。

**前提条件：**第一个输入表，与作为参考表的第二个输入表对比时，需要有相同字段，这样两个数据才可以对比。

**端口：**2个数据收入端口；1个输出端口（参考行过滤表）

操作方法：

配置节点，如下图

图2-13-1

配置选项卡：

说明：

指定过滤方式，包含/排除参考表中记录
指定参考表中的过滤字段，第一个输入表的相应字段将于参考表中的本字段对比
选择要进行对比的数据表字段，参考表字段

操作示例 如下：

案例：参考表（收入<=50k），将员工信息表按照收入字段进行参考行过滤。

1 按照图2-13-1的方式配置节点

2 执行后，右键参考行过滤表，结果如下图：

进行过滤前，基础表含有数据32,561条记录，过滤后，输出表仅为收入<=50K的数据，记录为24,720条

设为标志

**节点用途：**简化数据，为一个或多个名义字段值，派生的标志字段。

这个节点将选中字段的每个可能的取值分别转化为一个标志字段并将取值定义为新字段的名字，根据初始字段在每行的取值，相对应的新字段在同行单元格的取值为T，否则取值为F。这个节点添加的字段数等于选中字段定义的可能取值数。

操作方法：配置节点，如下图

图2-14-1

配置选项卡**：**

说明：

**集字段：**选择一个或多个集字段，用于创建新字段的标识，将以集字段的值生成新的字段。
添加要为名义型字段值进行标记的值。
默认真值为“T”；假值为“F”

操作示例：

案例：用设为标志节点对教育程度字段中博士，硕士，本科进行标志

1 节点的配置如图2-14-1：

2启用缓存，执行后，生成的数据表如下：

重新结构化

**节点用途：**根据名义字段或标志字段的值生成多个字段。

新生成的字段可包含来自另一个字段或布尔型（0和1）的值。通过本节点，可以借助另一个字段的值，创建任意类型的字段（包括标志字段）。而设为标志节点，只针对名义字段或标志字段的值生成多个标志字段，因此如果要创建标志字段，使用设为标志节点更为方便。

**操作方法，**如下图

配置选项卡**：**

说明：

**分组选项和汇总选项：**参考汇总节点
集合选项

**集字段：**选择一个或多个集字段，用于创建新字段的标识，将以集字段的值生成新的字段，而新字段取值基于汇总字段计算得到。
集字段选项卡中原则上也应该只支持整型或字符型字段。而且如果集字段中的取值越多则生成的字段越多，计算成本越高。

操作示例 如下：

配置节点如图：

原始数据如下：

在员工基础信息表中，分别查看不同收入，不同性别的员工平均年龄：

配置节点，分组，选择“收入”；
**集合，**选择“性别”，添加字段值
汇总，选择“年龄”，汇总方式选择平均值
确定配置，右键启用缓存，并执行，查看生成的重新结构化表

执行后生成的数据表如下：

时间选择

**节点用途：**对数据中的时间字段选择指定时间区间的所有记录。时间区间由一个起始日期和结束日期指定。

前提条件：数据中含有日期型数据，如果含有的时间数据不是日期型，需要进行字段的类型转换

操作方法：

配置选项卡：

设定所需要数据的起止时间点

自定义选择

**节点用途：**自定义条件，过滤数据。

支持用户自定义函数表达式的方法设定选择条件，根据某个特定的条件（如年龄>50）将输入表拆分成选择表和过滤表。

操作方法：

图2-17-1

配置选项卡

说明：

**字段列表：**可用的字段，可以作为条件表达式的变量。
**函数库：**编辑条件表达式可用的函数。
**操作符：**编辑条件表达式可用的操作符。
**表达式：**使用选择的变量，函数，运算符编辑条件表达式。

配置节点信息后，启用缓存，执行，右键查看输出：“选择表”和“过滤表”

操作示例如下：

案例：查看员工信息表中年龄为15-35岁的员工信息

配置节点，如图2-17-1,

步骤：

在函数库中找到“between( , , )”
在表达式第一个输入项中，双击变量“年龄”
在第二个输入项中，输入年龄下限：15
在第三个输入项中，输入年龄上限：35

执行后，查看选择表，结果仅为15-35岁年龄的数据，14,925条记录。如下图：

去重

节点用途：将数据表中，重复出现的记录剔除。

配置选项卡**：**

说明：

**模式：**这里有两种模式可供选择，包含首个记录和丢弃首个记录
**关键字：**可以选择一个或者多个列作为排序字段。根据每个选中列的唯一值确定分组，一个分组作为生成排序表的一条记录。
**组内排序：**可以选择一个或多个字段基于分组进行排序。升序或者降序

操作示例 如下：

案例：将员工信息表，按照国籍进行去重。

配置去重节点，如下图：

图2-18-1

执行后生成的预览表如下，预览表中的数据已由原先的32,561条记录变成42条，重复记录已被去除，如下图。

图2-18-2

提取字段名

**节点用途：**用于提前数据表中所含字段名称

本节点较为简单，不需要赘述。

节点配置图，以及结果输出表，参看图2-19-1

图2-19-1

插入字段名

**节点用途：**使用第二个输入表（字典表）对第一个输入表的字段进行重命名字典表至少要包含两个列，一列为原有字段名，用来对第一个输入表的字段进行查找匹配，另一列为将要替换的新字段名。

节点配置：

配置选项卡：

说明：

**原字段名列：**从字典表中选择包含原字段名的字段
**新字段名列：**从字典表中选择包含新原字段名的字段

平衡

**节点用途：**使用平衡节点修正数据集中的不平衡，以便它们符合指定的检验标准。

说明：

若某个数据集只有两个值（T和F），并且 90% 的观测值为F，而只有 10% 的观测值为T，这类现象成为样本失衡。

很多建模技术处理此类失衡数据都有困难，因为它们倾向于只学习这些F的结果，而忽略T的结果（因为这些结果少的可怜）。如果数据平衡很好，T和F结果具有大致相同的数量，那么模型将更有可能找出分辨这两个组的模型。

这种情况下，平衡节点对于创建平衡指令，从而减少带有F结果的观测值数量非常有用。

操作方法：

配置选项卡：

说明：

**选择字段：**选择样本失衡的字段。一般处理的都是目标字段。且一定是分类型字段。
值域：

名义值：显示的是所选分类字段的取值。
倍数是样本平衡处理的指数，这个需要用户指定。

如果值小于1，则为欠抽样，即随机去掉一定比例样本，使其减少。

如果值大于1，则为过抽样，即多次有放回的抽取类样本，使其增加。

如果值都是1，则执行后不发生任何改变。

**固定随机数种子：**如果希望每次执行的结果不变，只需要在这里输入固定的随机种子即可。如果不指定，每次执行会使用一个新的随机种子，多次执行的结果可能有所不同。

RMF汇总

**节点用途：**根据指定的用户ID, 对其交易金额、交易频次、时间间隔进行汇总, 输出用户ID的交易总金额、交易频次、最近一次交易时间间隔。

配置选项卡：

说明：

固定日期：用于计算最近一次用户交易的交易间隔。
**用户ID：**指定用户的ID号
**交易日期：**对应用户每次交易的交易日期
**交易金额：**对应用户每次交易的交易金额

类型

节点用途： 主要是为了计算或更新字段的元数据，包字段测量类型、值域和缺失，以及指定字段的角色。

比如，分类预测类模型都需要指定一个目标变量，所以必须通过类型节点的角色功能。首先指定一个字段的角色为目标，指定影响因素的角色为输入，这样模型节点就可以自动识别目标字段，并将其作为目标变量，而输入字段被作为自变量，参与训练模型。

配置选项卡：

说明：

**字段：**显示的是输入表中所有的字段名称。
**测量：**这是测量级别，用于描述某个给定字段中数据的特征。最大的作用是为了放宽对字段存储类型的限制。

比如说，通常条形图的分类字段必须为字符型，但是对于一个取值不是很多的整型字段作为分类，统计该字段每个整数值的计数并可视化展现有时也是很合理的，所以通过类型节点无需转换字段的存储类型，只要将该字段的测量类型改为名义型即可以使用条形图进行展现。

注意：字段的测量级别与字段的存储类型不同，后者表明数据是以字符串、整数、实数、日期、时间还是时间戳存储。

值：显示所有字段的值域。另外，点击字段相应值域可以弹出选择框（可选列表：当前，读取，指定），如果将该字段的默认值设置为”读取”，类型节点再次执行时将重新计算该字段的元数据，该功能主要用于更新部分字段的元数据。不更新全部字段的元数据，而只更新指定的部分字段可以减少不必要的计算资源浪费。如果您想更新全部字段的元数据，请使用”清除所有值”按钮，这样可以重置读入该节点所有字段的值。此选项可以有效地将所有字段的值设置为读取。
**缺失:**用于统计并展示该字段中缺失的计数。这样可以保证模型运算时的数据质量。

如果在类型节点中已经统计出字段中是否有缺失值，模型运算时可以提前获知数据集中是否有缺失值，并根据已经指定的缺失值处理方法，快速做出响应。

**角色：**字段的角色共分为目标、输入、记录ID和无。

角色为目标，表示该字段为目标变量；
角色为输入，表示该字段为自变量；
角色为记录ID，表示该字段为标识型字段，不参与建模；
角色为无，表示该字段不参与建模，但是模型预测表中仍保留该字段，这是将字段的角色设置为无与直接使用过滤节点将该字段过滤掉的区别，对于标识分析对象的字段（如客户编码）来说，这个功能特别有用。

操作示例 如下：

工作流中的“平稳时间序列模型”案例中使用了这一功能，

为了构建平稳时间序列模型，需要把利润字段设为目标，日期，销量字段均设置为**输入，**配置如下：

这样就可以进行后续的时间序列建模操作了。

过滤

节点用途： 用于过滤不需要的字段，或者对字段进行重命名。

操作方法：

配置节点

图2-24-1

配置选项卡：

说明：

原始字段：输入数据表中所包含的字段列表。
**过滤：**点击想要过滤掉的字段的箭头，箭头上将会显示一个叉号，该字段在接下来的分析中会被过滤掉。也可以通过”反选”按钮来批量反向过滤字段，这在字段特别多时很有用。
**输出字段：**如果想要重命名字段，可以在这里双击显示字段名，可以更改此字段名。新字段名会出现在节点输出表中。

配置好节点好，启用缓存，执行
查看过滤表

分列

**节点用途：**将数据字段中的值，按照某种统一规则进行拆分。与excel中的数据分列用途，方法基本一样。

操作方法 如下：

配置节点

图2-25-1

配置选项卡：

说明：

拆分目标：选择输入数据中要进行拆分的字段。
拆分方式：拆分字段的规则有两种，基于分隔符或者固定宽度。

**基于分隔符：**选择或输入分隔符号
**固定宽度：**定义划分的数据宽度

数据预览：定义好数据值拆分规则后，可以使用预览功能查看，分列后的数据是否达到预期，以便调整数据分列的规则。

确定配置，启用缓存，执行。
查看输出表-分列表

操作示例：

案例：在员工基础表中，收入字段的值为“<=50K”和“>50K”，为了下一步建模分析，希望把字段值中“K”去掉。

首先，引入数据-“员工基础表”，按照图2-25-1，配置分列节点：

使用“基于分隔符”
选择“其他”，输入“K”
预览后，确定
启用缓存，执行后，结果如下图：

结果中，原收入字段保留，新生成分列好的字段。

类型转换

节点用途： 将一个字段或一组字段从一种数据类型转换为另一种数据类型。

在数据挖掘过程中，不同类型的字段的处理方式是不一样的，所以有时需要对字段的类型进行一下转换，再进行下一步的分析。例如，将字符型转换为数值型、数值型转换为字符型等。

操作方法 如下：

配置节点

配置选项卡：

说明：

类型选择：数据类型转换方式

**字符串到数值：**将字符型的字段转换为数值型。一次可以处理多个字段
**数值到字符串：**将数值型（整型和浮点型）字段转换为字符型字段。一次可以处理多个字段。
浮点到整型：将浮点型字段转换为整数型字段。浮点数转换为整数时，有四舍五入、取整、向上取整三种方式，其中取整表示只取整数部分，小数部分忽略，向上取整表示整数部分加1。一次可以处理多个字段。
**字符串到日期：**将存储为字符型的日期字段转换为日期型。一次只能以处理一个字段。从可用列框中选择一个要转换的字段。并选择该字段中日期值的格式，也可以手动输入日期值的格式，程序将根据指定的日期值格式来解析该字段并生成日期字段。
**日期到字符串：**将日期型字段转换为字符型字段。此处字段选择框只能选择日期型的字段。另外，必须正确的指定该日期字段的格式。
**集合到字符串：**将集合类型字段转换为字符型字段。
**字符串到集合：**将字符串型字段转换为集合型字段。

**详细配置：**定义类型转换后的字段名，是否替代转换前字段，已经新字段类型的格式。

操作示例：

案例：在时间序列分析中，原始数据中日期字段是字符串形式，但是为了做时间序列预测，需要对日期进行类型转换，从字符串类型转换到日期类型。

配置节点，选择：“字符串到日期”

观察日期字段中，数值为“12/31/1979”，在日期格式中选择“MM/dd/yyyy”

确认配置，启用缓存后，执行。

执行后生成的数据表规格如下图，日期字段，已经被转换成日期类型。

缺失填充

节点用途： 用来处理输入表中的缺失值。

操作方法：

配置节点，如下图：

配置选项卡：

说明：分为两类——整型字段和字符型字段

**无操作：**仍保留缺失值，这个选项对所有类型的字段都适用。
**现在删除：**删除所有包含缺失值的记录，这个选项对所有类型的字段都适用。
**最小、最大、平均，众数：**用字段的最小值、最大值，平均值或者众数来填充缺失值。这个选项只适用于数值型字段，即浮点型或整型。整型字段的均值取近似值。
**固定值：**使用用户指定的值来填充缺失值，这个选项适用于浮点型、整数型和字符串型字段。

如果需要对数据中相同类型的不同字段，进行差异化的缺失值填充，那么可以使用高级选项卡，选定数据表中的字段，制定缺失值填充方法。

操作示例如下：

案例：员工基础信息表中，字段国籍中，含有缺失值，现在对这一字段进行缺失值填充。

由于字段国籍，目前是字符串类型，故在配置时：

选择高级选项卡，选中国籍，并添加
进行“删除”操作

执行后生成的缺失填充表中，国籍字段中，不在有缺失值。

参考列过滤

**节点用途：**可以参照第二个输入表（参考表）过滤掉第一个输入表中的字段。根据对话框的设置，在输出表中，参考表的字段被包含或排除。

操作方法：

节点配置，如下图

配置选项卡：

说明：

**包含/排除：**指定从第一个输入表中包含/排除所有参考表中的列到输出表中。
**确保字段类型一致：**即保证匹配列不仅有同样的名字，而且字段类型也要相同。如果勾选，必须是字段名称和类型都相同才算相同。如果不勾选，只需要字段名称相同即可。

案例：参考表2，将表1中多余变量删除，简化数据，提升系统效率。

表1与表2中相同字段有“学号”“姓名”。

如图2-28-1，配置该节点后，执行后的参考列过滤表中，仅为表1中去除学号，姓名后的数据。

填充

**节点用途：**功能是基于第二个输入表（字典表）某个字段的值来替换第一个输入表某个字段的值。

从字典表中选择一字段（或者行ID）作为匹配查询的依据，再选择另外一个包含新值的字段作为替换字段。所有目标字段中与查找值匹配的项都将被替换为替换字段中对应的值。

操作方法：

节点配置，如下图

配置选项卡：

说明：

**输入表：**目标字段，从第一个输入表中选择要替换值的字段
字典表：

输入（查询）：从字典表中选择的查询字段，将会基于该字段与目标字段中的值进行匹配，如果相等，第一个输入表中该字段的值将会替换字段相应的值替换。
输出（替换）：从字典表中选择的替换字段。

**追加/替换结果：**追加字段：如果勾选此项，第一个输入表中被替换后的字段将作为一个新字段追加到输出表中，否则将会覆盖原字段。
**未匹配元素：**此处用于指定未匹配元素的处理方案。“原始值”表示不更改这个值，保持不变；“缺失”表示将该值替换为缺失值。

自定义填充

**节点用途：**基于通配符或者正则表达式来实现替换字段取值的功能。

操作方法：

配置节点，如下图：

配置选项卡：

说明：

**字段列表：**数据表中可用的字段，可以作为条件表达式的变量。
**函数：**编辑条件表达式可用的函数。
**操作符：**编辑条件表达式可用的操作符。
**描述：**函数或者运算符的介绍。
**表达式：**根据所选择的的函数，显示要计算的表达式
**填入字段：**需要进行填充的字段，通过双击左侧字段列表中的字段进行选择。
**替换：**这里可以指定替换的方案来选择要替换的内容。有“根据以下条件”、“始终”、“空值”、“无效值”、“空值与无效值”五种选项。
**条件：**您可以使用左侧的变量和上面的函数及运算符编辑条件表达式。
**替换为：**希望替换成的目标值，可以使用左侧的变量和上面的函数及运算符编辑条件表达式，也可以输入固定值。

注意：引用变量，需要在变量上加上引用符号“$”, 例如：用 $年龄$+1 替换年龄字段

操作示例 如下：

案例：由于成绩计算错误，所有学生的数学成绩都比实际高出了10分，现在要通过自定义填充节点减去这10分。

配置如下：

配置好节点后，启用缓存，并执行。

生成年龄数据已被全部改正，数学成绩比之前的数据表中少了10。

组合

节点用途： 组合节点的功能与分列节点刚好相反，它是将多个字段的内容结合到一起，并生成一个新的字段。

配置选项卡

说明：

**分隔符：**在此处输入分隔符，用于将新字段中的内容隔离开
**引用字符：**在此处输入引用字符，用于将原字段中的值括起来
**替换原分隔符：**可以在此处输入一个分隔符替代原有字段中的分隔符
**新字段名称：**指定新字段的名称

近似处理

节点用途： 根据指定的小数点位数或者有效数字使用指定的舍入方式对浮点型数据近似处理。只可以对指定的浮点型数据列执行此操作。

说明：

近似值可以添加为一个新的列，或者替换原始列。如果添加为新列，需要指定新列名字的后缀。有7种不同的舍入模式可供选择：远离，靠近，向上，向下，半向上，半向下，偶数。
输出格式也可以使用不同的类型，可以参看下面的例子。将1.23501， 0.00000035239 和 -3.123103E9近似（半向上）保留3位有效数字的结果如下表。

输入	浮点型（*）	标准字符	简单字符	工程字符
1.23501	1.24	“1.24”	“1.24”	“1.24”
0.00000035239	0.000000352	“3.52E-7”	“0.000000352”	“352E-9”
-3.123103001	-3120000000	“-3.12E+9”	“-3120000000”	“-3.12E+9”

（*）注意由于”浮点型”输出选项在表示浮点数时的数值精度问题，可能会出现意料之外的结果。如0.1可能表示为0.09999999999999999。

操作方法：

1 配置节点，如下图：

图2-32-1

配置选项卡

说明：

**可用字段：**显示所有可以进行近似处理的字段，浮点型或整型字段。
搜索：当数据中字段较多时，输入要查找字段名称中包含的字符，进行模糊查找。重复点击搜索按钮，可以逐一标记下一个包含搜索字符的字段。
**近似设置：**浮点型的格式将按照这个标签下的选项进行设置。
**追加新字段：**勾选此项，近似处理后的值将被保存到新的字段中。选中的每个字段都会分别生成一个表示近似值的字段。新生成字段的名字由原始字段的名字和指定的后缀组成。如果不勾选，近似处理后的值将覆盖原字段的值。
输出格式：指定输出数据的显示方式。对于数值0.00000035239，选择标准字符，则显示为3.52E-7；选择简单字符，则显示为0.000000352；选择工程字符，则显示为352E-9。
**精确位数：**指定浮点型数据需要保留的位数，如果位数小于实际的小数部分的长度，将应用指定的舍入方式。
**精确模式：**近似值的精度类型。小数点位数是默认选项，默认按指定小数点位数近似计算。而有效数字选项可以按有效数字进行近似计算，对于一个近似数，从左边第一个不是0的数字起，到精确到的位数止，所有的数字都叫做这个数的有效数字。
**舍入模式：**定义近似计算浮点型数据时使用的舍入模式。

有7种不同的模式可供选择：

向上舍入：如果该值为正，则往远离0的方向近似的舍入模式。如果该值为为负，则向上舍入。如果是2.5取整后等于3，如是-2.5取整后等于-2。
负向舍入：向负方向舍入。如果是2.5取整后等于2，如是-2.5取整后等于-3。
远离0取整：向远离0的方向取整。如果是2.5取整后等于3，如是-2.5取整后等于-3。
向0取整：往小于该值的方向近似的舍入模式。如果是2.5取整后等于2，如是-2.5取整后等于-2。
四舍五入：四舍五入的舍入模式。如果是2.5取整后等于3，如是2.4取整后等于2。
五舍六入：五舍六入的舍入模式（类似四舍五入，差别在于对于5选择向下近似）。如果是2.5取整后等于2，如是2.6取整后等于3。
四舍六入：四舍六入，如果等于五，则选择近似值为偶数的舍入模式。如果是2.4取整后等于2，如是2.6取整后等于3，2.5取整后等于2，3.55取整后等于4。

操作示例 如下：

案例：将数据中利润字段做近似处理

操作：节点配置，如图2-32-1，

确定后执行节点，生成的近似处理表为：

标准化

**节点用途：**标准化节点的功能是对数值型字段进行标准化。

在设置对话框中可以选择要标准化的字段，有三种标准化方法。

操作方法：

配置节点，如图：

图2-33-1

配置选项卡：

说明：

Min-max 标准化

Min-max标准化方法是对原始数据进行线性变换。设minA和maxA分别为属性A的最小值和最大值，默认最小值为0.0，最大值为1.0。将A的一个原始值x通过min-max标准化映射成在区间[0,1]中的值x'，其公式为：

x'=（x –min（x））/（max（x）- min（x））

Z-score 标准化

这种方法基于原始数据的均值和标准差进行数据的标准化。将A的原始值x使用z-score标准化到x'。z-score标准化方法适用于属性A的最大值和最小值未知的情况，或有超出取值范围的离群数据的情况。

x'=（x –mean（x））/stdev（x）

z-score标准化方法可以回答这样一个问题：”一个给定值距离平均数多少个标准差”。在平均数之上的值会得到一个正的标准值，在平均数之下的分数会得到一个负的标准值，标准化后的变量值围绕0上下波动，大于0说明高于平均水平，小于0说明低于平均水平。这是一种可以看出某值在分布中相对位置的方法。标准值能够真实的反应一个值距离平均数的相对标准距离。

小数定标标准化

通过移动数据的小数点位置来进行标准化。小数点移动的位数取决于字段的最大绝对值，直到变换后的最大绝对值小于等于1。然后所有的其他值移动相同的位数。

操作示例如下：

为了比较数据表中的权重字段，要进行标准化处理，配置如图2-33-1：

按照Min-Max方法进行标准化

执行后生成的数据表中，权重的数值已经是从0-1的数，如下图

延迟

节点用途： 根据指定的延迟和延迟间隔从前面的记录中将字段的值复制到当前记录。一般都是按周期性复制。

说明：

根据指定的延迟_L_确定要生成多少个所选字段的副本，根据延迟间隔_I_确定延迟几条记录。生成延迟字段名称由原字段名加编号组成，编号根据延迟_L_和延迟间隔_I_确定，每个延迟字段的编号为_I_, 2*I, 3*I, ...L*I。例如，如果_L=3_，I=1，则字段的编号为1，2，3；L=3，I=2，则字段的编号为2，4，6。编号也表示该字段第一个不为空的起始行。

延迟节点在做时间序列预测时特别有用，尤其可以和线性回归算法一起使用，可以建立基于线性回归算法的时间序列预测模型。通过该节点可以计算预测序列的同期值：延迟为1则表示生成一个同期序列，当前记录的值就等于一个周期_I_之前的数据，_I=1_则新生成延迟字段的值都等于它原字段上一条记录的值，_I=12_则新生成延迟字段的值都等于原字段往前数第十二条记录的值；延迟为2，则表示生成两个同期序列，生成的第一个延迟字段当前记录的值就等于一个周期_I_之前的数据，_I=1_则新生成延迟字段的值都等于它原字段上一条记录的值，_I=12_则新生成延迟字段的值都等于原字段往前数第十二条记录的值。而第二个延迟字段当前记录的值就等于上一个延迟字段之前的数据，_I=1_则新生成延迟字段的值都等于上一个延迟字段上一条记录的值，_I=12_则新生成延迟字段的值都等于上一个延迟字段往前数第十二条记录的值。

图2-34-1

配置选项卡：

说明：

**延迟字段：**选择需要延迟的字段
延迟阶数：L 延迟，定义要生成多少个字段副本。例如，如果_L=3_，则会生成三个字段副本
延迟间隔：I (有时也称为周期性或季节性) 定义从第几条记录开始移位。例如，如果_L=3_，I=1，则会生成三个字段副本，记录的起始位置分别是第二条记录、第三条记录和第四条记录，之前的记录都以缺失值填充；如果_L=3_，I=2，则会生成三个字段副本，记录的起始位置分别是第三条记录、第五条记录和第七条记录，之前的记录都以缺失值填充
**新字段名：**为新生成的延迟字段定义名称
**跳过最初不完整的行：**字段延迟后开始的几条记录是以缺失值填充的，因此这些行并不完整。我们可以通过勾选此项，跳过这些不完整的记录，输出表中将不会显示
**跳过最后不完整的行：**字段延迟后最后的几条记录将会按照延迟间隔下移，这样虽然新生成的最后一个延迟字段在尾部是有值的，但是旧的字段都只能以缺失填充。我们可以通过勾选此项，跳过这些尾部不完整的记录，输出表中将不会显示。注意，如果只勾选这两项中的一项，输出表中总的记录数与输入表相等；如果两项都不勾选，输出表中的记录比输入表增加_L*I_条记录；如果两项都选中，输出表中的记录比输入表减少_L*I_条记录。

**案例：**生成时间序列数据中销量字段的延迟数据

建立工作流如下：

按照图2-34-1对节点进行配置，执行后生成数据如下图：

字段重排

节点用途： 字段重排节点的功能是基于用户定义的设置改变输入表中字段的顺序。

**操作方法：**节点配置如下图：

配置选项卡：

将选中的字段，进行位置上的操作。向上或向下移动一个位置等等。如果选中字段已经移动到了列表的最顶端或最底端，再移动就会移到列表的另一端。

RFM分级

**节点用途：**根据指定的用户最近一次交易间隔、交易频次及交易总金额来得到用户分级。

配置选项卡：

说明：

**最近一次交易间隔：**最近一次交易时间间隔，以天为单位
**交易频次：**用户交易的总次数
**交易总金额：**用户交易的总金额

分箱

**节点用途：**这个节点对数值型数据按一定间距进行分组，称为分箱。

节点配置：

配置选项卡：

说明：

**选择分箱字段：**列表中显示的是需要进行分箱的字段
**搜索：**字段较多时，可以通过输入要查找字段名称中包含的字符进行模糊查找。重复点击搜索按钮可以逐一标记下一个包含搜索字符的字段。也可以勾选复选框“选中所有匹配字段”选中所有符合条件的字段
分箱的方法：

**固定箱数：**通过调整箱数大小，确定自动分箱的数量
**固定宽度：**确定分箱的宽度。程序将根据指定的宽度进行分箱并确定分箱的箱数
**分位数：**使用分位数进行分箱，可以选择的有“四分位数”、“十分位数”、“二十分位数”，还可以自定义分位数

分箱取值：

编号，则以“Bin”为前缀进行依次编号命名，如 Bin 1，Bin 2等
边界，则以分箱区间为分箱名，如“(a,b]”
中点，则以分箱区间的中点为分箱名。

日期时间提取

节点用途： 从已有的日期时间字段中提取日期（年、季度、月、周、日）、时间（时、分、秒）等生成可用的字段。例如，生成年份字段、月份字段、日字段等。

**前提条件：**目标数据中需要有日期类型的字段。，如果日期字段是其他类型数据，则需要提前将该字段进行类型转换。

操作方法 如下：

1 节点配置，如图：

图2-38-1

配置选项卡

说明：

**提取日期属性：**可供选择提取年，季度，月，日，星期，天，周
**提取时间属性：**可供选择提取时，分，秒
**提取日期时间：**提取日期时间数据后，定义新字段名称。

2 配置好节点后，启用缓存，执行后，可查看输出表

时间偏移

**节点用途：**对一个日期字段，按照指定的偏移量，做偏移。您首先需要选择一个日期字段，然后指定一个偏移量，偏移量可以是一个整型的字段，也可能是一个常量。

操作方法 ：

配置节点，如下图

图2-39-1

配置选项卡：

说明：

选择偏移字段：选择一个日期类型字段作为偏移的基准值。
**选择偏移粒度：**选择时间粒度（年，月，周，日，时，分，秒）。例如，如果选择了日，就表示指定的字段或者常量的单位就是日，偏移值若等于10，日期字段偏移10天。
**偏移新字段名：**在此处为新生成的偏移字段定义名称。默认名称为”新字段”
**使用字段作为偏移量：**选中该项，就可以通过选择一个整型字段作为偏移量。
**使用常量作为偏移量：**选中此项，可以指定一个常量作为偏移量。
**输出选项：**选择输出日期、时间的模式。

确认配置后，启用缓存，并执行，查看时间偏移表。

操作示例 如下：

案例：表中数据有误，记录年份都比实际年份早一年，可以使用时间偏移节点进行修改，节点配置，如图2-39-1：

执行后生成的数据表，偏移时间比源数据日期推迟了一年，如下图：

时间差

节点用途： 计算连个时间点的间隔。

可以用于计算该选择的日期时间字段与当前执行时间的间隔，或者计算与一个指定的固定时间的间隔，也可以计算该字段与另外一个日期的差，还可以计算该字段每一行与上一行的差。

操作方法：

1 配置节点，如图：

配置选项卡：

说明：

**计算类型：**选择计算日期差的对标方式。

**执行时间：**计算指定日期与执行时间的差。
**固定时间：**计算指定日期与固定时间的差，在对应位置填入时间
**前一行：**计算指定日期字段中，本行日期与上一行日期的差，第一个单元格为缺失值。
**第二字段：**计算第一个指定日期与数据中第二个日期的时间差，在对应位置设定第一个时间字段，第二个时间字段。

**选择时间粒度：**指定生成的时间差粒度，比如年、季度、月、周、天、时和分。
**新字段名：**指定新生成的时间差字段的名称。

操作示例 如下：

案例：计算数据表中的时间，与当前时间的时差，插入时间差节点，配置如图2-40-1：

当前时间为2018-09-19

执行后生成的数据中“时间间隔”显示，一些数据距今39年，过早。可以考虑是否删除过早的历史数据。

时间区间

**节点用途：**为用于时间序列建模节点或时间散点图节点的时间序列数据指定间隔并生成标签，以便于估计或预测。

说明：

目前支持的时间间隔包括年、季、月和日。例如，如果某个序列的日测量开始于 2005 年 1 月 3 日，则可以为从该日期开始的记录添加标签，第二行为 1 月 4 日，依此类推
可根据需要填充或汇总值，以确保对各种字段类型按照指定间隔进行汇总的方法，以及对缺失值的处理策略。
时间区间节点假定每个序列各占一个字段或列，每个测量各占一行。如有必要，可以将数据转置以满足此要求。
对于不等度间隔的序列，可以指定一个字段，用于标识每个测量的日期或时间。请注意，这需要具有适当格式的日期、时间或时间戳字段，以用作输入。如有必要，可以使用类型转换节点将现有字段（如字符型字段）转换为这种格式。

操作方法 如下：

节点配置如下图：

图2-41-1

配置选项卡：

说明：

**时间区间：**在选择框中指定用于构建或标注序列的间隔和周期性，目前支持的时间间隔包括年、季、月，日，时，分，秒。
从第一个记录开始附加标签：指定标注连续记录的起始时间。例如，如果选择的时间间隔是月，应指定第一条记录是某年和某月，之后的记录按照 “月+1”添加字段值，数据。除添加标签以外，此方法不会更改原始数据。它会假定记录已是等间隔，每个测量之间的间隔一致。在数据中，必须使用空行表示所有缺失的测量。
从数据构建：对于不等间隔的序列，可以指定一个字段，用于标识每个测量的日期或时间。请注意，这需要具有适当格式的日期、时间或时间戳字段，以用作输入。例如，如果某个字符串字段具有 Jan 2000、Feb 2000 等类似值，则可以使用类型转换节点将其转换为日期字段。从数据构建选项也会根据需要通过填充或汇总记录对数据进行转换以满足指定的间隔，例如，通过将日累计为月，或通过将缺失记录替换为空值。可以在”汇总设置”中指定用于填充或汇总记录的函数。

这种方式，可以用”汇总设置”，指定数据汇总方式。

汇总设置

**汇总函数。**分不同类型的字段进行汇总
数值型：用于连续字段的可用函数包括总和、均值、最小值和最大值。
字符型：选项包括模式、第一个。”第一个”表示汇总组中的第一个非 Null 值（按日期排序）。
布尔型：选项包括任一值为真则为真和全部为真则为真。
**填充函数。**不同类型的数据，可选择不同的填充函数进行数据填充。

**名义值最大类别数：**设定为默认值
**最大填充间隔：**设定为默认值
**结果数据集的中最大记录数：**指定输出表记录数的上限，如果不指定，该数字值会很大，尤其在以日为间隔的情况下可能会超出指定的最大值。如果超出指定的最大值，系统将停止处理并显示警告消息。

配置好节点后，启用缓存，并执行。

操作示例 如下：

案例：对以后的85年-95年历史数据进行时间序列进行年度预测，在建立模型之前，需要把历史数据按照年度汇总好。此时，需要时间区间节点，将数据重新加标签。

1 时间区间节点配置如图2-41-1：

时间区间从数据中构建
选择时间区间为“年”
本数据中需要汇总的都是数值型变量，因此选择“总和”

2 确认，执行后生成的数据表如下，数据已经按照年度时间序列整理好，可以进行之后的时间序列预测的建模分析。

派生

字段用途： 可以根据一个或多个现有字段创建四种类型的新字段

**公式：**新字段是基于任意函数表达式计算的结果。
**标志：**新字段是代表指定条件的标志型字段。
**名义：**新字段是名义的，表示其成员是一组指定值。
**条件：**新字段根据某个条件表达式，从两个表达式中择选其一用作字段值。

*请注意，表达式区分大小写。

操作方法 如下：

节点配置如下图：

图2-42-1

配置选项卡：

说明：

**派生的新字段：**定义派生的新字段的名称。默认为”新字段”
**导出为：**列表中选择派生字段的方式，如”公式”、 “标志”、”名义”或”条件”。根据选定的类型和在该类型特定的对话框中指定的条件创建新字段。每种类型的编辑对话框也不同，选择不同的类型时，下面的编辑对话框也会跟着做相应变化。
**字段类型：**为新派生的字段选择测量级别，如“默认类型”、”整型”、”浮点型”、”字符型”或“布尔型”。”默认类型”表示程序将根据表达式自动判断新生成字段的测量类型。
**字段列表：**显示可用的字段，双击这些字段可以添加到左侧的表达式编辑框中，用作表达式中的变量。其中“行ID”、“行索引”、“记录数”三个字段是系统自动生成的。
**函数：**可用的函数库，使用函数可以帮您更加容易的编写表达式。
**表达式：**编辑表达式。选中这里，双击左侧的字段名称或函数名称将会把字段或者函数添加到此处
**操作符：**可用的操作符，用于编写表达式。

派生新字段通常需要使用特殊的函数或数学表达式。所有类型的派生对话框中都提供了函数库，用于帮助创建这些表达式，节点也会对编辑的表达式做检查。

注意：

选择以公式派生新字段时，此表达式不能是条件表达式。要根据条件表达式派生值，请使用标志或条件类型的派生节点。
要返回空字符串，应键入一对引号，之间不包含任何内容，如 ““。例如，空字符串通常可用作假值，以使真值在表中更为明显。类似地，如果希望某个字符串值在其他情况下被视为数值，应使用引号。
配置好节点后，启用缓存，并执行。

操作示例如下：

案例：销量利润数据表中，仅有日期，销量，利润三个字段，但是想看当时是简单产品的单价。这时候就要用派生节点。

1 按照图2-42-1，配置节点。单价=利润/销量

2 执行后生成的派生表如下，可以看到每个时间点的产品单价。