敏捷挖掘节点手册

（此页面暂无内容）

节点用途：数据库节点用于读取关系数据库中的数据 说明： 该节点通过JDBC驱动的方式连接到数据库 指定要读取的数据内容：一是通过加载读取出数据库中的所有表，选中目标数据表；二是通过SQL查询进...

**节点用途：**HDFS（Hadoop分布式文件系统）读取节点，用于连接HDFS文件系统，读取HDFS文件系统中的数据。 配置选项卡 说明： **文件地址：**输入或列表中选择要访问文件的...

**节点用途：**连接Hive数据仓库，并读取Hive中的数据表。 操作步骤： 选择配置选项卡，如下图所示： 配置选项卡 说明： **数据库URL：**输入或者列表中选择URL。默认地址仅为...

**节点用途：**连接HBase数据库，并读取HBase中的数据表。 操作步骤： 1．选择配置选项卡，如下图： 配置选项卡 说明： **zookeeper.znode.parent：**输入...

**节点用途：**SmartDI节点用于读取数据管理模块配置的数据源或者大数据工具下创建的数据集中的数据，可以实现对数据权限更全面的控制。 前提条件： 需要先在数据管理模块连接好数据源或者在大数...

节点用途： 用户输入节点用于手动创建一个数据表。 操作方法： 直接在单元格中输入数据创建数据表，类似于Excel表，如下图： 双击列标题，在弹出的字段属性窗口，配置字段名称、存储类型以及...

**节点用途：**读取已有的PMML格式的模型，通常用于模型的部署应用，比如将训练好的模型导出成PMML格式的文件 说明： 该节点输出端口为模型输出端口，可以连接到模型应用节点，如分类预测器节...

（此页面暂无内容）

（此页面暂无内容）

（此页面暂无内容）

（此页面暂无内容）

**节点用途：**筛选目标字段的取值等于选择的一个或者多个名义值的记录。 说明： 该节点只适用于测量类型为分类型的字段，配置过程中需使用元数据 前提条件：选取的目标字段的类型为分类型字段 操作步...

节点用途： 从输入数据中抽取一个样本 **操作方法：**在配置对话框中可以指定抽样方法 定义抽取样本量 选取抽样方式 配置选项卡 说明： **定义样本数量：**设定本次抽样所需样本数量，有以...

节点用途：基于选中字段的唯一值对表中的行进行分组计算，生成汇总表。 说明： 汇总表的行，是由组合选项卡中每个选中字段的唯一值确定的，每一行是由组合选项卡中每个选中字段的唯一值确定的分组。 每个...

节点用途： 按照用户指定字段，对数据进行升序或者降序排列。 操作方法： 在配置对话框中可以指定汇总方式，如下图 配置选项卡 说明： **主要关键字：**选择一个字段作为第一排序关键字 *...

节点用途： 将数据表随机分为训练集和测试集，训练集用于生成模型，测试集用于测试已经生成的模型。可以预判此模型对新数据的拟合优劣。 说明： 分区节点会生成一个名义字段，其角色默认设置为分区 如果...

**节点用途：**将两个或多个数据表，合并到一张数据表中，使生成的数据包含更多字段信息。当您要合并来源不同的数据（如客户基本信息和客户消费信息）时，此操作非常有用。有以下两种合并数据的方式： 说...

节点用途： 用于将多个表追加到一张表中 说明： 一次最多可以追加多个表。自上而下，第一个链接的表为主数据表 该节点通过识别连接的输入表的字段名进行识别，会将字段名相同的列追加到一起。字段名不相...

**节点用途:**将输入表的数据拆分成两部分，一部分为符合指定条件的数据记录，可以在第一个输出端口中查看，另一部分为过滤掉的数据记录，可以在第二个输出端口中查看。 操作方法 如下图： 配置选项...

**节点用途：**用于转换数据的行列显示方式，新生成的数据表，可以用新的字名，或者延用数据转置前的字段名 **端口：**数据收入端口；转置数据输出端口 操作方法： 配置节点，如下图： 图2-1...

节点用途： 将第一个输入表，按照第二个输入表中所选字段的条件，对数据进行过滤。 **前提条件：**第一个输入表，与作为参考表的第二个输入表对比时，需要有相同字段，这样两个数据才可以对比。 **端...

**节点用途：**简化数据，为一个或多个名义字段值，派生的标志字段。 这个节点将选中字段的每个可能的取值分别转化为一个标志字段并将取值定义为新字段的名字，根据初始字段在每行的取值，相对应的新字段...

**节点用途：**根据名义字段或标志字段的值生成多个字段。 新生成的字段可包含来自另一个字段或布尔型（0和1）的值。通过本节点，可以借助另一个字段的值，创建任意类型的字段（包括标志字段）。而设为...

**节点用途：**对数据中的时间字段选择指定时间区间的所有记录。时间区间由一个起始日期和结束日期指定。 前提条件：数据中含有日期型数据，如果含有的时间数据不是日期型，需要进行字段的类型转换 操作...

**节点用途：**自定义条件，过滤数据。 支持用户自定义函数表达式的方法设定选择条件，根据某个特定的条件（如 年龄>50）将输入表拆分成选择表和过滤表。 操作方法： 图2-17-1 配置选项卡...

节点用途： 将数据表中，重复出现的记录剔除。 配置选项卡**：** 说明： **模式：**这里有两种模式可供选择，包含首个记录和丢弃首个记录 **关键字：**可以选择一个或者多个列作为排序字段...

**节点用途：**用于提前数据表中所含字段名称 本节点较为简单，不需要赘述。 节点配置图，以及结果输出表，参看图2-19-1 图2-19-1

**节点用途：**使用第二个输入表（字典表）对第一个输入表的字段进行重命名字典表至少要包含两个列，一列为原有字段名，用来对第一个输入表的字段进行查找匹配，另一列为将要替换的新字段名。 节点配置：...

**节点用途：**使用平衡节点修正数据集中的不平衡，以便它们符合指定的检验标准。 说明： 若某个数据集只有两个值（T和F），并且 90% 的观测值为F，而只有 10% 的观测值为T，这类现象成为...

**节点用途：**根据指定的用户ID, 对其交易金额、交易频次、时间间隔进行汇总, 输出用户ID的交易总金额、交易频次、最近一次交易时间间隔。 配置选项卡： 说明： 固定日期 ：用于计算最近...

节点用途： 主要是为了计算或更新字段的元数据，包字段测量类型、值域和缺失，以及指定字段的角色。 比如，分类预测类模型都需要指定一个目标变量，所以必须通过类型节点的角色功能。首先指定一个字段的角色...

节点用途： 用于过滤不需要的字段，或者对字段进行重命名。 操作方法： 配置节点 图2-24-1 配置选项卡： 说明： 原始字段：输入数据表中所包含的字段列表。 **过滤：**点击想要过滤...

**节点用途：**将数据字段中的值，按照某种统一规则进行拆分。与excel中的数据分列用途，方法基本一样。 操作方法 如下： 配置节点 图2-25-1 配置选项卡： 说明： 拆分目标：选...

节点用途： 将一个字段或一组字段从一种数据类型转换为另一种数据类型。 在数据挖掘过程中，不同类型的字段的处理方式是不一样的，所以有时需要对字段的类型进行一下转换，再进行下一步的分析。例如，将字符...

节点用途： 用来处理输入表中的缺失值。 操作方法： 配置节点，如下图： 配置选项卡： 说明：分为两类——整型字段和字符型字段 **无操作：**仍保留缺失值，这个选项对所有类型的字段都适用...

**节点用途：**可以参照第二个输入表（参考表）过滤掉第一个输入表中的字段。根据对话框的设置，在输出表中，参考表的字段被包含或排除。 操作方法： 节点配置，如下图 配置选项卡： 说明： **...

**节点用途：**功能是基于第二个输入表（字典表）某个字段的值来替换第一个输入表某个字段的值。 从字典表中选择一字段（或者行ID）作为匹配查询的依据，再选择另外一个包含新值的字段作为替换字段。所...

**节点用途：**基于通配符或者正则表达式来实现替换字段取值的功能。 操作方法： 配置节点，如下图： 配置选项卡： 说明： **字段列表：**数据表中可用的字段，可以作为条件表达式的变量...

节点用途： 组合节点的功能与分列节点刚好相反，它是将多个字段的内容结合到一起，并生成一个新的字段。 配置选项卡 说明： **分隔符：**在此处输入分隔符，用于将新字段中的内容隔离开 **引用...

节点用途： 根据指定的小数点位数或者有效数字使用指定的舍入方式对浮点型数据近似处理。只可以对指定的浮点型数据列执行此操作。 说明： 近似值可以添加为一个新的列，或者替换原始列。 如果添加为新列...

**节点用途：**标准化节点的功能是对数值型字段进行标准化。 在设置对话框中可以选择要标准化的字段，有三种标准化方法。 操作方法： 配置节点，如图： 图2-33-1 配置选项卡： 说明： M...

节点用途： 根据指定的延迟和延迟间隔从前面的记录中将字段的值复制到当前记录。一般都是按周期性复制。 说明： 根据指定的延迟_L_确定要生成多少个所选字段的副本，根据延迟间隔_I_确定延迟几条记录...

节点用途： 字段重排节点的功能是基于用户定义的设置改变输入表中字段的顺序。 **操作方法：**节点配置如下图： 配置选项卡： 将选中的字段，进行位置上的操作。向上或向下移动一个位置等等。如果选...

**节点用途：**根据指定的用户最近一次交易间隔、交易频次及交易总金额来得到用户分级。 配置选项卡： 说明： **最近一次交易间隔：**最近一次交易时间间隔，以天为单位 **交易频次：**用...

**节点用途：**这个节点对数值型数据按一定间距进行分组，称为分箱。 节点配置： 配置选项卡： 说明： **选择分箱字段：**列表中显示的是需要进行分箱的字段 **搜索：**字段较多时，可以...

节点用途： 从已有的日期时间字段中提取日期（年、季度、月、周、日）、时间（时、分、秒）等生成可用的字段。例如，生成年份字段、月份字段、日字段等。 **前提条件：**目标数据中需要有日期类型的字段...

**节点用途：**对一个日期字段，按照指定的偏移量，做偏移。您首先需要选择一个日期字段，然后指定一个偏移量，偏移量可以是一个整型的字段，也可能是一个常量。 操作方法 ： 配置节点，如下图 ...

节点用途： 计算连个时间点的间隔。 可以用于计算该选择的日期时间字段与当前执行时间的间隔，或者计算与一个指定的固定时间的间隔，也可以计算该字段与另外一个日期的差，还可以计算该字段每一行与上一行的...

**节点用途：**为用于时间序列建模节点或时间散点图节点的时间序列数据指定间隔并生成标签，以便于估计或预测。 说明： 目前支持的时间间隔包括年、季、月和日。例如，如果某个序列的日测量开始于 2...

字段用途： 可以根据一个或多个现有字段创建四种类型的新字段 **公式：**新字段是基于任意函数表达式计算的结果。 **标志：**新字段是代表指定条件的标志型字段。 **名义：**新字段是名义的...

**节点用途：**重新编码节点将名义型字段的每一个类别映射为一个整数。这个节点可以同时处理多个字段。 操作方法 如下： 节点配置 如下图： 图2-43-1 配置选项卡： 说明： **可用...

节点用途： 大小写转换节点的功能是将所有的字母字符都转换为小写或大写。 仅对字符型字段可用。 操作方法 如下： 节点配置 如下图： 配置选项卡： 说明： 转换为大写：选中字段的值全部转换...

节点用途： 用来处理输入表中的缺失值，但是填补缺失值的方法跟数据相关，用下一个、上一个记录来填充，或者用线性序列，平均值等填充缺失值。 操作方法： 配置节点，如下图： 配置选项卡： 说明：...

连接到新数据源时，Edata将该数据源中的每个字段分配给数据窗格的“维度”区域或“度量”区域，具体情况视字段包含的数据类型而定。如果字段包含分类数据（例如名称、日期或地理数据），SM将其分配给“...

节点用途： 以条形图，可视化所选择的名义字段的每一个取值的统计。统计的方式有计数，最大值，最小值等。 操作方法： 配置节点，如下图： 图3-1-1 配置选项卡： 说明： **分类字段：*...

节点用途： 对两个选中的变量绘制散点图，易于了解数据分布形态，判断两变量之间是否存在某种关联或总结坐标点的分布模式 说明：所有的数据点将作为点显示在相应的位置。只有有效域的列，才可以显示在这个视...

节点用途： 展示字段数据值的分布状况。对分类字段，选择直方图展示数据。选取分类的字段，汇总则以选取的汇总字段来汇总，同一分类下不同的汇总，软件自动以不同的颜色显示。 操作方法： 配置节点，如下...

**节点用途：**箱线图（Box-plot），是一种用作显示一组数据分散情况资料的统计图。因形状如箱子而得名。它主要用于反映原始数据分布的特征，还可以进行多组数据分布特征的比较。 节点配置： ...

节点用途： 通过饼图，展示数据的分布比例。如果要突出显示或者动态的更改饼图列或者汇总列，需要在交互饼图中实现。 操作方法： 配置节点，如下图： 图3-5-1 配置选项卡： 说明： **颜...

**节点用途：**选择一个词汇字段，一个词频字段，绘图展示词汇出现的频次大小。 操作方法： 配置节点，如下图： 图3-6-1 配置选项卡： 说明： **颜色：**类似于分类字段，SM为字...

节点用途： 将数值在坐标的纵轴中体现，绘制成一条线，以便数据变化规律的趋势。列的值在图中对应为y轴坐标， 如果列中值的差异非常大可以会使视图扭曲。 操作方法： 节点配置，如下图： 图3-8...

节点用途：用于在地图中展示位置或区域的特征表现，提供指定地理字段、度量字段及统计的方式，然后将最后的结果展示到地图上。 对话框选项 经度/纬度 如果有经度和纬度字段，拖入这两个配置框。 颜色 ...

节点用途： 这个节点为每一行添加一个雷达图。每一个这样的图总结了两个值之间的关系。它还显示一个选择范围，简化了在给定的范围内识别值。值被描绘成一个丝带连接轴。丝带的颜色、范围、和背景是完全可自定...

节点用途： 自助可视化节点囊括了之前所有的可视化探索的图形显示节点的功能，如同一个工具箱，可以根据需要再图形推荐板里选取适合的图形显示数据。 使用方法类似大数据工具下的自助可视化。

节点用途： 在表格视图展示数据。如果行数未知，视图会在打开时计算行数。 节点配置如图： 该节点配置很简单，可在最大显示记录数中设置显示的数据数，如果超出数目设置则只显示设置数目，如果未超出则显...

（此页面暂无内容）

节点用途： 通过数据审核，可以大致了解数据内容，还可以审核数据质量。描述一列数据的特征，可以计算出最大值、最小值、平均数、总数、众数、中位数、方差等数据来进行描述。 操作方法： 配置节点，如下...

**节点用途：**研究两个或两个以上处于同等地位的随机变量间的相关关系，变量之间是否有关系，以及有关系的程度。 操作方法： 配置节点，如下图： 图4-2-1 确认配置后，执行并查看视图 ...

**节点用途：**检验单个字段的均值与指定的常数检验值的差异是否显著。对于每个检验字段，均可输出该字段的描述性统计量（均值、标准差和均值的标准误）和T检验结果（如P值、置信区间等）。 例如：某生...

（此页面暂无内容）

线性回归 **节点用途：**线性回归可以用来研究一个或多个自变量对一个目标字段的影响重要程度，或者对目标字段进行预测。 使用条件： 该节点的目标字段必须为数值型字段。 使用该节点前需要先用一个...

关联规则 **节点用途：**该节点是一种基于Apriori算法的关联分析模型。 Apriori 节点会发现数据中的关联规则。关联规则是下列形式的语句：如果 条件 则 结果。 例如，”if 客户购...

DBScan 节点用途： 聚类的一种算法。 DBScan是一个比较有代表性的基于密度的聚类算法。与划分和层次聚类方法不同，本算法将簇定义为密度相连的点的最大集合，能够把具有足够高密度的区域划分为...

ARIMA **节点用途：**时间序列预测中的一种算法。 **算法逻辑：**ARIMA模型，是指将非平稳时间序列转化为平稳时间序列，然后将因变量仅对它的滞后值以及随机误差项的现值和滞后值进行回归...

**节点用途：**数据挖掘问题中可能包括成百或者上千的字段可以作为输入字段，从这些字段中挑选出模型应该包含的字段需要耗费很大的精力。为了缩小选择范围，可以使用特征选择节点进行初步筛选。该节点分两...

主成分分析 **节点用途：**该节点对输入数据执行主成分分析。用于提取最大主成份，可以被主成分分析应用节点使用，将输入数据映射到一个更低维度的数据集同时最大限度的保留信息。 节点配置： 配置选...

评估 节点用途：分析评估模型质量 节点配置： 配置选项卡： 说明：两种方式输出模型评估结果 案例：建立一下工作流： 配置节点为默认设置，执行后，结果如下图： 信息熵 **节点用途：**根据...

（此页面暂无内容）

节点用途： 噪声词过滤节点的功能是将分词字段中的无关词汇或者不重要的词过滤掉，进而筛选出重要的词汇，可过滤中文或者英文。 过滤的方法有多种，分别是过滤与内置的噪声词库匹配的词汇、过滤与自定义噪声...

**节点用途：**字符串匹配节点的功能是对两个字符串字段进行比较，计算两个字段中字符串之间的距离，并在输出表中列出最相似的字符串。 该节点需要两个输入表，一个表包含用于比较的字符串字段，一个表包...

**节点用途：**语句提取节点的功能是提取文档中的语句并返回一个包含文档字段、语句字段和表示语句中包含的词量字段的表。 节点配置： 配置选项卡 **选择文档字段：**选择数据表中所需要的字符...

节点用途： 分词节点的功能是用于对中文，英文文本进行分词，进而从非结构化数据中提取结构信息。 分词的对象都是每列字段。分词后将在输出表中追加分词、计数和词性三个字段。分词字段表示从文本字段中提取...

**节点用途：**这个节点根据情感分析节点的功能是定义文本的情感强度和情感分类。文本情感分析又称意见挖掘。简单而言，是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。例如，由于基于产...

（此页面暂无内容）

**节点用途：**网络生成节点的功能是自定义网络。根据界面的信息配置生成新的随机数据。 节点配置： 配置选项卡 说明： **节点数：**网络生成的节点数目 **连线的概率：**用于确定网络中...

**节点用途：**对象插入节点的功能是从输入表中选择表示节点、边及节点和边特征的字段来创建网络，即将表转换为网络。 输入表中的每一行包含每条边的节点。该算法可以支持以下三种格式的输入表： 第一节...

节点用途： 特征表节点的功能是将网络的特征写入到数据表中，将网络信息转化为表。另外，可以只选择部分特征输出，也可以指定一部分对象（节点id或者边id）输出。另外，输出的特征表有两种输出格式：特征...

节点用途：　特征添加节点的功能是从一个输入表中向网络添加特征。每一个特征都是通过可用边ID或者节点ID向边或者节点添加。字段的名称将被用作特征的名称，字段的类型将被作为特征的类型。 节点配置： ...

节点用途：　特征添加节点的功能是从一个输入表中向网络添加特征。每一个特征都是通过可用边ID或者节点ID向边或者节点添加。字段的名称将被用作特征的名称，字段的类型将被作为特征的类型。 节点配置： ...

**节点用途：**参考特征过滤节点的功能是根据输入表中提供的参考特征对现有的网络元素进行过滤。需要从输入网络中选择一个网络特征字段，从输入表中选择一个参考字段，它会检查输入表中参考字段的值在网络...

**节点用途：**指定对象过滤节点的功能是从输入表中指定一个包含对象id的字段，与网络数据中的对象id进行匹配，对匹配的对象做排除或者保留操作。这里的对象指网络中的节点或者边。 节点配置： 配...

**节点用途：**特征值过滤节点的功能是基于给定的值过滤相应的网络元素，可以在配置中指定一批特征值，对选中的特征进行过滤。 节点配置： 配置选项卡 说明： **指定对象：**用于确定过滤的对...

**节点用途：**该选项是根据节点度的范围对网络进行过滤。与某点相邻的那些点称为该点的“邻点”，一个节点的邻点的个数称为该点的“度数”，也叫关联度。一个节点的度数就是对其“邻点”多少的测量。实际...

**节点用途：**邻节提取节点的功能是提取指定节点id的邻近节点，每一个节点为一行，邻接节点作为集合列表存储。其中，可以指定提取所有源节点或者目标节点的相邻节点，也可以通过从第二个输入表中选择一...

节点用途：　层次提取节点的功能是基于集合字段或者列表字段创建网络。该算法通常和关联分析一起使用，用于可视化关联关系，辅助分析物品之间的关联 节点配置： 配置选项卡 说明： **成员字段：**...

节点用途：　层次提取节点的功能是基于集合字段或者列表字段创建网络。该算法通常和关联分析一起使用，用于可视化关联关系，辅助分析物品之间的关联 节点配置： 配置选项卡 说明： 对节点进行，形状，大...

（此页面暂无内容）

**节点用途：**工作流从R中读取数据表的源节点。当你想在工作流中使用R函数读取外部的数据文件时，可以使用该节点。 R的"foreign"库中提供了读取数据文件的相关示例。更多关于R的信息，可以...

**节点用途：**在工作流中使用R函数整理数据时，可以使用该节点。R的"foreign"库中提供了读取数据文件的相关示例。更多关于R的信息，可以登录http://www.r-project.or...

节点用途： 使用一种或者多种相关检验方法对两个数值型字段间的相关性进行检验。在配置界面可以选择多个检验字段，节点将对每两个字段之间进行计算并输出每对字段的检验结果。 节点配置： 配置选项卡 说...

**节点用途：**多个时间序列的二元Granger因果检验。 关于两个时间序列X和Y的Granger因果检验是用来评估X过去的观测值对于预测Y是否有用的。原假设：X过去的观测值（比如T个）对于预...

**节点用途：**单样本非参数检验是对单个总体的分布形态等进行推断的方法，其中包括卡方检验、二项分布检验、K-S检验以及变量值随机性检验等方法。可以使用多种方法对所选字段分别进行非参数检验，进而...

**节点用途：**绘制正态QQ图，通过QQ图检验所选字段是否服从正态分布。 节点配置： 配置选项卡 说明： **选择字段：**从输入表中选择一个进行检验的数值型字段，只有数值型字段可选 **...

**节点用途：**检验单个数值型样本是否服从假定的分布（正态分布，指数分布，均匀分布，泊松分布）。检验结果可以在输出的视图结果中进行查看。 节点配置： 配置选项卡 说明： **检验字段：**...

**节点用途：**检验两个数值型样本的分布是否一致。检验结果可以在输出的视图结果中进行查看。 节点配置： 配置选项卡 说明： **使用分组字段：**该页签用于配置检验两样本数据是否是同分布的...

**节点用途：**使用该节点可以在通过R语言对数据进行可视化。 有关R语言绘图函数，更多详情参看R的官网:http://www.r-project.org/ 节点配置： 配置选项卡 说明： ...

**节点用途：**在SM里可以执行R模型的命令，有关R语言建模的更多详情可以参看R的官网 :http://www.r-project.org/ 节点配置： 配置选项卡 说明： **字段列表：...

节点用途： 基于R建模器节点生成的模型，对新的数据输入进行预测。所以使用该节点需要同时具备输入表信息和输入模型，模型端口可以直接连接R建模器的模型输出端口或者连接R模型读取节点。 有关R语言，更...

**节点用途：**从压缩文件中读取一个R模型。 节点配置： 输入R模型文件读取路径。

（此页面暂无内容）

**节点用途：**数据库读取节点可以用来从数据库中读取数据表。使用数据库节点时需选择相应的数据库驱动，配置数据库URL、用户名和密码。 节点配置： 配置选项卡： 说明： **数据源：**选择...

**节点用途：**把数据导入到Hive文件进行存储 配置选项卡： 说明： **数据库URL：**选择数据库后，配置数据库所在服务器IP、端口和数据库的名称 **数据库驱动：**输入目标数据库...

**节点用途：**把数据导入到HDFS文件进行存储 配置选项卡： 说明： **文件地址：**设定导出文件要存放的地址 **分隔符：**在输出文件中选取符号对数据中字段进行分隔 **分块数：*...

**节点用途：**把数据导入到HBase文件进行存储 配置选项卡： 说明： **zookeeper.znode.parent：**输入ZooKeeper中的HBase的根ZNode，或者从下...