文本挖掘

概述

（此页面暂无内容）

噪声词过滤

节点用途： 噪声词过滤节点的功能是将分词字段中的无关词汇或者不重要的词过滤掉，进而筛选出重要的词汇，可过滤中文或者英文。

过滤的方法有多种，分别是过滤与内置的噪声词库匹配的词汇、过滤与自定义噪声词库匹配的词汇、过滤所有的标点符号、过滤所有的数字、区分大小写和过滤所有字节长度小于N的词。这些方法可以只选择一个进行过滤，也可以选择全部进行过滤。过滤后输出表中的列数保持不变，只会过滤掉匹配条件的记录。

节点配置：

配置选项卡

说明：

字符串匹配

**节点用途：**字符串匹配节点的功能是对两个字符串字段进行比较，计算两个字段中字符串之间的距离，并在输出表中列出最相似的字符串。

该节点需要两个输入表，一个表包含用于比较的字符串字段，一个表包含一个词典字段。字符串匹配节点会寻找词典字段中与指定的字符串字段中最相似的元素。

节点配置：

配置选项卡

说明：

语句提取

**节点用途：**语句提取节点的功能是提取文档中的语句并返回一个包含文档字段、语句字段和表示语句中包含的词量字段的表。

节点配置：

配置选项卡

分词

节点用途： 分词节点的功能是用于对中文，英文文本进行分词，进而从非结构化数据中提取结构信息。

分词的对象都是每列字段。分词后将在输出表中追加分词、计数和词性三个字段。分词字段表示从文本字段中提取出词；计数字段表示按照每个文本对得到每个分词出现次数的统计，注意，统计的只是每次词所在文本中出现的次数，并不是所有文本中出现的次数；词性字段显示的每个分词的词性。

节点配置：

配置选项卡

说明：

情感分析

**节点用途：**这个节点根据情感分析节点的功能是定义文本的情感强度和情感分类。文本情感分析又称意见挖掘。简单而言，是对带有情感色彩的主观性文本进行分析、处理、归纳和推理的过程。例如，由于基于产品评论的情感分析可以帮助用户了解某一产品在大众心目中的口碑，因此受到很多消费者和商业网站的青睐。而基于新闻评论的情感分析多用于舆情监控和信息预测中，是国内外评测中重要的评测任务。

情感信息抽取是情感分析的最底层的任务，它旨在抽取情感评论文本中有意义的信息单元。其目的在于将无结构化的情感文本转化为计算机容易识别和处理的结构化文本，继而供情感分析上层的研究和应用服务。情感信息分类则利用底层情感信息抽取的结果将情感文本单元分为若干类别，供用户查看，如分为褒、贬两类或者其他更细致的情感类别(如喜、怒、哀、乐等)。按照不同的分类目的，可分为主客观分析和褒贬分析；按照不同的分类粒度，可分为词语级、短语级、篇章级等多种情感分类任务。

节点配置：

配置选项卡

说明：