噪声词过滤

节点用途： 噪声词过滤节点的功能是将分词字段中的无关词汇或者不重要的词过滤掉，进而筛选出重要的词汇，可过滤中文或者英文。

过滤的方法有多种，分别是过滤与内置的噪声词库匹配的词汇、过滤与自定义噪声词库匹配的词汇、过滤所有的标点符号、过滤所有的数字、区分大小写和过滤所有字节长度小于N的词。这些方法可以只选择一个进行过滤，也可以选择全部进行过滤。过滤后输出表中的列数保持不变，只会过滤掉匹配条件的记录。

节点配置：

配置选项卡

说明：

• 选择过滤字段：选择文档中所需过滤字段
• **使用内置噪声词库：**如果勾选此项，将会过滤掉分词字段中与内置噪声词库匹配的记录，可选择中英文
• **选择自定义噪声词库：**如果您需要让程序根据您指定的噪声词汇进行过滤，请将包含您指定的包含噪声词的表连接到第二个输入端口（自定义噪声词库）。如果选择使用自定义噪声词库，请在后面下拉框中选择包含噪声词的字段。
• **过滤数字：**如果勾选此项，将会过滤掉选择的分词字段中所有只有数字组成的词
• **过滤标点符号：**如果勾选此项，将会过滤掉选择的分词字段中所有只有标点符号组成的词
• **区分大小写：**如果勾选此项，在与噪声词库中的词匹配时会区分大小写
• **过滤字节数：**如果勾选此项，还需要在后面的文本框中定义字节数，将会过滤掉选择的分词字段中所有字节长度小于指定值的词。