# 去重

节点用途： 将数据表中，重复出现的记录剔除。

**配置**选项卡**：**

![](/uploads/projects/smartmining/202607/18bf043f57196aa0.png)**说明**：

-   **模式：**这里有两种模式可供选择，包含首个记录和丢弃首个记录
-   **关键字：**可以选择一个或者多个列作为排序字段。根据每个选中列 的唯一值确定分组，一个分组作为生成排序表的一条记录。
-   **组内排序：**可以选择一个或多个字段基于分组进行排序。升序或者降序

**操作示例** 如下：

案例：将员工信息表，按照国籍进行去重。

配置**去重**节点，如下图：

![](/uploads/projects/smartmining/202607/18bf043f57bf3bd8.png)

图2-18-1

执行后生成的预览表如下，预览表中的数据已由原先的32,561条记录变成42条，重复记录已被去除，如下图。

![](/uploads/projects/smartmining/202607/18bf043f5899e468.png)

图2-18-2