3.2.数据集成
概述
数据同步和批量数据同步相当于把数据从一个数据源拷贝一个完全一样的数据到另一个数据源。所配置的数据源可以是默认的,也可以是创建的自有数据源。新建完成后的数据同步和批量数据同步都会保存在定制资源>项...
3.2.1.数据同步
数据同步需要给源头表和目标表选定一个数据源、模式和数据表。如图3-2-1-1所示。字段校对处则需要根据【同名映射】、【同行映射】和【手动连线】三种方式来同步字段数据。如图3-2-1-2所示。新建...
3.2.2.批量数据同步
批量数据同步需要给源库和目标库选择数据源类型、数据源以及模式,根据添加的配置规则批量同步数据。 添加规则后,需点击【执行规则】按钮,如图3-2-2-1所示。 根据所添加的规则,会出现相应的选择同...
3.2.3.实时数据同步
3.2.3.1.创建kafka数据源连接 在公共设置-数据源管理右键新建即可 partNum、repeetNum为整形 Bootstrap-servers:kafka地址 用户可自定义参数配置 ...
3.2.4.数据爬虫
打开数据爬虫页面,共有几个区域,分别是资源树、工具栏、代码编辑区、存储配置区以及运行日志区。 资源树区域可以选择已有的数据爬虫资源双击打开进行编辑。 工具栏包括保存、执行、停止执行、清空以及预...