云etl用户手册

一站式的数据运营开发平台，包括数据源管理、逻辑模型和物理模型开发与管理、表管理、ETL作业流开发与管理、作业组开发与管理、流计算模型开发、数据治理模型开发等。

编写本用户手册的目的是充分叙述本系统所能实现的功能，以便使用者能够充分了解本系统的适用范围和使用方法，同时为系统的更新和维护提供必要的信息。

本系统云ETL web端基于B/S结构。

模型开发 主要包括以下模块：①创建表 ②数据源管理 数据集成 主要包括以下模块：①数据同步 ②批量数据同 ③实时数据同步 ④数据爬虫 数据开发 主要包括以下模块：①作业流 ②SQL任...

（此页面暂无内容）

（此页面暂无内容）

3.1.1.1.功能入口 在左侧资源目录树下，选中表管理节点或其子目录新建数据源，或是在主界面点击快捷方式新建表。如图3-1-1-1-1所示： 图3-1-1-1-1 新建表操作入口 3.1.1...

数据源是指创建业务库和产品应用服务器的连接，拿到数据进行分析。 3.1.2.1.功能入口 在左侧资源目录树下，选中数据源管理节点或其子目录新建数据源，或是在主界面点击快捷方式新建数据源。如图3-...

数据同步和批量数据同步相当于把数据从一个数据源拷贝一个完全一样的数据到另一个数据源。所配置的数据源可以是默认的，也可以是创建的自有数据源。新建完成后的数据同步和批量数据同步都会保存在定制资源>项...

数据同步需要给源头表和目标表选定一个数据源、模式和数据表。如图3-2-1-1所示。字段校对处则需要根据【同名映射】、【同行映射】和【手动连线】三种方式来同步字段数据。如图3-2-1-2所示。新建...

批量数据同步需要给源库和目标库选择数据源类型、数据源以及模式，根据添加的配置规则批量同步数据。 添加规则后，需点击【执行规则】按钮，如图3-2-2-1所示。 根据所添加的规则，会出现相应的选择同...

3.2.3.1.创建kafka数据源连接 在公共设置-数据源管理右键新建即可 partNum、repeetNum为整形 Bootstrap-servers：kafka地址 用户可自定义参数配置 ...

打开数据爬虫页面，共有几个区域，分别是资源树、工具栏、代码编辑区、存储配置区以及运行日志区。 资源树区域可以选择已有的数据爬虫资源双击打开进行编辑。 工具栏包括保存、执行、停止执行、清空以及预...

（此页面暂无内容）

新建作业流是指从左侧节点树拖动节点或双击节点到工作区，根据配置形成一条完整的工作流，通过输入、转换、输出节点对数据随意操作。如图：3-3-1-1所示。 输入节点中的表输入节点选择的是数据源管理中...

3.3.2.1.操作入口 在左侧资源目录树下，选中数据开发节点或其子节点新建Sql任务，或是在主界面点击快捷方式新建Sql任务。如图3-3-2-1-1所示： 图3-3-2-1-1 新建sql任...

3.3.3.1.操作入口 在左侧资源目录树下，选中数据开发节点或其子节点新建Spark任务，或是在主界面点击快捷方式新建Spark任务，如图3-3-3-1-1所示： 图3-3-3-1-1 新建...

3.3.4.1.操作入口 在左侧资源目录树下，选中数据开发节点或其子节点新建SparkShell任务，或是在主界面点击快捷方式新建SparkShell任务，如图3-3-4-1-1所示： 图3-...

（此页面暂无内容）

任务表示调度执行的具体内容。任务类型：定制任务、计算元数据、数据预警、SFTP同步任务、工作流任务、作业组任务、数据同步任务、作业流任务、sql任务、spark任务、SparkShell任务。 ...

操作说明： 1）在定制资源下找到创建的任务，点击右键-属性获取此任务的ID； 2）向数据库表x_task_adddata_trigger中插入数据，sql模板为： INSERT INTO x_...

计划是指定制执行任务的方式或时间等。一个计划支持调度多项任务。 在调度计划中支持选择定制任务、计算元数据、数据预警、SFTP导出任务、工作流任务、作业组任务、数据同步任务、作业流任务、sql任务...

3.4.4.1.频度 3.4.4.1.1.操作入口 在菜单栏中选择【工具商城】进入主页面后，在左侧资源树形区打开【公共设置】 ，单击【频度】右键菜单中选择【新建频度】，或者在右侧面板中的快捷入口...

在任务管理模块完成任务的执行计划的配置后，该任务并不会开始执行，如果需要启动该计划，则需要将该任务的执行计划发布到产品库才能开始执行。 3.4.5.1.操作入口 操作入口在我的工作台>发布管理模...