Skip to main content

3.3.3.Spark任务

3.3.3.1.操作入口

在左侧资源目录树下,选中数据开发节点或其子节点新建Spark任务,或是在主界面点击快捷方式新建Spark任务,如图3-3-3-1-1所示:

图3-3-3-1-1 新建spark任务操作入口

3.3.3.2.新建spark任务

新建一个sqark任务,选择一个spark的jar包及其他配置,保存后可供后续使用,如图:3-3-3-2-1所示。

Spark任务配置说明:

jar包文件:spark任务依赖jar包

主jar包: spark任务主类所在jar包

运行Class: spark任务主函数(主类)

Executor内存: spark任务参数-执行内存

驱动内存: spark任务参数-驱动内存

Executor个数: spark任务参数-executor个数

Executor核心数: spark任务参数-executor核心数

图 3-3-3-2-1 新建spark任务

3.3.3.3.修改spark任务

在左侧资源目录树下,选中要修改的spark任务节点,单击即可编辑,编辑后点击保存按钮则修改成功。如图3-3-3-3-1所示:

图3-3-3-3-1 修改spark任务

3.3.3.4.删除spark任务

在左侧资源目录树下,选中要修改的spark任务节点,右键选择**【删除】**即可。如图3-3-3-4-1所示:

图3-3-3-4-1 删除spark任务