Skip to main content

3.3.4.SparkShell开发

3.3.4.1.操作入口

在左侧资源目录树下,选中数据开发节点或其子节点新建SparkShell任务,或是在主界面点击快捷方式新建SparkShell任务,如图3-3-4-1-1所示:

图3-3-4-1-1 新建SparkShell任务操作入口

3.3.4.2.新建SparkShell任务

SparkShell开发可以实现大数据分析过程中的脚本编辑、脚本执行、版本管理、控制台执行结果。支持多种语言,默认是Scala(背后是Spark shell),SparkSql。支持脚本定时调度,支持脚本任务与ETL其他任务混合编排完成复杂业务。具备根据用户权限访问对应hive数据源的管控能力。

%spark:可指定在相应的数据库中执行。

3.3.4.2.1.执行

新建SparkShell任务,点击执行按钮,执行成功后会在下方运行日志显示运行结果。执行完成后会在相应的库中写入表和数据。

3.3.4.2.2.停止

点击停止按钮,任务则停止执行。

3.3.4.2.3.清除

点击清除按钮,任务则需重新编辑。

3.3.4.2.4.保存当前版本

在工作区新建SparkShell任务后,可以保存当前版本后再次编辑SparkShell任务,相当于为SparkShell任务增添了版本管理的功能。如需要回退到指定版本,在下拉框中选中回到的版本即可。如图3-3-4-2-4-1所示:

图3-3-4-2-4-1 保存当前版本

3.3.4.3.修改SparkShell任务

在左侧资源目录树下,选中要修改的SparkShell任务节点,单击即可编辑,编辑后点击保存按钮则修改成功。如图3-3-4-3-1所示:

图3-3-4-3-1 修改SparkShell任务

3.3.4.4.删除SparkShell任务

在左侧资源目录树下,选中要修改的SparkShell任务节点,右键选择**【删除】**即可。如图3-3-4-4-1所示:

图3-3-4-4-1 删除SparkShell任务

3.3.4.5.Sparkshell任务的使用

1)在工具商城,左侧目录树下,选中自定义任务右键新建作业组,可以将sparkshell任务与其他etl任务混合编排完成复杂业务。

  1. 在左侧资源目录树下,选中计划节点或其子目录节点,右键选择新建计划,或是在主界面点击快捷方式新建计划。

  1. 在新建计划页面选择待执行的任务,这里可以单独只选中sparkshell任务,也可选择刚才配置好的任务组,配置完成其他后保存。

  1. 可以点击页面上的手动执行调度,也可在发布管理发布计划定时调度任务。在发布管理处选择【任务发布】,选择刚才配置好的计划提交待办审批通过即可在调度日志查看调度执行结果。