3.2.4.数据爬虫

打开数据爬虫页面，共有几个区域，分别是资源树、工具栏、代码编辑区、存储配置区以及运行日志区。

资源树区域可以选择已有的数据爬虫资源双击打开进行编辑。

工具栏包括保存、执行、停止执行、清空以及预览5个操作按钮，分别对爬虫脚本执行对应的操作，脚本必须先保存才能执行或预览。

代码编辑区用于编写爬虫代码，需按照python语言规范进行编写。

存储配置主要用于配置爬虫结果数据保存的目标表，需从支持的数据源中选择一个并选择要存数据的数据库，此处可供选择的数据库必须在资源树公共设置-数据源管理下线创建好。选择库中的表后表字段自动展示在右侧，可调整字段顺序。

需特别说明的是，此处数据库中的字段数量以及字段类型必须和爬虫脚本中输出到result数组中的变量个数和类型一致，否则无法执行成功。

脚本执行结果可以在运行日志处查看，运行日志和存储配置在同一个区域，通过切换Tab页打开。

数据爬虫支持权限控制，在权限管理 - 角色管理下的云ETL模块可以配置，没有此权限的用户数据集成下不会出现数据爬虫卡片。

【示例】

用Python代码爬取百度热搜，存储热搜排名、标题及热度，附件为对应爬虫脚本。

本次爬取结果为排名、标题及热度，共3个字段，两个数值一个字符，因此先在库中创建一个表用于存放爬取结果。

将脚本内容粘贴到代码编辑区，配置上一步创建的数据库表。

保存后执行，运行日志显示执行成功。

打开数据库表，百度当天热点信息存储到对应表中。