数据任务
更新时间: 2022-11-29 17:03:28
1. 概述
在项目中心的数据任务模块,您可以看到整个项目目前所有的数据任务并对其进行管理。
2. 快速入门
(1)您可按照图中的tab选择内部存储、外部存储和物化视图的任务。对内部存储和外部存储,都可按照tab选择全部连接、抽取完成、抽取中、抽取失败、禁用等不同状态的任务,如图所示;
(2)在内部存储中,您可以点击选择全部连接,根据某一连接筛选该连接的相关数据任务记录;
(3)对于数据任务,您可以执行以下操作:
发送日报:可推送记录,选择发送日报,添加发送对象,发送时间(发送内容的范围为:前一天0点~当天0点)0至24内,将时间内的抽取记录发送给设置的接收人;
立即抽取/执行:选择下方记录,点击立即抽取/执行,将对选中的数据任务进行抽取/执行
- 禁用:选择下方记录,可对选中的任务禁用,此条任务【状态】显示【禁用】
- 启用:选择禁用的任务,点击启用,可继续进行
设置禁用规则:开启后,系统会定期将满足条件的任务禁用;
- 规则:连续失败n次、连续七天无报告或大屏依赖的任务、数据量连续n次超过x万;满足规则的抽取任务自动被禁用,同时可选择确定后立即执行
3. 任务记录
任务记录显示表名、数据连接、类型、状态、失败原因、调度信息、占用空间、成功率、创建人、优先级、操作。
表名:点击后可查看表内详细信息;
数据连接:显示该抽取任务的数据连接类型及名称
- 类型:显示【全量】或【增量】抽取
- 状态:显示【加载中】【成功】【失败】【禁用】四种状态,可查看抽取任务的状态
- 失败原因:显示任务失败的原因。(仅外部存储任务)
- 调度任务:【最近抽取时间】【下次抽取时间】【任务频率】(排序(按抽取时间排序)、筛选(按抽取频率抽取))
- 占用空间:占用MPP资源的多少(仅内部存储任务)
- 成功率:抽取任务中,抽取成功占比
- 创建人:显示此次抽取任务的创建人
优先级:【1-最高】【2-次高】【3-中等】【4-次低】【5-最低】【无】
- 在进行多个任务时,将抽取任务划分优先级进行抽取。同时在【优先级】旁可进行筛选,查看不同优先级的记录
操作 [抽取/任务设置]
- 配置信息(仅内部存储任务):
抽取方式:全量覆盖抽取、全量追加抽取、增量抽取、增量抽取(滚动覆盖),详见数据抽取。
执行计划:
①失败重跑:重跑次数n次、重跑间隔n分钟;
②依赖执行:以下数据源的数据发生变更时,表信息会自动同步到有数服务器,有数将会自动完成数据任务,不需要用户手动触发。勾选后,需要用户主动调用有数接口告知该表数据已经更新,否则不会触发数据任务,并且定时任务设置将不再生效;
③定时计划:可添加定时任务,选择任务的频率、日期、时间、开始/终止日期进行抽取,同时可勾选暂停定时任务。
操作 [更多]
- 对于内部存储抽取任务,可查看历史记录、查看血缘、变更创建人、查看依赖项、删除、告警设置、任务ID。
- 对于外部存储数据任务,可立即执行、查看历史记录、告警设置、任务ID。