数据输出
更新时间: 2022-12-01 16:34:54
1. 概述
将已经处理好的数据执行落库操作,您可以选择内部输出节点或外部输出节点至数据库。内部输出将数据抽取至內部数仓,外部输出将数据输出至外部数据库表。
2. 前提
您已完成数据处理的配置,请参见数据处理。
3. 内部输出
(1)点击已有的表,弹出“+”按钮,点击按钮,选择“内部输出”。
(2)在下方配置区域,您可以设置输出表名和数据更新方式。
4. 外部输出
(1)点击已有的表,弹出“+”按钮,点击按钮,选择“外部输出”。
(2)在下方配置区域,您可以设置输出连接、数据库、输出表和数据更新方式。输出表和数据库字段必须完全匹配。目前支持Doris、GreenPlum、ClickHouse、mysql四种数据源输出,您需要先建立数据连接连接数据库。
5. 注意事项
5.1 数据更新
- 全量覆盖:每次抽取对数据库的全部数据进行抽取,并覆盖数据库已有的数据。
- 全量追加:每次抽取对数据库的全部数据进行抽取,并追加在数据库中。
- 增量更新:每次抽取根据增量字段判断数据库中的数据是否为新增数据,对数据库的新增数据进行抽取,并追加在数据库中。
- 增量滚动更新:每次抽取,根据日期及滚动周期将数据库中的新增以及部分历史数据抽取到数据库中,其中历史数据将会覆盖原数据。
5.2 视图配置
- 在字段视图处,支持对字段添加注释。
- 在数据视图处,可以查看输出表的列和数据。
- 在统计视图,可以查看字段的统计信息,支持查看各个成员的行数与百分比。
5.3 输出管理
您可在项目中心的数据任务管理中进行输出管理,具体查看数据任务管理。
6. 后续步骤
输出数据后,需要将流程进行发布,才可以在数据库表中写入数据。请参见发布。