Skip to content
Permalink
Branch: master
Find file Copy path
Find file Copy path
Fetching contributors…
Cannot retrieve contributors at this time
52 lines (32 sloc) 1.7 KB

数据导入算子 {#concept_hpt_szd_ghb .concept}

数据导入算子用于配置拉取数据的数据源,产出为逻辑表

支持数据源 {#section_j1x_s22_ghb .section}

数据导入算子支持以下数据源:

  • RDS for MySQL
  • MaxCompute
  • LogService
  • Elasticsearch

说明:

  • 需要为产出的逻辑表设置主键。
  • RDS for MySQL需要在VPC网络下,数据库版本需要为5.6,暂时不支持5.7。
  • MaxCompute必须有分区,设置数据导入算子时需填写全部分区信息,多个分区间以英文逗号分割。
  • LogService需要用户自己手动添加逻辑表字段,并为字段设置类型。
  • Elasticsearch只需要设置产出逻辑表名称,不需要设置逻辑表结构。

数据导入类型 {#section_mvd_522_ghb .section}

数据导入算子支持以下两种配置:

  • 全量

    从数据源中将当前时刻已有的数据导入到目标Elasticsearch中,导入完成即任务完成。

  • 增量

    从任务运行起,一直监控数据源中的数据信息变化,同步到目标Elasticsearch。任务不会停止,除非在控制台手动停止任务。

全量与增量的组合

在配置导入算子时,根据数据源类型可选组合如下:

|全量|增量| |MySQL| | | |MySQL| |MySQL|MySQL| |MaxCompute| | |MaxCompute|LogService| | |LogService| |Elasticsearch| |

You can’t perform that action at this time.