From e35657998cda7640e478d6cbc0886b76ae1d6a23 Mon Sep 17 00:00:00 2001 From: jiangjianyuan Date: Thu, 25 May 2023 17:29:50 +0800 Subject: [PATCH 1/4] update ticdc acl --- ticdc/ticdc-sink-to-kafka.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-sink-to-kafka.md b/ticdc/ticdc-sink-to-kafka.md index e21151edf005..a524118664d2 100644 --- a/ticdc/ticdc-sink-to-kafka.md +++ b/ticdc/ticdc-sink-to-kafka.md @@ -134,7 +134,7 @@ URI 中可配置的的参数如下： TiCDC 能够正常工作所需的最小权限集合如下： - - 对 Topic [资源类型](https://docs.confluent.io/platform/current/kafka/authorization.html#resources)的 `Create` 和 `Write` 权限。 + - 对 Topic [资源类型](https://docs.confluent.io/platform/current/kafka/authorization.html#resources)的 `Create` 、`Write` 和 `Describe` 权限。 - 对 Cluster 资源类型的 `DescribeConfigs` 权限。 ### TiCDC 集成 Kafka Connect (Confluent Platform) From 69007db77f44b2e815aee8339766a2eaace78fa8 Mon Sep 17 00:00:00 2001 From: jiangjianyuan Date: Thu, 7 Dec 2023 15:02:55 +0800 Subject: [PATCH 2/4] add cdc redo configuration --- ticdc/ticdc-changefeed-config.md | 2 ++ ticdc/ticdc-open-api-v2.md | 20 +++++++++++--------- 2 files changed, 13 insertions(+), 9 deletions(-) diff --git a/ticdc/ticdc-changefeed-config.md b/ticdc/ticdc-changefeed-config.md index d955a569a6dc..99dc06a08c0a 100644 --- a/ticdc/ticdc-changefeed-config.md +++ b/ticdc/ticdc-changefeed-config.md @@ -215,6 +215,8 @@ encoding-worker-num = 16 flush-worker-num = 8 # redo log 文件的压缩行为，可选值为 "" 和 "lz4"。默认值为 ""，表示不进行压缩。 compression = "" +# redo log 上传单个文件的并发数，默认值为 1，表示禁用并发。 +flush-concurrency = 1 [integrity] # 是否开启单行数据的 Checksum 校验功能，默认值为 "none"，即不开启。可选值为 "none" 和 "correctness"。 diff --git a/ticdc/ticdc-open-api-v2.md b/ticdc/ticdc-open-api-v2.md index d9bf914d1f54..bc1c9c91bc01 100644 --- a/ticdc/ticdc-open-api-v2.md +++ b/ticdc/ticdc-open-api-v2.md @@ -279,15 +279,17 @@ curl -X GET http://127.0.0.1:8300/api/v2/health `consistent` 参数说明如下： -| 参数名 | 说明 | -|:-----------------|:---------------------------------------| -| `flush_interval` | `UINT64` 类型，redo log 文件 flush 间隔。（非必选） | -| `level` | `STRING` 类型，同步数据的一致性级别。（非必选） | -| `max_log_size` | `UINT64` 类型，redo log 的最大值。（非必选） | -| `storage` | `STRING` 类型，存储的目标地址。（非必选） | -| `use_file_backend` | `BOOL` 类型，是否将 redo log 存储到本地文件中。（非必选） | -| `encoding_worker_num` | `INT` 类型，redo 模块中编解码 worker 的数量。（非必选）| -|`flush_worker_num` | `INT` 类型，redo 模块中上传文件 worker 的数量。（非必选） | +| 参数名 | 说明 | +|:----------------------|:----------------------------------------------------------------------| +| `flush_interval` | `UINT64` 类型，redo log 文件 flush 间隔。（非必选） | +| `level` | `STRING` 类型，同步数据的一致性级别。（非必选） | +| `max_log_size` | `UINT64` 类型，redo log 的最大值。（非必选） | +| `storage` | `STRING` 类型，存储的目标地址。（非必选） | +| `use_file_backend` | `BOOL` 类型，是否将 redo log 存储到本地文件中。（非必选） | +| `encoding_worker_num` | `INT` 类型，redo 模块中编解码 worker 的数量。（非必选） | +| `flush_worker_num` | `INT` 类型，redo 模块中上传文件 worker 的数量。（非必选） | +| `compression` | `STRING` 类型，redo 文件的压缩行为，可选值为 "" 和 "lz4"。默认值为 ""，表示不进行压缩。（非必选） | +| `flush_concurrency` | `INT` 类型，redo log 上传单个文件的并发数，默认值为 1，表示禁用并发。（非必选） | `filter` 参数说明如下： From 3ca3e6da0f214bf34765d890e51250bddd597627 Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 7 Dec 2023 15:51:03 +0800 Subject: [PATCH 3/4] Update ticdc/ticdc-open-api-v2.md --- ticdc/ticdc-open-api-v2.md | 18 +++++++++--------- 1 file changed, 9 insertions(+), 9 deletions(-) diff --git a/ticdc/ticdc-open-api-v2.md b/ticdc/ticdc-open-api-v2.md index bc1c9c91bc01..6f86fac11705 100644 --- a/ticdc/ticdc-open-api-v2.md +++ b/ticdc/ticdc-open-api-v2.md @@ -279,15 +279,15 @@ curl -X GET http://127.0.0.1:8300/api/v2/health `consistent` 参数说明如下： -| 参数名 | 说明 | -|:----------------------|:----------------------------------------------------------------------| -| `flush_interval` | `UINT64` 类型，redo log 文件 flush 间隔。（非必选） | -| `level` | `STRING` 类型，同步数据的一致性级别。（非必选） | -| `max_log_size` | `UINT64` 类型，redo log 的最大值。（非必选） | -| `storage` | `STRING` 类型，存储的目标地址。（非必选） | -| `use_file_backend` | `BOOL` 类型，是否将 redo log 存储到本地文件中。（非必选） | -| `encoding_worker_num` | `INT` 类型，redo 模块中编解码 worker 的数量。（非必选） | -| `flush_worker_num` | `INT` 类型，redo 模块中上传文件 worker 的数量。（非必选） | +| 参数名 | 说明 | +|:-----------------|:---------------------------------------| +| `flush_interval` | `UINT64` 类型，redo log 文件 flush 间隔。（非必选） | +| `level` | `STRING` 类型，同步数据的一致性级别。（非必选） | +| `max_log_size` | `UINT64` 类型，redo log 的最大值。（非必选） | +| `storage` | `STRING` 类型，存储的目标地址。（非必选） | +| `use_file_backend` | `BOOL` 类型，是否将 redo log 存储到本地文件中。（非必选） | +| `encoding_worker_num` | `INT` 类型，redo 模块中编解码 worker 的数量。（非必选）| +|`flush_worker_num` | `INT` 类型，redo 模块中上传文件 worker 的数量。（非必选） | | `compression` | `STRING` 类型，redo 文件的压缩行为，可选值为 "" 和 "lz4"。默认值为 ""，表示不进行压缩。（非必选） | | `flush_concurrency` | `INT` 类型，redo log 上传单个文件的并发数，默认值为 1，表示禁用并发。（非必选） | From 8ba3deef0604236857a270e7785ba0de023d232d Mon Sep 17 00:00:00 2001 From: Grace Cai Date: Thu, 7 Dec 2023 17:52:24 +0800 Subject: [PATCH 4/4] Update ticdc/ticdc-open-api-v2.md --- ticdc/ticdc-open-api-v2.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ticdc/ticdc-open-api-v2.md b/ticdc/ticdc-open-api-v2.md index 6f86fac11705..ced549a235d3 100644 --- a/ticdc/ticdc-open-api-v2.md +++ b/ticdc/ticdc-open-api-v2.md @@ -288,7 +288,7 @@ curl -X GET http://127.0.0.1:8300/api/v2/health | `use_file_backend` | `BOOL` 类型，是否将 redo log 存储到本地文件中。（非必选） | | `encoding_worker_num` | `INT` 类型，redo 模块中编解码 worker 的数量。（非必选）| |`flush_worker_num` | `INT` 类型，redo 模块中上传文件 worker 的数量。（非必选） | -| `compression` | `STRING` 类型，redo 文件的压缩行为，可选值为 "" 和 "lz4"。默认值为 ""，表示不进行压缩。（非必选） | +| `compression` | `STRING` 类型，redo 文件的压缩行为，可选值为 `""` 和 `"lz4"`。默认值为 `""`，表示不进行压缩。（非必选） | | `flush_concurrency` | `INT` 类型，redo log 上传单个文件的并发数，默认值为 1，表示禁用并发。（非必选） | `filter` 参数说明如下：