From fd12ea1c2f2bb9d7f799949c4efe80325a603d57 Mon Sep 17 00:00:00 2001 From: tonyxuqqi Date: Tue, 16 Jan 2024 10:58:36 -0800 Subject: [PATCH 1/6] update compaction filter Signed-off-by: tonyxuqqi --- garbage-collection-configuration.md | 4 ++++ 1 file changed, 4 insertions(+) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index 17499687768e..5b3429f331e1 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -85,3 +85,7 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; | tikv | 172.16.5.35:20163 | gc.enable-compaction-filter | true | +------+-------------------+-----------------------------+-------+ ``` + +> **注意：** +> +> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1以及以后的版本，无需关闭Compaction filter。 From 3eb0d5002287050ae3778c3889728c4ce021a3b9 Mon Sep 17 00:00:00 2001 From: tonyxuqqi Date: Tue, 16 Jan 2024 11:33:25 -0800 Subject: [PATCH 2/6] polish Signed-off-by: tonyxuqqi --- garbage-collection-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index 5b3429f331e1..df8bba2512e3 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -88,4 +88,4 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; > **注意：** > -> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1以及以后的版本，无需关闭Compaction filter。 +> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1.3及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1.3以及以后的版本，通常建议调整上述参数无需关闭Compaction filter。 From 867201fc0b065e46f723e3610a71c113df3189dd Mon Sep 17 00:00:00 2001 From: tonyxuqqi Date: Tue, 16 Jan 2024 11:36:50 -0800 Subject: [PATCH 3/6] polish Signed-off-by: tonyxuqqi --- garbage-collection-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index df8bba2512e3..c5cf19985bd0 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -88,4 +88,4 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; > **注意：** > -> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1.3及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1.3以及以后的版本，通常建议调整上述参数无需关闭Compaction filter。 +> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过(>3倍)processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1.3及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1.3以及以后的版本，通常建议调整上述参数无需关闭Compaction filter。 From 2238e08914b13c80bed753fe9f38ccad40a9aa29 Mon Sep 17 00:00:00 2001 From: tonyxuqqi Date: Wed, 20 Mar 2024 19:40:19 -0700 Subject: [PATCH 4/6] Update garbage-collection-configuration.md Co-authored-by: Aolin --- garbage-collection-configuration.md | 4 +++- 1 file changed, 3 insertions(+), 1 deletion(-) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index c5cf19985bd0..19773af24a1c 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -88,4 +88,6 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; > **注意：** > -> Compaction filter的机制可能会导致GC进度有延迟，从而影响TiKV扫描性能。如果负载包含大量coprocessor请求且观察到在 [`Coprocessor Details`](/grafana-tikv-dashboard.md###Coprocessor-Detail)面板中发现Total Ops Details中的next()或者prev()的调用远远超过(>3倍)processed_keys的调用，则可以尝试关闭compaction filter从而加快GC速度。在TiDB 7.1.3及其以后的版本，TiDB会根据每个region的冗余版本数量[`region-compact-min-redundant-rows`](/tikv-configuration-file.md###region-compact-min-redundant-rows)以及比例[`region-compact-redundant-rows-percent`](/tikv-configuration-file.md###region-compact-redundant-rows-percent)自动触发compaction，从而提高Compaction filter的GC速度。因此在7.1.3以及以后的版本，通常建议调整上述参数无需关闭Compaction filter。 +> 在使用 Compaction Filter 机制时，可能会出现 GC 进度延迟的情况，从而影响 TiKV 扫描性能。当你的负载中含有大量 coprocessor 请求，并且在 [**TiKV-Details > Coprocessor Detail**](/grafana-tikv-dashboard.md#coprocessor-detail) 面板中发现 Total Ops Details 的 `next()` 或 `prev()` 调用次数远远超过 `processed_keys` 调用的三倍时，可以采取以下措施： +> - 对于 TiDB v7.1.3 之前版本，建议尝试关闭 Compaction Filter，以加快 GC 速度。 +> - 在 v7.1.3 及之后版本中，TiDB 会根据每个 Region 的冗余版本数量 [`region-compact-min-redundant-rows`](/tikv-configuration-file.md#region-compact-min-redundant-rows) 和比例 [`region-compact-redundant-rows-percent`](/tikv-configuration-file.md#region-compact-redundant-rows-percent) 自动触发 compaction，从而提高 Compaction Filter 的 GC 速度。因此，在 v7.1.3 及之后的版本中，如果遇到上述情况，建议调整这两个参数，无需关闭 Compaction Filter。 From 201ca994f2b3fc2d6234885f56979d3ac591fa61 Mon Sep 17 00:00:00 2001 From: Aolin Date: Thu, 21 Mar 2024 11:30:30 +0800 Subject: [PATCH 5/6] make ci happy --- garbage-collection-configuration.md | 3 ++- 1 file changed, 2 insertions(+), 1 deletion(-) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index 19773af24a1c..cd31b71f42b0 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -89,5 +89,6 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; > **注意：** > > 在使用 Compaction Filter 机制时，可能会出现 GC 进度延迟的情况，从而影响 TiKV 扫描性能。当你的负载中含有大量 coprocessor 请求，并且在 [**TiKV-Details > Coprocessor Detail**](/grafana-tikv-dashboard.md#coprocessor-detail) 面板中发现 Total Ops Details 的 `next()` 或 `prev()` 调用次数远远超过 `processed_keys` 调用的三倍时，可以采取以下措施： +> > - 对于 TiDB v7.1.3 之前版本，建议尝试关闭 Compaction Filter，以加快 GC 速度。 -> - 在 v7.1.3 及之后版本中，TiDB 会根据每个 Region 的冗余版本数量 [`region-compact-min-redundant-rows`](/tikv-configuration-file.md#region-compact-min-redundant-rows) 和比例 [`region-compact-redundant-rows-percent`](/tikv-configuration-file.md#region-compact-redundant-rows-percent) 自动触发 compaction，从而提高 Compaction Filter 的 GC 速度。因此，在 v7.1.3 及之后的版本中，如果遇到上述情况，建议调整这两个参数，无需关闭 Compaction Filter。 +> - 从 v7.1.3 开始，TiDB 会根据每个 Region 的冗余版本数量 [`region-compact-min-redundant-rows`](/tikv-configuration-file.md#region-compact-min-redundant-rows) 和比例 [`region-compact-redundant-rows-percent`](/tikv-configuration-file.md#region-compact-redundant-rows-percent) 自动触发 compaction，从而提高 Compaction Filter 的 GC 速度。因此，在 v7.1.3 及之后的版本中，如果遇到上述情况，建议调整这两个参数，无需关闭 Compaction Filter。 From b1e214a0749667ee4ccb12bdee3ced474de42388 Mon Sep 17 00:00:00 2001 From: Aolin Date: Thu, 21 Mar 2024 11:32:21 +0800 Subject: [PATCH 6/6] make ci happy --- garbage-collection-configuration.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/garbage-collection-configuration.md b/garbage-collection-configuration.md index cd31b71f42b0..bf06eaff29fb 100644 --- a/garbage-collection-configuration.md +++ b/garbage-collection-configuration.md @@ -91,4 +91,4 @@ show config where type = 'tikv' and name like '%enable-compaction-filter%'; > 在使用 Compaction Filter 机制时，可能会出现 GC 进度延迟的情况，从而影响 TiKV 扫描性能。当你的负载中含有大量 coprocessor 请求，并且在 [**TiKV-Details > Coprocessor Detail**](/grafana-tikv-dashboard.md#coprocessor-detail) 面板中发现 Total Ops Details 的 `next()` 或 `prev()` 调用次数远远超过 `processed_keys` 调用的三倍时，可以采取以下措施： > > - 对于 TiDB v7.1.3 之前版本，建议尝试关闭 Compaction Filter，以加快 GC 速度。 -> - 从 v7.1.3 开始，TiDB 会根据每个 Region 的冗余版本数量 [`region-compact-min-redundant-rows`](/tikv-configuration-file.md#region-compact-min-redundant-rows) 和比例 [`region-compact-redundant-rows-percent`](/tikv-configuration-file.md#region-compact-redundant-rows-percent) 自动触发 compaction，从而提高 Compaction Filter 的 GC 速度。因此，在 v7.1.3 及之后的版本中，如果遇到上述情况，建议调整这两个参数，无需关闭 Compaction Filter。 +> - 从 v7.1.3 开始，TiDB 会根据每个 Region 的冗余版本数量 [`region-compact-min-redundant-rows`](/tikv-configuration-file.md#region-compact-min-redundant-rows-从-v710-版本开始引入) 和比例 [`region-compact-redundant-rows-percent`](/tikv-configuration-file.md#region-compact-redundant-rows-percent-从-v710-版本开始引入) 自动触发 compaction，从而提高 Compaction Filter 的 GC 速度。因此，在 v7.1.3 及之后的版本中，如果遇到上述情况，建议调整这两个参数，无需关闭 Compaction Filter。