From a0c31da1814d59a7958bb946ba6ec088f8569c25 Mon Sep 17 00:00:00 2001 From: csuzhangxc Date: Thu, 4 Jun 2020 17:51:42 +0800 Subject: [PATCH 01/15] reference: refine the ecosystem tools user guide --- ecosystem-tool-user-guide.md | 176 ++++++++--------------------------- 1 file changed, 38 insertions(+), 138 deletions(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 01b448661237..efa01f468b5a 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -6,71 +6,64 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat # TiDB 生态工具使用指南 -目前 TiDB 生态工具较多，有些工具之间有功能重叠，也有些属于版本迭代关系。本文档将对各个工具进行介绍，说明各个工具之间的关系，并且说明各个版本、场景下应该使用哪些工具。 +本文档主要从使用场景出发介绍适用于该场景的相关 TiDB 生态工具，并简单介绍部分生态工具之间的替代关系。 -## TiDB 生态工具概览 +#### 全量导出 -TiDB 生态工具可以分为几种： +[Mydumper](/mydumper-overview.md) 用于对 MySQL/TiDB 进行全量逻辑导出。 -- 数据导入类，包括全量导入工具、备份和恢复工具、增量导入工具等 -- 数据导出类，包括全量导出工具、增量导出工具等 +基本信息： -下面将分别介绍这两类工具。 - -### 数据导入类 - -#### 全量导入工具 Loader（停止维护，不推荐使用） - -[Loader](/loader-overview.md) 是一款轻量级的全量数据导入工具，数据以 SQL 的形式导入到 TiDB 中。目前这个工具正在逐步被 [TiDB Lightning](#全量导入工具-tidb-lightning) 替换掉，参见 [TiDB Lightning TiDB-backend 文档](/tidb-lightning/tidb-lightning-tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)。 - -以下是 Loader 的一些基本信息： - -- Loader 的输入：Mydumper 输出的文件 -- Loader 的输出：以 SQL 形式写入 TiDB +- Mydumper 的输入：MySQL/TiDB 集群 +- Mydumper 的输出：SQL 文件 - 适用 TiDB 版本：所有版本 - Kubernetes 支持：[备份与恢复](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/backup-and-restore-using-helm-charts/) -#### 全量导入工具 TiDB Lightning +## 全量导入 -[TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 是将全量数据快速导入到一个新的 TiDB 集群的工具。 +[TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 是一个用于将全量数据导入到 TiDB 集群的工具。 -注意用 TiDB Lightning 导入数据到 TiDB 的时候，有两种模式： +使用 TiDB Lightning 导入数据到 TiDB 时，有两种模式： -- 默认模式：`tikv-importer` 为后端，这种模式下导入数据过程中集群无法提供正常的服务，用于导入大量的数据（TB 级别）。 -- 第二种模式：`TiDB` 为后端（相当于 Loader 的功能），相对默认模式导入速度较慢，但是可以在线导入。 +- `importer` 模式：以 TiKV-importer 作为后端，这种模式一般用于导入大量的数据（TB 级别）到新集群，但在数据导入过程中集群无法提供正常的服务。 +- `tidb` 模式：以 TiDB/MySQL 作为后端，这种模式相比 `importer` 模式的导入速度较慢，但是可以在线导入，同时也支持将数据导入到 MySQL。 -以下是 TiDB Lightning 的一些基本信息： +基本信息： -- Lightning 的输入 - - Mydumper 输出文件 +- Lightning 的输入： + - Mydumper 或 Dumpling 输出文件 - CSV 格式文件 - 适用 TiDB 版本：v2.1 及以上 - Kubernetes 支持：[使用 TiDB Lightning 快速恢复 Kubernetes 上的 TiDB 集群数据](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/restore-data-using-tidb-lightning/) -#### 备份和恢复工具 BR +> **注意：** +> +> 原 Loader 工具已停止维护，不再推荐使用。相关场景请使用 TiDB Lightning 的 `tidb` 模式进行替代，详细信息请参考 [TiDB Lightning TiDB-backend 文档](/tidb-lightning/tidb-lightning-tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)。 + +## 备份和恢复 -[BR](/br/backup-and-restore-tool.md) 是 TiDB 进行分布式备份恢复的命令行工具，用于对 TiDB 集群进行数据备份和恢复。相比 Mydumper 和 Loader，BR 更适合大数据量的场景，有更高效的备份和恢复效率。 +[BR](/br/backup-and-restore-tool.md) 是 TiDB 进行分布式备份和恢复的命令行工具，可以高效地对大数据量的 TiDB 集群进行数据备份和恢复。 -以下是 BR 的一些基本信息： +基本信息： - [备份输出和恢复输入的文件类型](/br/backup-and-restore-tool.md#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 -#### 增量导入工具 Syncer（已停止维护，不推荐使用） +## 增量导出 -[Syncer](/syncer-overview.md) 是将 MySQL/MariaDB 增量 binlog 数据实时复制导入到 TiDB 的工具。目前推荐使用 [TiDB Data Migration](#增量导入工具-tidb-data-migration) 替换该工具。 +[TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) 是收集 TiDB 的增量 binlog 数据，并提供准实时同步和备份的工具。该工具可用于 TiDB 集群间的增量数据同步，如将其中一个 TiDB 集群作为另一个 TiDB 集群的 slave。 -以下是 Syncer 的一些基本信息： +基本信息： -- Syncer 的输入：MySQL/MariaDB 的 binlog -- Syncer 的输出：以 SQL 形式写入 TiDB -- 适用 TiDB 版本：所有版本 -- Kubernetes 支持：不支持 +- TiDB Binlog 的输入：TiDB 集群 +- TiDB Binlog 的输出：TiDB 集群、MySQL、Kafka 或者增量备份文件 +- 适用 TiDB 版本：v2.1 及以上 +- Kubernetes 支持：[TiDB Binlog 运维文档](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/deploy-tidb-binlog/)，[Kubernetes 上的 TiDB Binlog Drainer 配置](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/configure-tidb-binlog-drainer/) -#### 增量导入工具 TiDB Data Migration +## 数据迁入 -[TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 是将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的同步。 +[TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 是将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的迁移。 以下是 DM 的一些基本信息： @@ -79,107 +72,14 @@ TiDB 生态工具可以分为几种： - 适用 TiDB 版本：所有版本 - Kubernetes 支持：开发中 -### 数据导出类 - -#### 全量导出工具 Mydumper - -[Mydumper](/mydumper-overview.md) 用于对 MySQL/TiDB 进行全量逻辑备份。 - -以下是 Mydumper 的一些基本信息： - -- Mydumper 的输入：MySQL/TiDB 集群 -- Mydumper 的输出：SQL 文件 -- 适用 TiDB 版本：所有版本 -- Kubernetes 支持：[备份与恢复](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/backup-and-restore-using-helm-charts/) - -#### 增量导出工具 TiDB Binlog - -[TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) 是收集 TiDB 的 binlog，并提供准实时同步和备份的工具。 - -以下是 TiDB Binlog 的一些基本信息： - -- TiDB Binlog 的输入：TiDB 集群 -- TiDB Binlog 的输出：MySQL、TiDB、Kafka 或者增量备份文件 -- 适用 TiDB 版本：v2.1 及以上 -- Kubernetes 支持：[TiDB Binlog 运维文档](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/deploy-tidb-binlog/)，[Kubernetes 上的 TiDB Binlog Drainer 配置](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/configure-tidb-binlog-drainer/) - -## 工具演进路线 - -下面简单的介绍一下 TiDB 生态工具集的演进，方便大家了解工具之间的关系。 - -### TiDB 备份与恢复 - -Mydumper、Loader -> BR： - -Mydumper 和 Loader 都是在逻辑层面进行备份和恢复，效率较低；BR 使用 TiDB 的特性进行备份和恢复，适合数据量比较大的场景，备份效率大大提升。 - -### TiDB 全量恢复 - -Loader -> TiDB Lightning： - -Loader 使用 SQL 的方式进行全量数据恢复，效率较低。TiDB Lightning 将数据直接导入 TiKV，大大提升了全量数据恢复的效率，适合将大量数据（TB 级别以上数据）快速导入到一个全新的 TiDB 集群中；且 TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/tidb-lightning/tidb-lightning-tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，支持在线导入数据。 - -### MySQL 数据迁移 - -- Mydumper、Loader、Syncer -> DM： - - 使用 Mydumper、Loader、Syncer 将 MySQL 数据迁移到 TiDB，迁移过程比较繁琐。DM 提供了一体化的数据迁移方案，提高了易用性，而且 DM 还支持分库分表的合并。 - -- Loader -> TiDB Lightning： - - TiDB Lightning 集成了 Loader 的逻辑导入数据功能，参见 [TiDB Lightning TiDB-backend 文档](/tidb-lightning/tidb-lightning-tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)，由 TiDB Lightning 统一提供全量数据恢复功能。 - -## 数据迁移解决方案 - -针对 TiDB 的 2.1，3.0 以及 3.1 版本，下面给出典型业务场景下的数据迁移方案。 - -### TiDB 3.0 全链路数据迁移方案 - -#### MySQL 数据迁移到 TiDB - -如果 MySQL 数据量在 TB 级别以上，推荐迁移步骤如下： - -1. 使用 Mydumper 导出 MySQL 全量数据 -2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 -3. 使用 DM 同步 MySQL 增量数据到 TiDB - -如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的同步）。 - -#### TiDB 集群数据的同步 - -使用 TiDB Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 - -#### TiDB 集群数据的全量备份及恢复 - -推荐步骤： - -1. 使用 Mydumper 进行全量数据的备份 -2. 使用 TiDB Lightning 将全量数据恢复到 TiDB/MySQL - -### TiDB 3.1 全链路数据迁移方案 - -#### MySQL 数据迁移到 TiDB - -如果 MySQL 数据量在 TB 级别以上，推荐迁移步骤如下： - -1. 使用 Mydumper 导出 MySQL 全量数据 -2. 使用 TiDB Lightning 将 MySQL 全量备份数据导入 TiDB 集群 -3. 使用 DM 同步 MySQL 增量数据到 TiDB - -如果 MySQL 数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导入和增量的同步）。 - -#### TiDB 集群数据的同步 - -使用 TiDB-Binlog 将 TiDB 数据同步到下游 TiDB/MySQL。 - -#### TiDB 集群数据的全量备份及恢复 - -- 恢复到 TiDB +如果数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导出导入和增量的同步）。 - - 使用 BR 进行全量数据的备份 - - 使用 BR 进行全量数据的恢复 +如果数据量在 TB 级别，推荐的迁移步骤如下： -- 恢复到 MySQL +1. 使用 [Mydumper](/mydumper-overview.md) 导出 MySQL 全量数据。 +2. 使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将 MySQL 全量导出数据导入 TiDB 集群。 +3. 使用 DM 迁移 MySQL 增量数据到 TiDB。 - - 使用 Mydumper 进行全量数据的备份 - - 使用 TiDB Lightning 进行全量数据的恢复 +> **注意：** +> +> - 原 Syncer 工具已停止维护，不再推荐使用，相关场景请使用 DM 的增量迁移模式进行替代。 From 7c5fef0c743faaef20b3405b20ea5c68e909eab3 Mon Sep 17 00:00:00 2001 From: csuzhangxc Date: Thu, 4 Jun 2020 17:53:39 +0800 Subject: [PATCH 02/15] reference: fix heading --- ecosystem-tool-user-guide.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index efa01f468b5a..36975739fbff 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -8,7 +8,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat 本文档主要从使用场景出发介绍适用于该场景的相关 TiDB 生态工具，并简单介绍部分生态工具之间的替代关系。 -#### 全量导出 +## 全量导出 [Mydumper](/mydumper-overview.md) 用于对 MySQL/TiDB 进行全量逻辑导出。 From d7e15232ffa1f00bc0a86f1db327588f476a4336 Mon Sep 17 00:00:00 2001 From: csuzhangxc Date: Thu, 4 Jun 2020 18:03:28 +0800 Subject: [PATCH 03/15] reference: update wording --- ecosystem-tool-user-guide.md | 20 ++++++++++---------- 1 file changed, 10 insertions(+), 10 deletions(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 36975739fbff..43ba93d5fd6a 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -10,7 +10,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat ## 全量导出 -[Mydumper](/mydumper-overview.md) 用于对 MySQL/TiDB 进行全量逻辑导出。 +[Mydumper](/mydumper-overview.md) 是一个用于从 MySQL/TiDB 进行全量逻辑导出的工具。 基本信息： @@ -42,7 +42,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat ## 备份和恢复 -[BR](/br/backup-and-restore-tool.md) 是 TiDB 进行分布式备份和恢复的命令行工具，可以高效地对大数据量的 TiDB 集群进行数据备份和恢复。 +[BR](/br/backup-and-restore-tool.md) 是一个对 TiDB 进行分布式备份和恢复的工具，可以高效地对大数据量的 TiDB 集群进行数据备份和恢复。 基本信息： @@ -52,7 +52,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat ## 增量导出 -[TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) 是收集 TiDB 的增量 binlog 数据，并提供准实时同步和备份的工具。该工具可用于 TiDB 集群间的增量数据同步，如将其中一个 TiDB 集群作为另一个 TiDB 集群的 slave。 +[TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) 是收集 TiDB 的增量 binlog 数据，并提供准实时同步和备份的工具。该工具可用于 TiDB 集群间的增量数据同步，如将其中一个 TiDB 集群作为另一个 TiDB 集群的从集群。 基本信息： @@ -65,20 +65,20 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat [TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 是将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的迁移。 -以下是 DM 的一些基本信息： +基本信息： -- DM 的输入：MySQL/MariaDB 的全量数据以及 binlog -- DM 的输出：以 SQL 形式写入 TiDB +- DM 的输入：MySQL/MariaDB +- DM 的输出：TiDB 集群 - 适用 TiDB 版本：所有版本 - Kubernetes 支持：开发中 -如果数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL 数据到 TiDB（迁移的过程包括全量导出导入和增量的同步）。 +如果数据量在 TB 级别以下，推荐直接使用 DM 迁移 MySQL/MariaDB 数据到 TiDB（迁移的过程包括全量数据的导出导入和增量数据的同步）。 如果数据量在 TB 级别，推荐的迁移步骤如下： -1. 使用 [Mydumper](/mydumper-overview.md) 导出 MySQL 全量数据。 -2. 使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将 MySQL 全量导出数据导入 TiDB 集群。 -3. 使用 DM 迁移 MySQL 增量数据到 TiDB。 +1. 使用 [Mydumper](/mydumper-overview.md) 导出 MySQL/MariaDB 全量数据。 +2. 使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将全量导出数据导入 TiDB 集群。 +3. 使用 DM 迁移 MySQL/MariaDB 增量数据到 TiDB。 > **注意：** > From 5c356bbe6e59c0796609e4972400079dda08f633 Mon Sep 17 00:00:00 2001 From: csuzhangxc Date: Thu, 4 Jun 2020 19:05:40 +0800 Subject: [PATCH 04/15] reference: add usages --- ecosystem-tool-user-guide.md | 44 +++++++++++++++++++++++++++++++----- 1 file changed, 38 insertions(+), 6 deletions(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 43ba93d5fd6a..6c95b3d10d13 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -6,9 +6,11 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat # TiDB 生态工具使用指南 -本文档主要从使用场景出发介绍适用于该场景的相关 TiDB 生态工具，并简单介绍部分生态工具之间的替代关系。 +本文档从生态工具的功能与适用场景这两个维度出发，介绍 TiDB 相关生态工具的功能及部分常见场景下的工具选择，同时也简单介绍部分工具之间的替代关系。 -## 全量导出 +## 生态工具概览 + +### 全量导出 [Mydumper](/mydumper-overview.md) 是一个用于从 MySQL/TiDB 进行全量逻辑导出的工具。 @@ -19,7 +21,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat - 适用 TiDB 版本：所有版本 - Kubernetes 支持：[备份与恢复](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/backup-and-restore-using-helm-charts/) -## 全量导入 +### 全量导入 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 是一个用于将全量数据导入到 TiDB 集群的工具。 @@ -40,7 +42,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat > > 原 Loader 工具已停止维护，不再推荐使用。相关场景请使用 TiDB Lightning 的 `tidb` 模式进行替代，详细信息请参考 [TiDB Lightning TiDB-backend 文档](/tidb-lightning/tidb-lightning-tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)。 -## 备份和恢复 +### 备份和恢复 [BR](/br/backup-and-restore-tool.md) 是一个对 TiDB 进行分布式备份和恢复的工具，可以高效地对大数据量的 TiDB 集群进行数据备份和恢复。 @@ -50,7 +52,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 -## 增量导出 +### 增量导出 [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) 是收集 TiDB 的增量 binlog 数据，并提供准实时同步和备份的工具。该工具可用于 TiDB 集群间的增量数据同步，如将其中一个 TiDB 集群作为另一个 TiDB 集群的从集群。 @@ -61,7 +63,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat - 适用 TiDB 版本：v2.1 及以上 - Kubernetes 支持：[TiDB Binlog 运维文档](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/deploy-tidb-binlog/)，[Kubernetes 上的 TiDB Binlog Drainer 配置](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/configure-tidb-binlog-drainer/) -## 数据迁入 +### 数据迁入 [TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 是将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的迁移。 @@ -83,3 +85,33 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat > **注意：** > > - 原 Syncer 工具已停止维护，不再推荐使用，相关场景请使用 DM 的增量迁移模式进行替代。 + +## 常见适用场景 + +### 从 MySQL/Aurora 导入全量数据 + +当需要从 MySQL/Aurora 导入全量数据时，可先使用 [Mydumper](/mydumper-overview.md) 将数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 TiDB 集群。 + +如果已有其他工具导出的格式兼容的 CSV 或 SQL dump files，则可直接使用 TiDB Lightning 进行导入。 + +### 从 MySQL/Aurora 迁移数据 + +当既需要从 MySQL/Aurora 导入全量数据，又需要迁移增量数据时，可使用 [TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 完成全量数据和增量数据的迁移。 + +如果全量数据量较大（TB 级别），则可先使用 [Mydumper](/mydumper-overview.md) 与 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 完成全量数据的迁移，再使用 DM 完成增量数据的迁移。 + +### TiDB 集群备份与恢复 + +当需要对 TiDB 集群进行备份或在之后对 TiDB 集群进行恢复时，可使用 [BR](/br/backup-and-restore-tool.md)。 + +另外，BR 也可以对 TiDB 的增量数据进行备份和恢复。 + +### 迁出数据到 MySQL/TiDB + +当需要将 TiDB 集群的数据迁出到 MySQL 或其他 TiDB 集群时，可使用 [Mydumper](/mydumper-overview.md) 从 TiDB 将全量数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 MySQL/TiDB。 + +如果还需要执行增量数据的迁移，则可使用 [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md)。 + +### TiDB 增量数据订阅 + +当需要订阅 TiDB 增量数据的变更时，可使用 [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md)。 From f8817641e3174b0d28cd460f4fd55ae4c14739d7 Mon Sep 17 00:00:00 2001 From: csuzhangxc Date: Thu, 4 Jun 2020 19:09:34 +0800 Subject: [PATCH 05/15] reference: update wording --- ecosystem-tool-user-guide.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 6c95b3d10d13..c2abcab6a815 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -8,7 +8,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat 本文档从生态工具的功能与适用场景这两个维度出发，介绍 TiDB 相关生态工具的功能及部分常见场景下的工具选择，同时也简单介绍部分工具之间的替代关系。 -## 生态工具概览 +## 生态工具功能 ### 全量导出 From bcd27f248ba3452ed038d3eb63f3374e709d3b4e Mon Sep 17 00:00:00 2001 From: csuzhangxc Date: Thu, 4 Jun 2020 21:23:55 +0800 Subject: [PATCH 06/15] reference: address comments --- ecosystem-tool-user-guide.md | 6 +++--- 1 file changed, 3 insertions(+), 3 deletions(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index c2abcab6a815..823451b1cbfd 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -52,7 +52,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 -### 增量导出 +### TiDB Binlog [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) 是收集 TiDB 的增量 binlog 数据，并提供准实时同步和备份的工具。该工具可用于 TiDB 集群间的增量数据同步，如将其中一个 TiDB 集群作为另一个 TiDB 集群的从集群。 @@ -104,7 +104,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat 当需要对 TiDB 集群进行备份或在之后对 TiDB 集群进行恢复时，可使用 [BR](/br/backup-and-restore-tool.md)。 -另外，BR 也可以对 TiDB 的增量数据进行备份和恢复。 +另外，BR 也可以对 TiDB 的数据进行[增加备份](/br/backup-and-restore-tool.md#增量备份)和[增量恢复](/br/backup-and-restore-tool.md#增量恢复)。 ### 迁出数据到 MySQL/TiDB @@ -114,4 +114,4 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat ### TiDB 增量数据订阅 -当需要订阅 TiDB 增量数据的变更时，可使用 [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md)。 +当需要订阅 TiDB 增量数据的变更时，可使用 [TiDB Binlog](/tidb-binlog/binlog-slave-client.md)。 From 50ee2dc9d3e54d725a4d5376548aa9d6e283693b Mon Sep 17 00:00:00 2001 From: csuzhangxc Date: Thu, 4 Jun 2020 21:31:44 +0800 Subject: [PATCH 07/15] reference: address comments --- ecosystem-tool-user-guide.md | 64 +++++++++++++++++++----------------- 1 file changed, 33 insertions(+), 31 deletions(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 823451b1cbfd..4312a9e2c7c5 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -6,7 +6,39 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat # TiDB 生态工具使用指南 -本文档从生态工具的功能与适用场景这两个维度出发，介绍 TiDB 相关生态工具的功能及部分常见场景下的工具选择，同时也简单介绍部分工具之间的替代关系。 +本文档从生态工具的适用场景与功能这两个维度出发，介绍部分常见场景下的生态工具选择与相关工具的功能，同时也简单介绍部分工具之间的替代关系。 + +## 常见适用场景 + +### 从 CSV 导入数据到 TiDB + +当需要将其他工具导出的格式兼容的 CSV 或 SQL dump files 导入到 TiDB 时，可使用 [TiDB Lightning](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md)。 + +### 从 MySQL/Aurora 导入全量数据 + +当需要从 MySQL/Aurora 导入全量数据时，可先使用 [Mydumper](/mydumper-overview.md) 将数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 TiDB 集群。 + +### 从 MySQL/Aurora 迁移数据 + +当既需要从 MySQL/Aurora 导入全量数据，又需要迁移增量数据时，可使用 [TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 完成全量数据和增量数据的迁移。 + +如果全量数据量较大（TB 级别），则可先使用 [Mydumper](/mydumper-overview.md) 与 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 完成全量数据的迁移，再使用 DM 完成增量数据的迁移。 + +### TiDB 集群备份与恢复 + +当需要对 TiDB 集群进行备份或在之后对 TiDB 集群进行恢复时，可使用 [BR](/br/backup-and-restore-tool.md)。 + +另外，BR 也可以对 TiDB 的数据进行[增加备份](/br/backup-and-restore-tool.md#增量备份)和[增量恢复](/br/backup-and-restore-tool.md#增量恢复)。 + +### 迁出数据到 MySQL/TiDB + +当需要将 TiDB 集群的数据迁出到 MySQL 或其他 TiDB 集群时，可使用 [Mydumper](/mydumper-overview.md) 从 TiDB 将全量数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 MySQL/TiDB。 + +如果还需要执行增量数据的迁移，则可使用 [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md)。 + +### TiDB 增量数据订阅 + +当需要订阅 TiDB 增量数据的变更时，可使用 [TiDB Binlog](/tidb-binlog/binlog-slave-client.md)。 ## 生态工具功能 @@ -85,33 +117,3 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat > **注意：** > > - 原 Syncer 工具已停止维护，不再推荐使用，相关场景请使用 DM 的增量迁移模式进行替代。 - -## 常见适用场景 - -### 从 MySQL/Aurora 导入全量数据 - -当需要从 MySQL/Aurora 导入全量数据时，可先使用 [Mydumper](/mydumper-overview.md) 将数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 TiDB 集群。 - -如果已有其他工具导出的格式兼容的 CSV 或 SQL dump files，则可直接使用 TiDB Lightning 进行导入。 - -### 从 MySQL/Aurora 迁移数据 - -当既需要从 MySQL/Aurora 导入全量数据，又需要迁移增量数据时，可使用 [TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 完成全量数据和增量数据的迁移。 - -如果全量数据量较大（TB 级别），则可先使用 [Mydumper](/mydumper-overview.md) 与 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 完成全量数据的迁移，再使用 DM 完成增量数据的迁移。 - -### TiDB 集群备份与恢复 - -当需要对 TiDB 集群进行备份或在之后对 TiDB 集群进行恢复时，可使用 [BR](/br/backup-and-restore-tool.md)。 - -另外，BR 也可以对 TiDB 的数据进行[增加备份](/br/backup-and-restore-tool.md#增量备份)和[增量恢复](/br/backup-and-restore-tool.md#增量恢复)。 - -### 迁出数据到 MySQL/TiDB - -当需要将 TiDB 集群的数据迁出到 MySQL 或其他 TiDB 集群时，可使用 [Mydumper](/mydumper-overview.md) 从 TiDB 将全量数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 MySQL/TiDB。 - -如果还需要执行增量数据的迁移，则可使用 [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md)。 - -### TiDB 增量数据订阅 - -当需要订阅 TiDB 增量数据的变更时，可使用 [TiDB Binlog](/tidb-binlog/binlog-slave-client.md)。 From c4bd101ffa74f47530be3883173829867c8e54bf Mon Sep 17 00:00:00 2001 From: csuzhangxc Date: Thu, 4 Jun 2020 21:39:40 +0800 Subject: [PATCH 08/15] reference: replace mydumper with dumpling --- ecosystem-tool-user-guide.md | 18 +++++++++--------- 1 file changed, 9 insertions(+), 9 deletions(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 4312a9e2c7c5..5b9b85efb172 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -16,13 +16,13 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat ### 从 MySQL/Aurora 导入全量数据 -当需要从 MySQL/Aurora 导入全量数据时，可先使用 [Mydumper](/mydumper-overview.md) 将数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 TiDB 集群。 +当需要从 MySQL/Aurora 导入全量数据时，可先使用 [Dumpling](/export-or-backup-using-dumpling.md) 将数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 TiDB 集群。 ### 从 MySQL/Aurora 迁移数据 当既需要从 MySQL/Aurora 导入全量数据，又需要迁移增量数据时，可使用 [TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 完成全量数据和增量数据的迁移。 -如果全量数据量较大（TB 级别），则可先使用 [Mydumper](/mydumper-overview.md) 与 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 完成全量数据的迁移，再使用 DM 完成增量数据的迁移。 +如果全量数据量较大（TB 级别），则可先使用 [Dumpling](/export-or-backup-using-dumpling.md) 与 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 完成全量数据的迁移，再使用 DM 完成增量数据的迁移。 ### TiDB 集群备份与恢复 @@ -32,7 +32,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat ### 迁出数据到 MySQL/TiDB -当需要将 TiDB 集群的数据迁出到 MySQL 或其他 TiDB 集群时，可使用 [Mydumper](/mydumper-overview.md) 从 TiDB 将全量数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 MySQL/TiDB。 +当需要将 TiDB 集群的数据迁出到 MySQL 或其他 TiDB 集群时，可使用 [Dumpling](/export-or-backup-using-dumpling.md) 从 TiDB 将全量数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 MySQL/TiDB。 如果还需要执行增量数据的迁移，则可使用 [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md)。 @@ -44,12 +44,12 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat ### 全量导出 -[Mydumper](/mydumper-overview.md) 是一个用于从 MySQL/TiDB 进行全量逻辑导出的工具。 +[Dumpling](/export-or-backup-using-dumpling.md) 是一个用于从 MySQL/TiDB 进行全量逻辑导出的工具。 基本信息： -- Mydumper 的输入：MySQL/TiDB 集群 -- Mydumper 的输出：SQL 文件 +- Dumpling 的输入：MySQL/TiDB 集群 +- Dumpling 的输出：SQL/CSV 文件 - 适用 TiDB 版本：所有版本 - Kubernetes 支持：[备份与恢复](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/backup-and-restore-using-helm-charts/) @@ -65,8 +65,8 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat 基本信息： - Lightning 的输入： - - Mydumper 或 Dumpling 输出文件 - - CSV 格式文件 + - Dumpling 输出文件 + - 其他格式兼容的 CSV 文件 - 适用 TiDB 版本：v2.1 及以上 - Kubernetes 支持：[使用 TiDB Lightning 快速恢复 Kubernetes 上的 TiDB 集群数据](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/restore-data-using-tidb-lightning/) @@ -110,7 +110,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat 如果数据量在 TB 级别，推荐的迁移步骤如下： -1. 使用 [Mydumper](/mydumper-overview.md) 导出 MySQL/MariaDB 全量数据。 +1. 使用 [Dumpling](/export-or-backup-using-dumpling.md) 导出 MySQL/MariaDB 全量数据。 2. 使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将全量导出数据导入 TiDB 集群。 3. 使用 DM 迁移 MySQL/MariaDB 增量数据到 TiDB。 From 23ad15851730fcd0471f4f866589e7e1382f7e5a Mon Sep 17 00:00:00 2001 From: Ian Date: Thu, 4 Jun 2020 21:55:48 +0800 Subject: [PATCH 09/15] Update ecosystem-tool-user-guide.md --- ecosystem-tool-user-guide.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 5b9b85efb172..5d1522aaa54e 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -12,7 +12,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat ### 从 CSV 导入数据到 TiDB -当需要将其他工具导出的格式兼容的 CSV 或 SQL dump files 导入到 TiDB 时，可使用 [TiDB Lightning](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md)。 +当需要将其他工具导出的格式兼容的 CSV files 导入到 TiDB 时，可使用 [TiDB Lightning](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md)。 ### 从 MySQL/Aurora 导入全量数据 From 1d419c07d44c00cf7a0d40d66f0de8f9a82b25e2 Mon Sep 17 00:00:00 2001 From: Xuecheng Zhang Date: Thu, 4 Jun 2020 22:42:48 +0800 Subject: [PATCH 10/15] Update ecosystem-tool-user-guide.md Co-authored-by: kennytm --- ecosystem-tool-user-guide.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 5d1522aaa54e..ce5eab537ee3 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -28,7 +28,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat 当需要对 TiDB 集群进行备份或在之后对 TiDB 集群进行恢复时，可使用 [BR](/br/backup-and-restore-tool.md)。 -另外，BR 也可以对 TiDB 的数据进行[增加备份](/br/backup-and-restore-tool.md#增量备份)和[增量恢复](/br/backup-and-restore-tool.md#增量恢复)。 +另外，BR 也可以对 TiDB 的数据进行[增量备份](/br/backup-and-restore-tool.md#增量备份)和[增量恢复](/br/backup-and-restore-tool.md#增量恢复)。 ### 迁出数据到 MySQL/TiDB From 9f57cce5b60a10a967e96a06b84d43ec68c85cbb Mon Sep 17 00:00:00 2001 From: Ian Date: Fri, 5 Jun 2020 15:00:23 +0800 Subject: [PATCH 11/15] Update ecosystem-tool-user-guide.md --- ecosystem-tool-user-guide.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index ce5eab537ee3..2f361d5dd3b2 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -84,7 +84,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat - 适用 TiDB 版本：v3.1 及 v4.0 - Kubernetes 支持：已支持，文档撰写中 -### TiDB Binlog +### TiDB 增量日志同步 [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) 是收集 TiDB 的增量 binlog 数据，并提供准实时同步和备份的工具。该工具可用于 TiDB 集群间的增量数据同步，如将其中一个 TiDB 集群作为另一个 TiDB 集群的从集群。 From fcc333a65283d6963875fe2426f546002a922ac2 Mon Sep 17 00:00:00 2001 From: csuzhangxc Date: Fri, 5 Jun 2020 15:11:36 +0800 Subject: [PATCH 12/15] reference: address comments --- TOC.md | 3 +- ecosystem-tool-user-case.md | 39 ++++++++++++++++++++++++++ ecosystem-tool-user-guide.md | 54 +++++++----------------------------- 3 files changed, 51 insertions(+), 45 deletions(-) create mode 100644 ecosystem-tool-user-case.md diff --git a/TOC.md b/TOC.md index 9df73a4260ba..249ecf2443af 100644 --- a/TOC.md +++ b/TOC.md @@ -139,7 +139,8 @@ + [Load Base Split 使用文档](/configure-load-base-split.md) + [Store Limit 使用文档](/configure-store-limit.md) + TiDB 生态工具 - + [工具使用指南](/ecosystem-tool-user-guide.md) + + [工具概览](/ecosystem-tool-user-guide.md) + + [适用场景](/ecosystem-tool-user-case.md) + [工具下载](/download-ecosystem-tools.md) + Backup & Restore (BR) + [BR 常见问题](/br/backup-and-restore-faq.md) diff --git a/ecosystem-tool-user-case.md b/ecosystem-tool-user-case.md new file mode 100644 index 000000000000..02da680343fc --- /dev/null +++ b/ecosystem-tool-user-case.md @@ -0,0 +1,39 @@ +--- +title: TiDB 生态工具适用场景 +category: reference +summary: 本文档介绍 TiDB 生态工具的常见适用场景与工具选择。 +--- + +# TiDB 生态工具适用场景 + +本文档从生态工具的适用场景出发，介绍部分常见场景下的生态工具选择。 + +## 从 CSV 导入数据到 TiDB + +当需要将其他工具导出的格式兼容的 CSV files 导入到 TiDB 时，可使用 [TiDB Lightning](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md)。 + +## 从 MySQL/Aurora 导入全量数据 + +当需要从 MySQL/Aurora 导入全量数据时，可先使用 [Dumpling](/export-or-backup-using-dumpling.md) 将数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 TiDB 集群。 + +## 从 MySQL/Aurora 迁移数据 + +当既需要从 MySQL/Aurora 导入全量数据，又需要迁移增量数据时，可使用 [TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 完成全量数据和增量数据的迁移。 + +如果全量数据量较大（TB 级别），则可先使用 [Dumpling](/export-or-backup-using-dumpling.md) 与 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 完成全量数据的迁移，再使用 DM 完成增量数据的迁移。 + +## TiDB 集群备份与恢复 + +当需要对 TiDB 集群进行备份或在之后对 TiDB 集群进行恢复时，可使用 [BR](/br/backup-and-restore-tool.md)。 + +另外，BR 也可以对 TiDB 的数据进行[增量备份](/br/backup-and-restore-tool.md#增量备份)和[增量恢复](/br/backup-and-restore-tool.md#增量恢复)。 + +## 迁出数据到 MySQL/TiDB + +当需要将 TiDB 集群的数据迁出到 MySQL 或其他 TiDB 集群时，可使用 [Dumpling](/export-or-backup-using-dumpling.md) 从 TiDB 将全量数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 MySQL/TiDB。 + +如果还需要执行增量数据的迁移，则可使用 [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md)。 + +## TiDB 增量数据订阅 + +当需要订阅 TiDB 增量数据的变更时，可使用 [TiDB Binlog](/tidb-binlog/binlog-slave-client.md)。 diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index ce5eab537ee3..2a88740108ec 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -1,48 +1,14 @@ --- -title: TiDB 生态工具使用指南 +title: TiDB 生态工具概览 category: reference aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrate/from-mysql/', '/docs-cn/dev/how-to/migrate/incrementally-from-mysql/', '/docs-cn/dev/how-to/migrate/overview/', '/docs-cn/dev/reference/tools/use-guide/'] --- -# TiDB 生态工具使用指南 +# TiDB 生态工具概览 -本文档从生态工具的适用场景与功能这两个维度出发，介绍部分常见场景下的生态工具选择与相关工具的功能，同时也简单介绍部分工具之间的替代关系。 +本文档从生态工具的功能出发，介绍部分生态工具的功能以及它们之间的替代关系。 -## 常见适用场景 - -### 从 CSV 导入数据到 TiDB - -当需要将其他工具导出的格式兼容的 CSV files 导入到 TiDB 时，可使用 [TiDB Lightning](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md)。 - -### 从 MySQL/Aurora 导入全量数据 - -当需要从 MySQL/Aurora 导入全量数据时，可先使用 [Dumpling](/export-or-backup-using-dumpling.md) 将数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 TiDB 集群。 - -### 从 MySQL/Aurora 迁移数据 - -当既需要从 MySQL/Aurora 导入全量数据，又需要迁移增量数据时，可使用 [TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 完成全量数据和增量数据的迁移。 - -如果全量数据量较大（TB 级别），则可先使用 [Dumpling](/export-or-backup-using-dumpling.md) 与 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 完成全量数据的迁移，再使用 DM 完成增量数据的迁移。 - -### TiDB 集群备份与恢复 - -当需要对 TiDB 集群进行备份或在之后对 TiDB 集群进行恢复时，可使用 [BR](/br/backup-and-restore-tool.md)。 - -另外，BR 也可以对 TiDB 的数据进行[增量备份](/br/backup-and-restore-tool.md#增量备份)和[增量恢复](/br/backup-and-restore-tool.md#增量恢复)。 - -### 迁出数据到 MySQL/TiDB - -当需要将 TiDB 集群的数据迁出到 MySQL 或其他 TiDB 集群时，可使用 [Dumpling](/export-or-backup-using-dumpling.md) 从 TiDB 将全量数据导出为 SQL dump files，然后再使用 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 将数据导入到 MySQL/TiDB。 - -如果还需要执行增量数据的迁移，则可使用 [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md)。 - -### TiDB 增量数据订阅 - -当需要订阅 TiDB 增量数据的变更时，可使用 [TiDB Binlog](/tidb-binlog/binlog-slave-client.md)。 - -## 生态工具功能 - -### 全量导出 +## 全量导出 [Dumpling](/export-or-backup-using-dumpling.md) 是一个用于从 MySQL/TiDB 进行全量逻辑导出的工具。 @@ -51,9 +17,9 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat - Dumpling 的输入：MySQL/TiDB 集群 - Dumpling 的输出：SQL/CSV 文件 - 适用 TiDB 版本：所有版本 -- Kubernetes 支持：[备份与恢复](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/backup-and-restore-using-helm-charts/) +- Kubernetes 支持：尚未支持 -### 全量导入 +## 全量导入 [TiDB Lightning](/tidb-lightning/tidb-lightning-overview.md) 是一个用于将全量数据导入到 TiDB 集群的工具。 @@ -74,7 +40,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat > > 原 Loader 工具已停止维护，不再推荐使用。相关场景请使用 TiDB Lightning 的 `tidb` 模式进行替代，详细信息请参考 [TiDB Lightning TiDB-backend 文档](/tidb-lightning/tidb-lightning-tidb-backend.md#从-loader-迁移到-tidb-lightning-tidb-backend)。 -### 备份和恢复 +## 备份和恢复 [BR](/br/backup-and-restore-tool.md) 是一个对 TiDB 进行分布式备份和恢复的工具，可以高效地对大数据量的 TiDB 集群进行数据备份和恢复。 @@ -82,9 +48,9 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat - [备份输出和恢复输入的文件类型](/br/backup-and-restore-tool.md#备份文件类型)：SST + `backupmeta` 文件 - 适用 TiDB 版本：v3.1 及 v4.0 -- Kubernetes 支持：已支持，文档撰写中 +- Kubernetes 支持：[使用 BR 工具备份 TiDB 集群数据到兼容 S3 的存储](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/backup-to-aws-s3-using-br/), [使用 BR 工具恢复 S3 兼容存储上的备份数据](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/restore-from-aws-s3-using-br/) -### TiDB Binlog +## TiDB Binlog [TiDB Binlog](/tidb-binlog/tidb-binlog-overview.md) 是收集 TiDB 的增量 binlog 数据，并提供准实时同步和备份的工具。该工具可用于 TiDB 集群间的增量数据同步，如将其中一个 TiDB 集群作为另一个 TiDB 集群的从集群。 @@ -95,7 +61,7 @@ aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrat - 适用 TiDB 版本：v2.1 及以上 - Kubernetes 支持：[TiDB Binlog 运维文档](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/deploy-tidb-binlog/)，[Kubernetes 上的 TiDB Binlog Drainer 配置](https://pingcap.com/docs-cn/tidb-in-kubernetes/stable/configure-tidb-binlog-drainer/) -### 数据迁入 +## 数据迁入 [TiDB Data Migration (DM)](https://pingcap.com/docs-cn/tidb-data-migration/stable/overview/) 是将 MySQL/MariaDB 数据迁移到 TiDB 的工具，支持全量数据和增量数据的迁移。 From db4dffd695c712cd1a8e0743b2ef6633ca19b206 Mon Sep 17 00:00:00 2001 From: Xuecheng Zhang Date: Fri, 5 Jun 2020 15:30:59 +0800 Subject: [PATCH 13/15] Update TOC.md Co-authored-by: Keke Yi <40977455+yikeke@users.noreply.github.com> --- TOC.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/TOC.md b/TOC.md index 249ecf2443af..4feba85800a3 100644 --- a/TOC.md +++ b/TOC.md @@ -139,7 +139,7 @@ + [Load Base Split 使用文档](/configure-load-base-split.md) + [Store Limit 使用文档](/configure-store-limit.md) + TiDB 生态工具 - + [工具概览](/ecosystem-tool-user-guide.md) + + [功能概览](/ecosystem-tool-user-guide.md) + [适用场景](/ecosystem-tool-user-case.md) + [工具下载](/download-ecosystem-tools.md) + Backup & Restore (BR) From a08cefbbb4d468df41268faf42a55a0543ea206d Mon Sep 17 00:00:00 2001 From: Xuecheng Zhang Date: Fri, 5 Jun 2020 15:31:09 +0800 Subject: [PATCH 14/15] Update ecosystem-tool-user-guide.md Co-authored-by: Keke Yi <40977455+yikeke@users.noreply.github.com> --- ecosystem-tool-user-guide.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 5381cb8329d7..59715182987c 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -1,5 +1,5 @@ --- -title: TiDB 生态工具概览 +title: TiDB 生态工具功能概览 category: reference aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrate/from-mysql/', '/docs-cn/dev/how-to/migrate/incrementally-from-mysql/', '/docs-cn/dev/how-to/migrate/overview/', '/docs-cn/dev/reference/tools/use-guide/'] --- From 286dbf95682a9982330710b507dd1e9025479d17 Mon Sep 17 00:00:00 2001 From: Xuecheng Zhang Date: Fri, 5 Jun 2020 15:31:18 +0800 Subject: [PATCH 15/15] Update ecosystem-tool-user-guide.md Co-authored-by: Keke Yi <40977455+yikeke@users.noreply.github.com> --- ecosystem-tool-user-guide.md | 2 +- 1 file changed, 1 insertion(+), 1 deletion(-) diff --git a/ecosystem-tool-user-guide.md b/ecosystem-tool-user-guide.md index 59715182987c..38422331676f 100644 --- a/ecosystem-tool-user-guide.md +++ b/ecosystem-tool-user-guide.md @@ -4,7 +4,7 @@ category: reference aliases: ['/docs-cn/dev/reference/tools/user-guide/','/docs-cn/dev/how-to/migrate/from-mysql/', '/docs-cn/dev/how-to/migrate/incrementally-from-mysql/', '/docs-cn/dev/how-to/migrate/overview/', '/docs-cn/dev/reference/tools/use-guide/'] --- -# TiDB 生态工具概览 +# TiDB 生态工具功能概览 本文档从生态工具的功能出发，介绍部分生态工具的功能以及它们之间的替代关系。