From 0c3bc9da4f22f0f0cf93def293c568251c946602 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 27 May 2020 12:07:25 +0800 Subject: [PATCH 1/5] add migration by sql --- TOC.md | 4 +++- data-migration-route.md | 36 +++++++++++++++++++++++++++++++----- 2 files changed, 34 insertions(+), 6 deletions(-) diff --git a/TOC.md b/TOC.md index a0341519b5f3..f3cd189209ed 100644 --- a/TOC.md +++ b/TOC.md @@ -62,7 +62,9 @@ + 从 MySQL 迁移至 TiDB + [从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) @栾成 + [使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) - + [从 CSV 文件迁移至 TiDB](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) @王相 + + [从 CSV 文件迁移至 TiDB] + + [使用 TiDB Lightning 导入 CSV 文件](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) + + [使用 LOAD DATA 语句导入 CSV 文件](/sql-statements/sql-statement-load-data.md) + 运维操作 + 升级 TiDB 版本 + [使用 TiUP](/upgrade-tidb-using-tiup.md) @戚铮 diff --git a/data-migration-route.md b/data-migration-route.md index 3cc4777e4f67..4b0b4067a2b6 100644 --- a/data-migration-route.md +++ b/data-migration-route.md @@ -6,7 +6,7 @@ category: reference # 支持的数据迁移路径 -本文档介绍支持从哪些路径将数据迁移到 TiDB，包括从 MySQL 迁移到 TiDB 和从 CSV 文件迁移到 TiDB。 +本文档介绍支持从哪些路径将数据迁移到 TiDB，包括从 MySQL 迁移到 TiDB 和从 CSV/SQL 文件迁移到 TiDB。 ## 从 MySQL 迁移到 TiDB @@ -35,12 +35,38 @@ category: reference DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量数据到 TiDB，详细信息可参考[使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) -## 从 CSV 文件迁移到 TiDB +## 从文件迁移到 TiDB -### 适合场景 +支持将 CSV 和 SQL 两种格式文件迁移到 TiDB。 + +### 从 CSV 文件迁移到 TiDB + +#### 适合场景 适合将不兼容 MySQL 协议的异构数据库的数据迁移到 TiDB。 -### 迁移方法 +#### 迁移方法 + +将全量数据导出到 CSV 格式的文件中，将 CSV 文件导入到 TiDB 有以下两种方法： + +- 使用 TiDB Lightning 将 CSV 格式的数据导入到 TiDB + + TiDB Lightning 导入速度快，适合 CSV 文件数据量较大的场景。详细信息可参考[从 CSV 文件迁移至 TiDB](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md)。 + +- 使用 `LOAD DATA` 语句将 CSV 格式的数据导入到 TiDB + + 在 TiDB 中执行 `LOAD DATA` SQL 语句导入 CSV 格式的数据，这种导入方法使用比较方便，但是如果在导入过程中出现错误或者中断，需要人工介入，检查数据的一致性和完整性，因此不建议在生产环境中使用。详细信息可参考 [LOAD DATA](/sql-statements/sql-statement-load-data.md)。 + +### 从 SQL 文件迁移到 TiDB + +#### 适合场景 + +适合迁移少量的数据。 + +#### 迁移方法 + +使用 MySQL 客户端进行迁移，下面是一个示例命令： -将全量数据导出到 CSV 格式的文件中，再使用 TiDB Lightning 将 CSV 格式的数据迁移到 TiDB，详细信息可参考[从 CSV 文件迁移至 TiDB](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) +```mysql +mysql -h 127.0.0.1 -u root -P4000 < test.sql +``` \ No newline at end of file From a4dcd5c5bd1ef84ab5581f7bbc8bb186e00eed0d Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 27 May 2020 12:22:08 +0800 Subject: [PATCH 2/5] update toc --- TOC.md | 3 ++- data-migration-route.md | 10 ++++------ 2 files changed, 6 insertions(+), 7 deletions(-) diff --git a/TOC.md b/TOC.md index f3cd189209ed..5fb1302d87d4 100644 --- a/TOC.md +++ b/TOC.md @@ -60,11 +60,12 @@ + 数据迁移 + [支持的数据迁移路径](/data-migration-route.md) + 从 MySQL 迁移至 TiDB - + [从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) @栾成 + + [从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) + [使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) + [从 CSV 文件迁移至 TiDB] + [使用 TiDB Lightning 导入 CSV 文件](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) + [使用 LOAD DATA 语句导入 CSV 文件](/sql-statements/sql-statement-load-data.md) + + [从 SQL 文件迁移到 TiDB](/migrate-from-mysql-mydumper-files.md) + 运维操作 + 升级 TiDB 版本 + [使用 TiUP](/upgrade-tidb-using-tiup.md) @戚铮 diff --git a/data-migration-route.md b/data-migration-route.md index 4b0b4067a2b6..6c95f5e15af5 100644 --- a/data-migration-route.md +++ b/data-migration-route.md @@ -59,14 +59,12 @@ DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量数据 ### 从 SQL 文件迁移到 TiDB +该部分内容与[使用 Mydumper 和 TiDB Lightning 迁移全量数据](#使用-Mydumper-和-TiDB-Lightning-迁移全量数据)相同。 + #### 适合场景 -适合迁移少量的数据。 +适合 MySQL 全量数据的大小大于 1TB 的场景。该方案只能迁移全量数据，如果需要继续同步增量数据，需要再使用 TiDB Data Migration (DM) 创建增量同步任务。 #### 迁移方法 -使用 MySQL 客户端进行迁移，下面是一个示例命令： - -```mysql -mysql -h 127.0.0.1 -u root -P4000 < test.sql -``` \ No newline at end of file +使用 Mydumper 导出 MySQL 的全量数据，再使用 TiDB Lightning 将全量数据导入到 TiDB，详细信息可参考[从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) \ No newline at end of file From 273bcb9ccc429e30963aac3b5f89e511fd26eb69 Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 27 May 2020 13:16:47 +0800 Subject: [PATCH 3/5] Update data-migration-route.md Co-authored-by: Keke Yi <40977455+yikeke@users.noreply.github.com> --- data-migration-route.md | 4 ++-- 1 file changed, 2 insertions(+), 2 deletions(-) diff --git a/data-migration-route.md b/data-migration-route.md index 6c95f5e15af5..5fc1956f18e9 100644 --- a/data-migration-route.md +++ b/data-migration-route.md @@ -59,7 +59,7 @@ DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量数据 ### 从 SQL 文件迁移到 TiDB -该部分内容与[使用 Mydumper 和 TiDB Lightning 迁移全量数据](#使用-Mydumper-和-TiDB-Lightning-迁移全量数据)相同。 +该部分内容与[使用 Mydumper 和 TiDB Lightning 迁移全量数据](#使用-mydumper-和-tidb-lightning-迁移全量数据)相同。 #### 适合场景 @@ -67,4 +67,4 @@ DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量数据 #### 迁移方法 -使用 Mydumper 导出 MySQL 的全量数据，再使用 TiDB Lightning 将全量数据导入到 TiDB，详细信息可参考[从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) \ No newline at end of file +使用 Mydumper 导出 MySQL 的全量数据，再使用 TiDB Lightning 将全量数据导入到 TiDB，详细信息可参考[从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) From 43aa76c7b54be765f539fb94245aa20891d28c2b Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 27 May 2020 13:17:23 +0800 Subject: [PATCH 4/5] Apply suggestions from code review Co-authored-by: Lilian Lee Co-authored-by: Keke Yi <40977455+yikeke@users.noreply.github.com> --- TOC.md | 2 +- data-migration-route.md | 2 +- 2 files changed, 2 insertions(+), 2 deletions(-) diff --git a/TOC.md b/TOC.md index 5fb1302d87d4..607fc83e82a5 100644 --- a/TOC.md +++ b/TOC.md @@ -62,7 +62,7 @@ + 从 MySQL 迁移至 TiDB + [从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md) + [使用 DM 工具从 Amazon Aurora MySQL 迁移](/migrate-from-aurora-mysql-database.md) - + [从 CSV 文件迁移至 TiDB] + + 从 CSV 文件迁移至 TiDB + [使用 TiDB Lightning 导入 CSV 文件](/tidb-lightning/migrate-from-csv-using-tidb-lightning.md) + [使用 LOAD DATA 语句导入 CSV 文件](/sql-statements/sql-statement-load-data.md) + [从 SQL 文件迁移到 TiDB](/migrate-from-mysql-mydumper-files.md) diff --git a/data-migration-route.md b/data-migration-route.md index 5fc1956f18e9..e8e6d93da131 100644 --- a/data-migration-route.md +++ b/data-migration-route.md @@ -37,7 +37,7 @@ DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量数据 ## 从文件迁移到 TiDB -支持将 CSV 和 SQL 两种格式文件迁移到 TiDB。 +支持通过 CSV 和 SQL 两种格式文件将数据迁移到 TiDB。 ### 从 CSV 文件迁移到 TiDB From e4885b38e5e2da3d6b66ad71afe04e42c5fc533f Mon Sep 17 00:00:00 2001 From: WangXiangUSTC Date: Wed, 27 May 2020 13:19:36 +0800 Subject: [PATCH 5/5] remove duplicate content --- data-migration-route.md | 8 -------- 1 file changed, 8 deletions(-) diff --git a/data-migration-route.md b/data-migration-route.md index e8e6d93da131..2f14de4b6371 100644 --- a/data-migration-route.md +++ b/data-migration-route.md @@ -60,11 +60,3 @@ DM 支持将 MySQL 全量数据迁移到 TiDB，并同步 MySQL 的增量数据 ### 从 SQL 文件迁移到 TiDB 该部分内容与[使用 Mydumper 和 TiDB Lightning 迁移全量数据](#使用-mydumper-和-tidb-lightning-迁移全量数据)相同。 - -#### 适合场景 - -适合 MySQL 全量数据的大小大于 1TB 的场景。该方案只能迁移全量数据，如果需要继续同步增量数据，需要再使用 TiDB Data Migration (DM) 创建增量同步任务。 - -#### 迁移方法 - -使用 Mydumper 导出 MySQL 的全量数据，再使用 TiDB Lightning 将全量数据导入到 TiDB，详细信息可参考[从 Mydumper 文件迁移](/migrate-from-mysql-mydumper-files.md)