Skip to content
Permalink
Browse files

FIX CI ISSUES

  • Loading branch information...
yikeke committed Jul 11, 2019
1 parent 7499594 commit 97f24669a30d02135bbba2463ea0a4c90ba86c7a
@@ -36,7 +36,7 @@ category: reference
- 32+ 逻辑核 CPU
- 40 GB+ 内存
- 1 TB+ SSD 硬盘,IOPS 越高越好(要求 ≥8000)
* 硬盘必须大于最大的 N 个表的大小总和,其中 N = max(index-concurrency, table-concurrency)。
* 硬盘必须大于最大的 N 个表的大小总和,其中 N = max(index-concurrency, table-concurrency)。
- 使用万兆网卡,带宽需 300 MB/s 以上
- 运行过程中 CPU、I/O 和网络带宽都可能打满,建议单独部署。

@@ -157,9 +157,9 @@ TiDB-Lightning 可随 TiDB 集群一起用 [Ansible 部署](/how-to/deploy/orche

通过以下链接获取 TiDB-Lightning 安装包(需选择与集群相同的版本):

- **v2.1.9**: https://download.pingcap.org/tidb-v2.1.9-linux-amd64.tar.gz
- **v2.0.9**: https://download.pingcap.org/tidb-lightning-v2.0.9-linux-amd64.tar.gz
- 最新 unstable 版本:https://download.pingcap.org/tidb-lightning-test-xx-latest-linux-amd64.tar.gz
- **v2.1.9**`https://download.pingcap.org/tidb-v2.1.9-linux-amd64.tar.gz`
- **v2.0.9**`https://download.pingcap.org/tidb-lightning-v2.0.9-linux-amd64.tar.gz`
- 最新 unstable 版本:`https://download.pingcap.org/tidb-lightning-test-xx-latest-linux-amd64.tar.gz`

#### 第 3 步:启动 `tikv-importer`

@@ -350,7 +350,7 @@ TiDB-Lightning 可随 TiDB 集群一起用 [Ansible 部署](/how-to/deploy/orche
null = '\N'
# 是否解析字段内反斜线转义符。
backslash-escape = true
# 如果有行以分隔符结尾,删除尾部分隔符。
# 如果有行以分隔符结尾,删除尾部分隔符。
trim-last-separator = false
[tidb]
@@ -153,7 +153,7 @@ scrape_configs:
- **state**`pending` / `written` / `closed` / `imported` / `altered_auto_inc` / `checksum` / `analyzed` / `completed`
- **result**`success` / `failure`

**`lightning_engines`** (计数器)
- **`lightning_engines`** (计数器)

计算处理后引擎文件的数量以及其状态。标签:

@@ -7,7 +7,7 @@ category: Releases

2018 年 1 月 19 日,TiDB 发布 1.1 Alpha 版。该版本对 MySQL 兼容性、SQL 优化器、系统稳定性、性能做了大量的工作。

## TiDB
## TiDB

- SQL parser
- 兼容更多语法
@@ -28,15 +28,15 @@ category: Releases
- Server
- 支持 PROXY protocol

## PD
## PD

- 增加更多的 API
- 支持 TLS
- 给 Simulator 增加更多的 case
- 调度适应不同的 Region size
- Fix 了一些调度的 bug

## TiKV
## TiKV

- 支持 Raft learner
- 优化 Raft Snapshot,减少 I/O 开销
@@ -18,15 +18,15 @@ TiDB Ansible 版本:2.1.10
- 修复 `Generated Column``Replace` 或者 `Insert on duplicate update` 语句中的错误行为 [#10385](https://github.com/pingcap/tidb/pull/10385)
- 修复 `BETWEEN` 函数在 `DATE`/`DATETIME` 类型比较的一个 bug [#10407](https://github.com/pingcap/tidb/pull/10407)
- 修复使用 `SLOW_QUERY` 表查询慢日志时,单行慢日志长度过长导致的报错 [#10412](https://github.com/pingcap/tidb/pull/10412)
- 修复某些情况下 `DATETIME ``INTERVAL` 相加的结果跟 MySQL 不一致的问题 [#10416](https://github.com/pingcap/tidb/pull/10416),[#10418](https://github.com/pingcap/tidb/pull/10418)
- 修复某些情况下 `DATETIME``INTERVAL` 相加的结果跟 MySQL 不一致的问题 [#10416](https://github.com/pingcap/tidb/pull/10416),[#10418](https://github.com/pingcap/tidb/pull/10418)
- 增加闰年二月的非法时间的检查 [#10417](https://github.com/pingcap/tidb/pull/10417)
- 内部的初始化操作限制只在 DDL Owner 中执行,避免了初始化集群的时候出现的大量冲突报错 [#10426](https://github.com/pingcap/tidb/pull/10426)
- 修复 `DESC` 在输出时间戳列的默认值为 `default current_timestamp on update current_timestamp` 时跟 MySQL 不兼容的问题 [#10337](https://github.com/pingcap/tidb/issues/10337)
- 修复 `DESC` 在输出时间戳列的默认值为 `default current_timestamp on update current_timestamp` 时跟 MySQL 不兼容的问题 [#10337](https://github.com/pingcap/tidb/issues/10337)
- 修复 `Update` 语句中权限检查出错的问题 [#10439](https://github.com/pingcap/tidb/pull/10439)
- 修复 `CHAR` 类型的列在某些情况下 `RANGE` 计算错误导致的错误结果的问题 [#10455](https://github.com/pingcap/tidb/pull/10455)
- 避免 `ALTER SHARD_ROW_ID_BITS` 缩小 shard bits 位数在极低概率下,可能导致的数据错误 [#9868](https://github.com/pingcap/tidb/pull/9868)
- 修复 `ORDER BY RAND()` 不返回随机数字的问题 [#10064](https://github.com/pingcap/tidb/pull/10064)
- 禁止 `ALTER` 语句修改 DECIMAL 的精度 [#10458](https://github.com/pingcap/tidb/pull/10458)
- 禁止 `ALTER` 语句修改 DECIMAL 的精度 [#10458](https://github.com/pingcap/tidb/pull/10458)
- 修复 `TIME_FORMAT` 函数与 MySQL 的兼容问题 [#10474](https://github.com/pingcap/tidb/pull/10474)
- 检查 `PERIOD_ADD` 中参数的合法性 [#10430](https://github.com/pingcap/tidb/pull/10430)
- 修复非法的 `YEAR` 字符串在 TiDB 中的表现跟 MySQL 不兼容的问题 [#10493](https://github.com/pingcap/tidb/pull/10493)
@@ -45,7 +45,7 @@ TiDB Ansible 版本:2.1.10
- 拒绝在最近发生过成员变更的 Region 上执行 transfer leader,防止迁移失败 [#4684](https://github.com/tikv/tikv/pull/4684)
- Coprocessor metrics 上添加 priority 标签 [#4643](https://github.com/tikv/tikv/pull/4643)
- 修复 transfer leader 中可能发生的脏读问题 [#4724](https://github.com/tikv/tikv/pull/4724)
- 修复某些情况下 `CommitMerge` 导致 TiKV 不能重启的问题 [#4615](https://github.com/tikv/tikv/pull/4615)
- 修复某些情况下 `CommitMerge` 导致 TiKV 不能重启的问题 [#4615](https://github.com/tikv/tikv/pull/4615)
- 修复 unknown 的日志 [#4730](https://github.com/tikv/tikv/pull/4730)

## Tools
@@ -25,8 +25,8 @@ TiDB Ansible 版本:2.1.12
- 修复某些情况下 `DECIMAL` 转换成浮点数的溢出问题 [#10730](https://github.com/pingcap/tidb/pull/10730)
- 修复 TiDB 跟 TiKV 在 gRPC 最大封包设置不一致导致的某些超大封包报 "grpc: received message larger than max" 错误的问题 [#10710](https://github.com/pingcap/tidb/pull/10710)
- 修复某些情况下 `ORDER BY` 没有过滤 NULL 值导致的 panic 问题 [#10488](https://github.com/pingcap/tidb/pull/10488)
- 修复 `UUID` 函数的返回值,在多机器情况可能出现重复的问题 [#10711](https://github.com/pingcap/tidb/pull/10711)
- `CAST(-num as datetime)` 的返回值由错误变更为 NULL 值 [#10703](https://github.com/pingcap/tidb/pull/10703)
- 修复 `UUID` 函数的返回值,在多机器情况可能出现重复的问题 [#10711](https://github.com/pingcap/tidb/pull/10711)
- `CAST(-num as datetime)` 的返回值由错误变更为 NULL 值 [#10703](https://github.com/pingcap/tidb/pull/10703)
- 修复某些情况下 unsigned 列直方图遇到 signed 越界的问题 [#10695](https://github.com/pingcap/tidb/pull/10695)
- 修复统计信息的 feedback 遇到 bigint unsigned 主键时处理不正确导致读数据时报错的问题 [#10307](https://github.com/pingcap/tidb/pull/10307)
- 修复分区表某些情况下 `Show Create Table` 结果显示不正确的问题 [#10690](https://github.com/pingcap/tidb/pull/10690)
@@ -48,7 +48,7 @@ category: Releases

## Tools

+ Lightning
+ Lightning
- 集群中有 Tombstone store 时 Lightning 不会再报错退出 [#4223](https://github.com/tikv/tikv/pull/4223)
+ TiDB-Binlog
- 修正 DDL Binlog 同步方案,确保 DDL 同步的正确性 [#9304](https://github.com/pingcap/tidb/issues/9304)
@@ -13,18 +13,18 @@ category: Releases
- 当两个表在 `TIDB_INLJ` 的 Hint 中时,基于代价来选择外表 [#9615](https://github.com/pingcap/tidb/pull/9615)
- 修复在某些情况下,没有正确选择 IndexScan 的问题 [#9587](https://github.com/pingcap/tidb/pull/9587)
- 修复聚合函数在子查询里面的检查跟 MySQL 不兼容的行为 [#9551](https://github.com/pingcap/tidb/pull/9551)
- 使 `show stats_histograms` 语句只输出合法的列,避免 Panic [#9502](https://github.com/pingcap/tidb/pull/9502)
- 使 `show stats_histograms` 语句只输出合法的列,避免 Panic [#9502](https://github.com/pingcap/tidb/pull/9502)
+ Server
- 支持变量 `log_bin`,用于开启/关闭 Binlog [#9634](https://github.com/pingcap/tidb/pull/9634)
- 在事务中添加一个防御性检查,避免错误的事务提交 [#9559](https://github.com/pingcap/tidb/pull/9559)
- 修复设置变量导致的 Panic 的问题 [#9539](https://github.com/pingcap/tidb/pull/9539)
- 修复设置变量导致的 Panic 的问题 [#9539](https://github.com/pingcap/tidb/pull/9539)
+ DDL
- 修复 Create Table Like 语句在某些情况导致 Panic 的问题 [#9652](https://github.com/pingcap/tidb/pull/9652)
- 打开 etcd client 的 AutoSync 特性,防止某些情况下 TiDB 无法连接上 etcd 的问题 [#9600](https://github.com/pingcap/tidb/pull/9600)

## TiKV

- 修复在某些情况下解析 protobuf 失败导致 `StoreNotMatch` 错误的问题 [#4303](https://github.com/tikv/tikv/pull/4303)
- 修复在某些情况下解析 protobuf 失败导致 `StoreNotMatch` 错误的问题 [#4303](https://github.com/tikv/tikv/pull/4303)

## Tools

@@ -33,6 +33,6 @@ category: Releases
- 保存原先在内存中的中间状态的 SST 到磁盘,减少内存使用 [#4369](https://github.com/tikv/tikv/pull/4369)
- 限制 RocksDB 的内存使用 [#4369](https://github.com/tikv/tikv/pull/4369)
- 修复 Region 还没有调度完成时进行 scatter 的问题 [#4369](https://github.com/tikv/tikv/pull/4369)
- 将大表的数据和索引分离导入,在分批导入时能有效降低耗时 [#132](https://github.com/pingcap/tidb-lightning/pull/132)
- 支援 CSV [#111](https://github.com/pingcap/tidb-lightning/pull/111)
- 修复库名中含非英数字符时导入失败的错误 [#9547](https://github.com/pingcap/tidb/pull/9547)
- 将大表的数据和索引分离导入,在分批导入时能有效降低耗时 [#132](https://github.com/pingcap/tidb-lightning/pull/132)
- 支援 CSV [#111](https://github.com/pingcap/tidb-lightning/pull/111)
- 修复库名中含非英数字符时导入失败的错误 [#9547](https://github.com/pingcap/tidb/pull/9547)
@@ -25,7 +25,7 @@ TiDB-Ansible 版本:2.1.7
- 支持插件机制 [#9880](https://github.com/pingcap/tidb/pull/9880),[#9888](https://github.com/pingcap/tidb/pull/9888)
- 支持使用系统变量 `log_bin` 查看 binlog 开启状况 [#9634](https://github.com/pingcap/tidb/pull/9634)
- 支持使用 SQL 语句查看 Pump/Drainer 状态 [#9896](https://github.com/pingcap/tidb/pull/9896)
- 修复升级时对 utf8 检查 mb4 字符的兼容性 [#9887](https://github.com/pingcap/tidb/pull/9887)
- 修复升级时对 utf8 检查 mb4 字符的兼容性 [#9887](https://github.com/pingcap/tidb/pull/9887)
- 修复某些情况下对 JSON 数据的聚合函数在计算过程中 Panic 的问题 [#9927](https://github.com/pingcap/tidb/pull/9927)

## PD
@@ -15,7 +15,7 @@ TiDB-Ansible 版本:2.1.8

- 修复 `GROUP_CONCAT` 函数在参数存在 NULL 值情况下与 MySQL 处理逻辑不兼容的问题 [#9930](https://github.com/pingcap/tidb/pull/9930)
- 修复在 Distinct 模式下 decimal 类型值之间相等比较的问题 [#9931](https://github.com/pingcap/tidb/pull/9931)
- 修复 `SHOW FULL COLUMNS` 语句在 date,datetime,timestamp 类型的 Collation 的兼容性问题
- 修复 `SHOW FULL COLUMNS` 语句在 date,datetime,timestamp 类型的 Collation 的兼容性问题
- [#9938](https://github.com/pingcap/tidb/pull/9938)
- [#10114](https://github.com/pingcap/tidb/pull/10114)
- 修复过滤条件存在关联列的时候统计信息估算行数不准确的问题 [#9937](https://github.com/pingcap/tidb/pull/9937)
@@ -37,16 +37,16 @@ TiDB-Ansible 版本:2.1.8

## PD

- 修复 Scatter Region 产生无效 Operator Step 的问题 [#1482](https://github.com/pingcap/pd/pull/1482)
- 修复 Scatter Region 产生无效 Operator Step 的问题 [#1482](https://github.com/pingcap/pd/pull/1482)
- 修复 store 读热点的 key 统计不正确问题 [#1487](https://github.com/pingcap/pd/pull/1487)
- 修复 Region Merge Operator 超时时间过短的问题 [#1495](https://github.com/pingcap/pd/pull/1495)
- 添加 PD server 端处理 TSO 请求的耗时 metrics [#1502](https://github.com/pingcap/pd/pull/1502)
- 修复 Region Merge Operator 超时时间过短的问题 [#1495](https://github.com/pingcap/pd/pull/1495)
- 添加 PD server 端处理 TSO 请求的耗时 metrics [#1502](https://github.com/pingcap/pd/pull/1502)

## TiKV

- 修复读流量统计错误的问题 [#4441](https://github.com/tikv/tikv/pull/4441)
- 修复 Region 数过多的情况下 raftstore 的性能问题 [#4484](https://github.com/tikv/tikv/pull/4484)
- 调整当 level 0 SST 数量超过 `level_zero_slowdown_writes_trigger/2` 时不再继续 ingest file [#4464](https://github.com/tikv/tikv/pull/4464)
- 调整当 level 0 SST 数量超过 `level_zero_slowdown_writes_trigger/2` 时不再继续 ingest file [#4464](https://github.com/tikv/tikv/pull/4464)

## Tools

@@ -38,7 +38,8 @@ TiDB-Ansible 版本:2.1.9
- 修复慢语句中带有 `#` 字符的问题 [#10275](https://github.com/pingcap/tidb/pull/10275)
- 增加一些信息的列到慢查询的内存表 [#10317](https://github.com/pingcap/tidb/pull/10317)
- 将事务提交时间算入慢语句执行时间 [#10310](https://github.com/pingcap/tidb/pull/10310)
- 修复某些时间格式无法被 pt-query-digest 解析的问题 [#10323](https://github.com/pingcap/tidb/pull/10323)
- 修复某些时间格式无法被 pt-query-digest 解析的问题 [#10323](https://github.com/pingcap/tidb/pull/10323)

## PD

- 支持 GetOperator 服务 [#1514](https://github.com/pingcap/pd/pull/1514)
@@ -81,8 +81,8 @@ category: Releases
- 支持更多 MySQL 语法
- `BIT` 聚合函数支持 `ALL` 参数
- 支持 `SHOW PRIVILEGES` 语句
- 支持 `LOAD DATA` 语句的 `CHARACTER SET` 语法
- 支持 `CREATE USER` 语句的 `IDENTIFIED WITH` 语法
- 支持 `LOAD DATA` 语句的 `CHARACTER SET` 语法
- 支持 `CREATE USER` 语句的 `IDENTIFIED WITH` 语法
- 支持 `LOAD DATA IGNORE LINES` 语句
- `Show ProcessList` 语句返回更准确信息

@@ -125,7 +125,7 @@ category: Releases

+ 监控

- 增加 `Filter `相关的监控
- 增加 `Filter` 相关的监控
- 新增 etcd Raft 状态机相关监控

+ 性能优化
@@ -179,8 +179,8 @@ category: Releases

## 升级兼容性说明

- 由于新版本存储引擎更新,不支持在升级后回退至 2.0.x 或更旧版本
- 从 2.0.6 之前的版本升级到 2.1 之前,最好确认集群中是否存在正在运行中的 DDL 操作,特别是耗时的 Add Index 操作,等 DDL 操作完成后再执行升级操作
+ 由于新版本存储引擎更新,不支持在升级后回退至 2.0.x 或更旧版本
+ 从 2.0.6 之前的版本升级到 2.1 之前,最好确认集群中是否存在正在运行中的 DDL 操作,特别是耗时的 Add Index 操作,等 DDL 操作完成后再执行升级操作
+ 因为 2.1 版本启用了并行 DDL,对于早于 2.0.1 版本的集群,无法滚动升级到 2.1,可以选择下面两种方案:

- 停机升级,直接从早于 2.0.1 的 TiDB 版本升级到 2.1
@@ -15,7 +15,7 @@ category: Releases
- 优化查询代价估计精度
- 设置 gRPC 的 `backoff max delay` 参数
- 支持通过配置文件设置单条语句的内存使用阈值
- 重构 Optimizer 的 error
- 重构 Optimizer 的 error
- 解决 Cast Decimal 数据的副作用问题
- 解决特定场景下 `Merge Join` 算子结果错误的问题
- 解决转换 `Null` 对象到 String 的问题
@@ -17,7 +17,7 @@ category: Releases
- 修复 `duplicate key update` 在某些情况下没有正确插入值的问题 [#7685](https://github.com/pingcap/tidb/pull/7685)
- 修复 `UnionScan` 中谓词条件没有下推的问题 [#7726](https://github.com/pingcap/tidb/pull/7726)
- 修复增加 `TIMESTAMP` 索引没有正确处理时区的问题 [#7812](https://github.com/pingcap/tidb/pull/7812)
- 修复某些情况下统计信息模块导致的内存泄露问题 [#7864](https://github.com/pingcap/tidb/pull/7864)
- 修复某些情况下统计信息模块导致的内存泄露问题 [#7864](https://github.com/pingcap/tidb/pull/7864)
- 修复在某些异常情况下,无法获得 `ANALYZE` 结果的问题 [#7871](https://github.com/pingcap/tidb/pull/7871)
-`SYSDATE` 不做表达式展开,以返回正确的结果 [#7894](https://github.com/pingcap/tidb/pull/7894)
- 修复某些情况下,`substring_index` panic 的问题 [#7896](https://github.com/pingcap/tidb/pull/7896)
@@ -10,7 +10,7 @@ category: Releases
## TiDB

- 修复统计信息直方图为空的时候导致的问题 [#7927](https://github.com/pingcap/tidb/pull/7927)
- 修复 `UNION ALL` 语句在某些情况下 panic 的问题 [#7942](https://github.com/pingcap/tidb/pull/7942)
- 修复 `UNION ALL` 语句在某些情况下 panic 的问题 [#7942](https://github.com/pingcap/tidb/pull/7942)
- 修复错误的 DDL JOB 情况下导致的递归溢出问题 [#7959](https://github.com/pingcap/tidb/pull/7959)
-`Commit` 操作加上慢操作日志 [#7983](https://github.com/pingcap/tidb/pull/7983)
- 修复 `Limit` 值太大的情况下导致的 panic 问题 [#8004](https://github.com/pingcap/tidb/pull/8004)
@@ -41,11 +41,11 @@ category: Releases
- 添加 `tidb_disable_txn_auto_retry` 系统变量控制事务是否自动重试
- 修复写入 `time` 类型的数据精度问题
- 支持本地冲突事务排队,优化冲突事务性能
- 修复 `UPDATE` 语句的 `Affected Rows`
- 修复 `UPDATE` 语句的 `Affected Rows`
- 优化 `insert ignore on duplicate key update` 语句性能
- 优化 `Create Table` 语句的执行速度
- 优化 `Add index` 的速度,在某些场景下速度大幅提升
- 修复 `Alter table add column` 增加列超过表的列数限制的问题
- 修复 `Alter table add column` 增加列超过表的列数限制的问题
- 修复在某些异常情况下 DDL 任务重试导致 TiKV 压力增加的问题
- 修复在某些异常情况下 TiDB 不断重载 Schema 信息的问题
- DDL
@@ -65,7 +65,7 @@ category: Releases
- `region merge` 调度时跳过数据行数较多的 Region
- 默认开启 `raft learner` 功能,降低调度时出现宕机导致数据不可用的风险
- `pd-recover` 移除 max-replica 参数
- 增加 `Filter `相关的 metrics
- 增加 `Filter` 相关的 metrics
- 修复 tikv-ctl unsafe recovery 之后 Region 信息没更新的问题
- 修复某些场景下副本迁移导致 TiKV 磁盘空间耗尽的问题
- 兼容性提示
@@ -45,9 +45,9 @@ category: Releases
- [#1298](https://github.com/pingcap/pd/pull/1298)
- [#1299](https://github.com/pingcap/pd/pull/1299)
- [#1308](https://github.com/pingcap/pd/pull/1308)
- 修复 `regions/check` API 输出错误的问题 [#1311](https://github.com/pingcap/pd/pull/1311)
- 修复 PD join 失败后无法重新 join 的问题 [#1279](https://github.com/pingcap/pd/pull/1279)
- 修复某些情况下 watch leader 会丢失事件的问题 [#1317](https://github.com/pingcap/pd/pull/1317)
+ 修复 `regions/check` API 输出错误的问题 [#1311](https://github.com/pingcap/pd/pull/1311)
+ 修复 PD join 失败后无法重新 join 的问题 [#1279](https://github.com/pingcap/pd/pull/1279)
+ 修复某些情况下 watch leader 会丢失事件的问题 [#1317](https://github.com/pingcap/pd/pull/1317)

## TiKV

0 comments on commit 97f2466

Please sign in to comment.
You can’t perform that action at this time.