最后更新:2024-08-05。
本文档适用版本:GreatSQL 8.0.32-26。
GreatSQL 数据库是一款 开源免费 数据库,可在普通硬件上满足金融级应用场景,具有 高可用、高性能、高兼容、高安全 等特性,可作为 MySQL 或 Percona Server for MySQL 的理想可选替换。
针对 MGR 及主从复制进行了大量改进和提升工作,支持 地理标签、仲裁节点、读写动态 VIP、快速单主模式、智能选主 等特性,并针对 流控算法、事务认证队列清理算法、节点加入&退出机制、recovery机制 等多个 MGR 底层工作机制算法进行深度优化,进一步提升优化了 MGR 的高可用保障及性能稳定性。
- 支持 地理标签 特性,提升多机房架构数据可靠性。
- 支持 仲裁节点 特性,用更低的服务器成本实现更高可用。
- 支持 读写动态 VIP 特性,高可用切换更便捷,更快实现读负载均衡。支持 当主节点切换时,主动关闭当前活跃连接,缩短应用端不可用时长。。
- 支持 快速单主模式,在单主模式下更快,性能更高。
- 支持 智能选主 特性,高可用切换选主机制更合理。
- 优化 流控算法,使得事务更平稳,避免剧烈抖动。
- 支持 记录 MGR 网络通信开销超过阈值的事件,用于进一步分析和优化。
- 支持自动选择从最新事务数据的成员节点复制数据,可有效提升 Clone 速度,提高 MGR 的服务可靠性。
- 在主从复制中,从节点向主节点发起 Binlog 读取请求时支持限速控制。
- 优化了 asynchronous connection failover 中的故障检测效率,降低主从复制链路断开的时间,提高整体可用性。
- 支持在跨机房容灾场景中的 主主双向复制防止回路 机制。
- 优化了 MGR 节点加入、退出时可能导致性能剧烈抖动的问题。
- 解决了个别节点上磁盘空间爆满时导致MGR集群整体被阻塞的问题。
- 优化了 MGR 事务认证队列清理算法,高负载下不复存在每 60 秒性能抖动问题。
- 解决了 MGR 中长事务造成无法选主的问题。
- 修复了 MGR recovery 过程中长时间等待的问题。
更多信息详见文档:高可用。
相对 MySQL 及 Percona Server For MySQL 的性能表现更稳定优异,支持 Rapid 引擎、事务无锁化、并行 LOAD DATA、异步删除大表、线程池、非阻塞式 DDL、NUMA 亲和调度优化 等特性,在 TPC-C 测试中相对 MySQL 性能提升超过 30%,在 TPC-H 测试中的性能表现是 MySQL 的十几倍甚至上百倍。
- 支持 大规模并行、基于内存查询、高压缩比的高性能 Rapid 引擎,可将数据分析性能提升几个数量级。
- 优化 InnoDB 事务系统,实现了大锁拆分及无锁化等多种优化方案,OLTP 场景整体性能提升约 20%。
- 支持 并行 LOAD DATA,适用于频繁导入大批量数据的应用场景,性能可提升约 20 多倍;对于无显式定义主键的场景亦有优化提升。
- 支持 异步删除大表,提高 InnoDB 引擎运行时性能的稳定性。
- 支持 线程池,降低了线程创建和销毁的代价,保证高并发下,性能稳定不会明显衰退。
- 支持 非阻塞式 DDL,可以避免数据库因为必须尽快完成 DDL 操作而导致业务请求大量被阻塞的问题。
- 支持 NUMA 亲和性优化,通过 NUMA 亲和性调度优化,将前端用户线程和后台线程绑定到固定 NUMA 节点上以提升线程处理性能。
更多信息详见文档:高性能。
GreatSQL 实现 100% 完全兼容 MySQL 及 Percona Server For MySQL 语法,支持大多数常见 Oracle 语法,包括 数据类型兼容、函数兼容、SQL 语法兼容、存储程序兼容 等众多兼容扩展用法。
更多信息详见文档:高兼容。
GreatSQL 支持逻辑备份加密、CLONE 备份加密、审计、表空间国密加密、敏感数据脱敏、存储登录历史等多个安全提升特性,进一步保障业务数据安全,更适用于金融级应用场景。
- 支持 mysqldump 逻辑备份加密,提供了利用 mysqldump 逻辑备份的安全加密需求。
- 支持 Clone 备份加密,提供了利用 Clone 物理备份的安全加密需求。
- 支持 审计功能,及时记录和发现未授权或不安全行为。
- 支持 InnoDB 表空间国密加密算法,确保重要数据的加密安全。
- 支持 基于函数和策略的两种数据脱敏 工作方式,保障敏感用户数据查询结果保密性。
- 支持 存储登录历史,便于管理员查询,进一步提升数据库安全性。
通过上述多个安全提升特性,进一步保障业务数据安全。更多信息详见文档:高安全。
- 支持 Clone 在线全量热备、增备及恢复,结合 Binlog 可实现恢复到指定时间点。此外,Clone 备份还支持压缩功能。
运行 GreatSQL 时如果有 jemalloc 支持,则数据库进程的内存分配会更稳定、高效,因此建议安装 jemalloc(非必须)。以 CentOS 8 系统为例,采用类似下面的方法安装 jemalloc 软件包:
# 先安装 epel 源
$ yum install -y epel-release
# 再安装jemalloc
$ yum -y install jemalloc jemalloc-devel
也可以把自行安装的动态库so文件路径加到系统配置文件中,例如:
$ cat /etc/ld.so.conf
/usr/local/lib64/
而后执行下面的操作加载libjemalloc库,并确认是否已存在
$ ldconfig
$ ldconfig -p | grep libjemalloc
libjemalloc.so.1 (libc6,x86-64) => /usr/local/lib64/libjemalloc.so.1
libjemalloc.so (libc6,x86-64) => /usr/local/lib64/libjemalloc.so
如果无法通过 yum 直接安装 jemalloc,可以自行下载 RPM 包,地址:https://centos.pkgs.org/8/epel-x86_64/jemalloc-5.2.1-2.el8.x86_64.rpm.html
推荐安装 GreatSQL RPM 包。
以 CentOS 8 系统为例,采用类似下面的命令安装 GreatSQL:
#首先,查找GreatSQL是否已安装
$ yum search greatsql
...
No matches found.
#然后安装
$ rpm -ivh --nodeps greatsql-client-8.0.32-26.1.el8.x86_64.rpm greatsql-devel-8.0.32-26.1.el8.x86_64.rpm greatsql-icu-data-files-8.0.32-26.1.el8.x86_64.rpm greatsql-mysql-router-8.0.32-26.1.el8.x86_64.rpm greatsql-server-8.0.32-26.1.el8.x86_64.rpm greatsql-shared-8.0.32-26.1.el8.x86_64.rpm greatsql-test-8.0.32-26.1.el8.x86_64.rpm
提示:正式安装 GreatSQL RPM 包时,可能还需要依赖 openssl、Perl 等其他软件包,此处为快速演示,因此加上 --nodeps
参数,忽略相应的依赖关系检查。安装完毕后,如果因为依赖关系无法启动,请再行安装相应软件依赖包。
安装完成后,GreatSQL 会自行完成初始化,可以再检查是否已加入系统服务或已启动:
$ systemctl status mysqld
● mysqld.service - MySQL Server
Loaded: loaded (/usr/lib/systemd/system/mysqld.service; enabled; vendor preset: disabled)
...
Docs: man:mysqld(8)
http://dev.mysql.com/doc/refman/en/using-systemd.html
Process: 1137698 ExecStartPre=/usr/bin/mysqld_pre_systemd (code=exited, status=0/SUCCESS)
Main PID: 1137732 (mysqld)
Status: "Server is operational"
Tasks: 39 (limit: 149064)
Memory: 336.7M
CGroup: /system.slice/mysqld.service
└─1137732 /usr/sbin/mysqld
...
就可以正常启动 GreatSQL 服务了。
想要 GreatSQL 更高效运行,建议参考这份 my.cnf 配置模板:my.cnf for GreatSQL 8.0.32-26。
推荐利用 Docker 环境快速编译 GreatSQL 二进制包,可参考方法:编译源码安装GreatSQL。
还可以利用 src.rpm 源码包快速编译 GreatSQL RPM 包,可参考方法:在CentOS环境下编译GreatSQL src.rpm包,并再编译RPM包。
安装 rmp-build、cmake、gcc 等编译环境必要的软件包
$ dnf install -y bison cmake cyrus-sasl-devel gcc-c++ gcc-toolset-11 gcc-toolset-11-annobin-plugin-gcc krb5-devel libaio-devel libcurl-devel libssh libtirpc-devel m4 make ncurses-devel numactl-devel openldap-devel openssl openssl-devel pam-devel perl perl-Carp perl-Data-Dumper perl-Errno perl-Exporter perl-File-Temp perl-Getopt-Long perl-JSON perl-Memoize perl-Time-HiRes readline-devel rpm-build time vim-common zlib-devel
创建相应的目录
$ mkdir -p /root/rpmbuild/{BUILD,RPMS,SOURCES,SPECS,SRPMS}
将下载后的 src.rpm 文件放在 SRPMS 目录下
$ ls -l /root/rpmbuild/SRPMS
-rw-r--r-- 1 root root 496724859 Aug 2 14:01 greatsql-8.0.32-26.1.noarch.src.rpm
编译 GreatSQL RPM 包
$ cd /root/rpmbuild/
$ rpmbuild --define "_smp_mflags -j16" --define 'dist .el8' --define "_topdir /root/rpmbuild/" --rebuild ./SRPMS/greatsql-8.0.32-26.1.noarch.src.rpm > ./rpmbuild.log 2>&1
参数 dist 支持以下常见 OS 标签(如需支持更多标签请告诉我们):
- openEuler系统,例如:oe2003, oe2203, oe2403。
- RHEL/CentOS 系统,例如:el7, el8, el9。
戳此查看 GreatSQL 版本历史。
- 利用Docker环境快速编译GreatSQL相关资源
- 利用Docker环境快速编译MySQL Shell for GreatSQL相关资源
- 用于编译GreatSQL RPM包的Spec文件
- 在CentOS环境下源码编译安装GreatSQL
- 在麒麟OS+龙芯环境下源码编译安装GreatSQL
- 在openEuler、龙蜥Anolis、统信UOS系统下编译GreatSQL二进制包
- GCA认证课程学习视频,GreatSQL认证数据库专员培训视频课程
- GCP认证课程学习视频,GreatSQL认证数据库专家培训视频课程
- 实战MGR专栏视频,适合新手入门的MGR学习实操视频内容
- GreatSQL运维实战系列视频
- 深入浅出MGR专栏文章,深入浅出MGR相关知识点、运维管理实操
- 深入浅出MGR专栏视频,深入浅出MGR相关知识点、运维管理实操视频内容
- 一文掌握GreatSQL MGR集群的部署和运维
- 在Docker中部署GreatSQL并构建MGR集群
- MySQL InnoDB Cluster+GreatSQL部署MGR集群
- GreatSQL-Docker,在Docker中运行和编译GreatSQL及GreatSQL Shell
1.主要特性 | GreatSQL 8.0.32-26 | MySQL 8.0.32 |
---|---|---|
开源 | ✔️ | ✔️ |
ACID 完整性 | ✔️ | ✔️ |
MVCC 特性 | ✔️ | ✔️ |
支持行锁 | ✔️ | ✔️ |
Crash 自动修复 | ✔️ | ✔️ |
表分区(Partitioning) | ✔️ | ✔️ |
视图(Views) | ✔️ | ✔️ |
子查询(Subqueries) | ✔️ | ✔️ |
触发器(Triggers) | ✔️ | ✔️ |
存储程序(Stored Programs) | ✔️ | ✔️ |
外键(Foreign Keys) | ✔️ | ✔️ |
窗口函数(Window Functions) | ✔️ | ✔️ |
通用表表达式 CTE | ✔️ | ✔️ |
地理信息(GIS) | ✔️ | ✔️ |
基于 GTID 的复制 | ✔️ | ✔️ |
组复制(MGR) | ✔️ | ✔️ |
MyRocks 引擎 | ✔️ | ❌ |
支持龙芯架构 | ✔️ | ❌ |
2. 性能提升扩展 | GreatSQL 8.0.32-26 | MySQL 8.0.32 |
AP 引擎 | ✔️ | 仅云上HeatWave |
NUMA 亲和性优化 | ✔️ | ❌ |
非阻塞式 DDL | ✔️ | ❌ |
无主键表导入优化 | ✔️ | ❌ |
InnoDB 并行查询 | ✔️ | 仅主键扫描 |
并行 LOAD DATA | ✔️ | ❌ |
InnoDB 事务 ReadView 无锁优化 | ✔️ | ❌ |
InnoDB 事务大锁拆分优化 | ✔️ | ❌ |
InnoDB 资源组 | ✔️ | ✔️ |
自定义 InnoDB 页大小 | ✔️ | ✔️ |
Contention-Aware Transaction Scheduling | ✔️ | ✔️ |
InnoDB Mutexes 拆分优化 | ✔️ | ❌ |
MEMORY 引擎优化 | ✔️ | ❌ |
InnoDB Flushing 优化 | ✔️ | ❌ |
并行 Doublewrite Buffer | ✔️ | ✔️ |
InnoDB 快速索引创建优化 | ✔️ | ❌ |
VARCHAR/BLOB/JSON 类型存储单列压缩 | ✔️ | ❌ |
数据字典中存储单列压缩信息 | ✔️ | ❌ |
3. 面向开发者提升改进 | GreatSQL 8.0.32-26 | MySQL 8.0.32 |
X API | ✔️ | ✔️ |
JSON | ✔️ | ✔️ |
NoSQL Socket-Level接口 | ✔️ | ✔️ |
InnoDB 全文搜索改进 | ✔️ | ❌ |
更多 Hash/Digest 函数 | ✔️ | ❌ |
Oracle 兼容-数据类型 | ✔️ | ❌ |
Oracle 兼容-函数 | ✔️ | ❌ |
Oracle 兼容-SQL语法 | ✔️ | ❌ |
Oracle 兼容-存储程序 | ✔️ | ❌ |
4. 基础特性提升改进 | GreatSQL 8.0.32-26 | MySQL 8.0.32 |
MGR 提升-地理标签 | ✔️ | ❌ |
MGR 提升-仲裁节点 | ✔️ | ❌ |
MGR 提升-读写节点绑定VIP | ✔️ | ❌ |
MGR 提升-快速单主模式 | ✔️ | ❌ |
MGR 提升-智能选主机制 | ✔️ | ❌ |
MGR 提升-全新流控算法 | ✔️ | ❌ |
MGR 提升-网络分区异常处理 | ✔️ | ❌ |
MGR 提升-节点异常退出处理 | ✔️ | ❌ |
MGR 提升-节点磁盘满处理 | ✔️ | ❌ |
MGR 提升-自动选择 donor 节点 | ✔️ | ❌ |
Clone 增量备份 | ✔️ | ❌ |
Clone 备份压缩 | ✔️ | ❌ |
Binlog 读取限速 | ✔️ | ❌ |
information_schema 表数量 | 95 | 65 |
全局性能和状态指标 | 853 | 434 |
优化器直方图(Histograms) | ✔️ | ✔️ |
Per-Table 性能指标 | ✔️ | ❌ |
Per-Index 性能指标 | ✔️ | ❌ |
Per-User 性能指标 | ✔️ | ❌ |
Per-Client 性能指标 | ✔️ | ❌ |
Per-Thread 性能指标 | ✔️ | ❌ |
全局查询相应耗时统计 | ✔️ | ❌ |
SHOW INNODB ENGINE STATUS 增强 | ✔️ | ❌ |
回滚段信息增强 | ✔️ | ❌ |
临时表信息增强 | ✔️ | ❌ |
用户统计信息增强 | ✔️ | ❌ |
Slow log 信息增强 | ✔️ | ❌ |
5.安全性提升 | GreatSQL 8.0.32-26 | MySQL 8.0.32 |
国密支持 | ✔️ | ❌ |
备份加密 | ✔️ | ❌ |
审计 | ✔️ | 仅企业版 |
数据脱敏 | ✔️ | ❌ |
最后登录记录 | ✔️ | ❌ |
SQL Roles | ✔️ | ✔️ |
SHA-2 密码Hashing | ✔️ | ✔️ |
密码轮换策略 | ✔️ | ✔️ |
PAM 认证插件 | ✔️ | 仅企业版 |
Keyring 存储在文件中 | ✔️ | ✔️ |
Keyring 存储在Hashicorp Vault中 | ✔️ | 仅企业版 |
InnoDB 数据加密 | ✔️ | ✔️ |
InnoDB 日志加密 | ✔️ | ✔️ |
InnoDB 各种表空间文件加密 | ✔️ | ✔️ |
二进制日志加密 | ✔️ | ❌ |
临时文件加密 | ✔️ | ❌ |
强制加密 | ✔️ | ❌ |
6. 运维便利性提升 | GreatSQL 8.0.32-26 | MySQL 8.0.32 |
DDL 原子性 | ✔️ | ✔️ |
数据字典存储 InnoDB 表 | ✔️ | ✔️ |
快速 DDL | ✔️ | ✔️ |
SET PERSIST | ✔️ | ✔️ |
不可见索引 | ✔️ | ✔️ |
线程池(Threadpool) | ✔️ | 仅企业版 |
备份锁 | ✔️ | ❌ |
SHOW GRANTS 扩展 | ✔️ | ❌ |
表损坏动作扩展 | ✔️ | ❌ |
杀掉不活跃事务 | ✔️ | ❌ |
START TRANSACTION WITH CONSISTENT SNAPSHOT 扩展 | ✔️ | ❌ |
GreatSQL 8.0.32-26 基于 Percona Server for MySQL 8.0.32 版本,它在 MySQL 8.0.32 基础上做了大量的改进和提升以及众多新特性,详情请见:Percona Server for MySQL feature comparison,这其中包括线程池、审计、数据脱敏等 MySQL 企业版才有的特性,以及 performance_schema 提升、information_schema 提升、性能和可扩展性提升、用户统计增强、PROCESSLIST 增强、Slow Log 增强等大量改进和提升,这里不一一重复列出。
GreatSQL同时也是gitee(码云)平台上的GVP项目,详见:https://gitee.com/gvp/database-related 数据库相关类目。
GreatSQL 致力于保持开源的开放性。GreatSQL 采用 GPLv2 协议。
如果您在使用 GreatSQL,请告诉我们,将有机会获得精美礼品和免费技术支持。
扫码关注微信公众号