本文是作者工作中需要对atlas（360开源的mysql中间件，可实现读写分离、分表、多从库负载均衡）以及后期对proxysql（另一款高效并很有特色的数据库代理软件）进行测试时所设计和采用的一套脚本。由于对中间件测试，要测试对比的维度较多,所以尽量将涉及到的因素都纳入脚本中以实现自动化的压测和分析过程。总体思路如下：

准备测试数据(这步在脚本之外人工完成) --> 
运行脚本测试(压测线程数在脚本里定义,压测次数默认为3) --> 
脚本将测试输出格式化后写入数据库 -->
	脚本加 analyse 参数 --> 将压测分析结果打印到标准输出
	脚本加 chart 参数 --> 对压测结果中的所有测试场景进行绘图
	脚本加 chart '测试场景'... --> 只对给定的'测试场景进行绘图'

脚本依赖于sysbench-0.5和gnuplot

下面来看下脚本使用说明及用例截图

帮助信息：

[ljk@demo ~]$ sh shells/mysql_oltp_test.sh -h

Usage: shells/mysql_oltp_test.sh test (test_scenario test_type mysql_host mysql_port mysql_user mysql_password)
       shells/mysql_oltp_test.sh analyse
       shells/mysql_oltp_test.sh chart [scenario]...

----------
测试: 子命令test
      test_scenario: 自定义的测试场景名
      test_type: read-only 或 read-write, 表示测试模式
      其余4参数表示待测试MySQL连接相关信息,密码若包含特殊字符,将其置于单引号内
----------
分析: 子命令analyse
      展示分析结果
----------
画图: 子命令chart
      会在/tmp/下生成request_per_second.png total_time.png 95_pct_time.png 三张图
      chart (对分析结果中的所有测试场景画图)
      chart scenario ... (对指定的测试场景画图，场景名依据先前自定义的名称)

进行测试：

[ljk@demo ~]$ sh shells/mysql_oltp_test.sh test localhost_read_only  read-only 127.0.0.1 3306 user 'passwd'

---------------
创建测测试结果表test.sysbench_test
---------------

---------------
场景:localhost_read_only 模式:read-only
---------------
  8线程    第1次运行...
  24线程   第1次运行...
  48线程   第1次运行...
  64线程   第1次运行...
  96线程   第1次运行...
  128线程  第1次运行...
  160线程  第1次运行...
  196线程  第1次运行...
  256线程  第1次运行...

查看分析结果：

[ljk@demo ~]$ sh shells/mysql_oltp_test.sh analyse
Warning: Using a password on the command line interface can be insecure.
scenario        server_name     test_type       sb_threads      server_load     request_total   request_read    request_write   request_per_second      total_time      95_pct_time
single-mysql-remote     192.168.1.3    read-only       8       1.48    280000  280000  0       14269.88        19.78   17.32
single-mysql-remote     192.168.1.3    read-only       24      1.55    280016  280016  0       23933.22        11.81   111.12
single-mysql-remote     192.168.1.3    read-only       48      1.83    280022  280022  0       26868.16        10.47   225.34
single-mysql-remote     192.168.1.3    read-only       64      2.02    280016  280016  0       28269.55        9.95    231.25
single-mysql-remote     192.168.1.3    read-only       96      1.88    280012  280012  0       29160.26        9.62    409.48
single-mysql-remote     192.168.1.3    read-only       128     1.92    280016  280016  0       31032.74        9.04    443.33
single-mysql-remote     192.168.1.3    read-only       160     1.90    280012  280012  0       30906.38        9.07    616.22
single-mysql-remote     192.168.1.3    read-only       196     2.19    280022  280022  0       31525.47        8.89    647.59
single-mysql-remote     192.168.1.3    read-only       256     2.35    280009  280009  0       31965.53        8.77    844.62
single-mysql-remote     192.168.1.3    read-only       512     2.48    280012  280012  0       31291.09        9.15    1362.92
proxysql-1.3.0e 192.168.1.4    read-only       8       0.96    280005  280005  0       10092.85        27.79   25.06
proxysql-1.3.0e 192.168.1.4    read-only       24      1.00    280009  280009  0       19884.42        14.10   159.36
proxysql-1.3.0e 192.168.1.4    read-only       48      1.30    280014  280014  0       23239.66        12.07   232.69
proxysql-1.3.0e 192.168.1.4    read-only       64      1.28    280023  280023  0       25746.88        10.89   238.74
proxysql-1.3.0e 192.168.1.4    read-only       96      1.25    280014  280014  0       28304.34        9.90    434.78
proxysql-1.3.0e 192.168.1.4    read-only       128     1.52    280014  280014  0       27669.46        10.22   481.75
proxysql-1.3.0e 192.168.1.4    read-only       160     1.68    280028  280028  0       30020.32        9.34    606.40
proxysql-1.3.0e 192.168.1.4    read-only       196     1.69    280028  280028  0       30620.70        9.15    682.21
proxysql-1.3.0e 192.168.1.4    read-only       256     1.76    280033  280033  0       31710.98        8.83    826.42
proxysql-1.3.0e 192.168.1.4    read-only       512     1.65    280028  280028  0       32398.24        8.65    1289.20

对结果进行画图：

#对存在于表中的所有场景进行横向对比画图
[ljk@demo ~]$ sh shells/mysql_oltp_test.sh chart
对特定的场景进行（横向对比）画图
[ljk@demo ~]$ sh shells/mysql_oltp_test.sh chart single-mysql-remote proxysql-use-ps

效果图展示：

接下来我们来了解一下sysbench-0.5对MySQL进行测试的方法及原理

sysbench-0.5，对于数据库的测试较0.4版本有较大不同，之前有内建的--test=oltp方法，现在改成了外部的lua脚本形式，这样更灵活，也方便用户构建自己的测试模型。

这些相关的lua脚本位于”/usr/share/doc/sysbench/tests/db/“ 目录，其内脚本如下图所示

我们需要了解我们最有可能用到的三个脚本：common.lua（公共脚本）、oltp.lua（oltp测试主脚本）和parallel_prepare.lua（并行准备数据）。common.lua中定义了一些选项的默认值（故而，这些选项的值既可以通过命令行指定也可直接修改该脚本里对应值来更改）.

简单说一下oltp.lua脚本的逻辑:

默认通过显式的使用begin和commit语句将如下模式的sql组合在一起形成一个事务（只读测试的话则没有写请求）

关于oltp '读写'和'只读'测试的语句及其出现比例如下

10条    SELECT c FROM sbtest6 WHERE id=5047;
1条    SELECT c FROM sbtest16 WHERE id BETWEEN 5050 AND 5050+99;
1条    SELECT SUM(K) FROM sbtest7 WHERE id BETWEEN 5039 AND 5039+99;
1条    SELECT c FROM sbtest7 WHERE id BETWEEN 4987 AND 4987+99 ORDER BY c;
1条    SELECT DISTINCT c FROM sbtest7 WHERE id BETWEEN 13 AND 13+99 ORDER BY c;
1条    UPDATE sbtest1 SET k=k+1 WHERE id=1234;
1条    UPDATE sbtest2 SET c='78864443858-59732318638' where id=2345;
1条    DELETE FROM sbtest11 WHERE id=4958;
1条    INSERT 语句;

然后将此事务循环执行10000次。也就是只读测试共14w请求，混合测试18w请求。
若觉得数量不够，可以修改common.lua中的设置

function set_vars()
   oltp_table_size = oltp_table_size or 10000
   oltp_range_size = oltp_range_size or 100
   oltp_tables_count = oltp_tables_count or 1
   oltp_point_selects = oltp_point_selects or 20 （原来10）
   oltp_simple_ranges = oltp_simple_ranges or 2 （原来1）
   oltp_sum_ranges = oltp_sum_ranges or 2 （原来1）
   oltp_order_ranges = oltp_order_ranges or 2 （原来1）
   oltp_distinct_ranges = oltp_distinct_ranges or 2 （原来1）
   oltp_index_updates = oltp_index_updates or 1

   oltp_non_index_updates = oltp_non_index_updates or 1

这样总的测试请求量会变成28w

以上是通过lua脚本里总结出来的，各位也可查看下这些lua脚本，来更好的理解测试的逻辑过程。

一般来说，对MySQL做压测会基于两种需求：

一种是通过压测来大致评估MySQL实例的最大能力，这种适合给定时长来测；
另一种就是来对比某些改动前后的性能变化（如版本升级、参数调整等），这种适合给定请求数来测。

以作者的小经验来看，后者要更多一些，所以我的测试模式也是趋向于后者的。

前提功课做好了，接下来一起看一下本例的测试过程

准备数据：

(手动创建)在被测的mysql上执行如下命令（以8线程并发创建16张50w数据的表）

sysbench --test=/usr/share/doc/sysbench/tests/db/parallel_prepare.lua \
         --mysql-table-engine=innodb --oltp-table-size=500000 --mysql-user=user \
         --mysql-password='passwd' --mysql-port=3306 --mysql-host=192.168.1.33 \
         --oltp-tables-count=16 --num-threads=8 run

还有另外一种方式，用oltp.lua脚本以串行方式准备数据

sysbench --test=/usr/share/doc/sysbench/tests/db/oltp.lua --mysql-table-engine=innodb \
         --oltp-table-size=500000 --mysql-user=user --mysql-password='passwd' \
         --mysql-port=3306 --mysql-host=192.168.1.3 --oltp-tables-count=16 prepare

开始测试：

sh mysql_oltp_test.sh test atlas-24-threads read-only 192.168.1.44 3306 user passwd

清空测试数据：

sysbench --test=/usr/share/doc/sysbench/tests/db/parallel_prepare.lua \
--mysql-user=user --mysql-password='passwd' --mysql-port=3306 \
--mysql-host=192.168.1.3 --oltp-tables-count=16 --num-threads=8 cleanup

jkklee/mysql-benchart

ErrorLooks like something went wrong!

About

Topics

Resources

Uh oh!

Stars

Watchers

Forks

Releases

Packages 0

Languages

Error
Looks like something went wrong!

Packages