perf: 作业包含大量主机，执行作业请求响应时间过长

[jsonwan]

快速执行接口传入的执行目标解析出的主机超过3k时，响应时间超过30s，导致某些超时参数设置较短的客户端超时。
导致超时的慢查询语句：
insert into job_execute.task_instance_host (task_instance_id, host_id, ip, ipv6) values (?, ?, ?, ?)
需要优化。

[wangyu096]

耗时比较长的这个，主要就是批量写入 task_instance_host 表, DAO 层是使用 Jooq。代码如下：

    public void saveTaskInstanceHosts(long taskInstanceId,
                                      Collection<HostDTO> hosts) {
        BatchBindStep batchInsert = ctx.batch(
            ctx.insertInto(TASK_INSTANCE_HOST, TASK_INSTANCE_HOST.TASK_INSTANCE_ID,
                TASK_INSTANCE_HOST.HOST_ID, TASK_INSTANCE_HOST.IP, TASK_INSTANCE_HOST.IPV6)
                .values((Long) null, null, null, null)
        );

        for (HostDTO host : hosts) {
            batchInsert = batchInsert.bind(
                taskInstanceId,
                host.getHostId(),
                host.getIp(),
                host.getIpv6()
            );
        }
        batchInsert.execute();
    }

[wangyu096]

原因

如果 jdbc 为设置rewriteBatchedStatements= false （默认）, 那么即使是调用 Statement.executeBatch(), 也是逐个执行 SQL。关于rewriteBatchedStatements这个参数的介绍：

MySQL的JDBC连接的url中要加rewriteBatchedStatements参数，并保证5.1.13以上版本的驱动，才能实现高性能的批量插入。MySQL JDBC驱动在默认情况下会无视executeBatch()语句，把我们期望批量执行的一组sql语句拆散，一条一条地发给MySQL数据库，批量插入实际上是单条插入，直接造成较低的性能。只有把rewriteBatchedStatements参数置为true, 驱动才会帮你批量执行SQL。另外这个选项对INSERT/UPDATE/DELETE都有效。

参考

• MySQL rewriteBatchedStatements configuration property

• mysql 官方文档 rewriteBatchedStatements