批量写入目标表存在重复写入问题

[momisabuilder]

测试场景
源表字符串类型数据存储到目标表整型数据类型，批量写入，发现有重复写入目标表问题

测试的时候发现：当批量写入抛出异常的时候，产生2个结果，1.写入部分数据 2.程序转到处理异常的代码块，在异常代码块会再次重新将批量数据一条一条写入目标库，这样就导致重复了

源表信息
表结构

表数据

目标表信息
表结构

json结构
{"job": {
"content": [
{
"reader": {
"parameter": {
"password": "test123",
"column": [
"COL1",
"COL2"
],
"connection": [
{
"jdbcUrl": [
"jdbc:oracle:thin:@//xxxx:1521/helowin"
],
"table": [
"TEST.SRC_STU_ERRORLIMIT"
]
}
],
"username": "test"
},
"name": "oraclereader"
},
"writer": {
"parameter": {
"password": "test123",
"column": [
"COL1",
"COL2"
],
"batchSize": 1024,
"connection": [
{
"jdbcUrl": "jdbc:oracle:thin:@//yyy:1521/helowin",
"table": [
"TEST.TAR_STU_ERRORLMIT"
]
}
],
"writeMode": "insert",
"username": "test"
},
"name": "oraclewriter"
}
}
],
"setting": {
"errorLimit": {
"record": 3
},
"speed": {
"bytes": 1048576,
"channel": 1
}
}
}
}

批量写入类

异常处理

[kanata163]

@momisabuilder 感谢反馈
是的，这里这里执行异常会导致数据重复插入，内部分支已修复，稍后会推送一般到开源分支。

[momisabuilder]

我这里暂时用的处理方式是：在批量插入的catch代码块中加入回滚语句

…

------------------&nbsp;原始邮件&nbsp;------------------ 发件人: "kanata163"<notifications@github.com&gt;; 发送时间: 2021年1月11日(星期一) 上午10:23 收件人: "DTStack/flinkx"<flinkx@noreply.github.com&gt;; 抄送: "烦不烦 "<1518386192@qq.com&gt;; "Mention"<mention@noreply.github.com&gt;; 主题: Re: [DTStack/flinkx] 批量写入目标表存在重复写入问题 (#301) @momisabuilder 感谢反馈 是的，这里这里执行异常会导致数据重复插入，内部分支已修复，稍后会推送一般到开源分支。 — You are receiving this because you were mentioned. Reply to this email directly, view it on GitHub, or unsubscribe.

[kanata163]

嗯，我们也是这么做的。