remove-data 后如何重新加入集群

[seanlook]

请假 2个问题：
假设 replication-factor = 2, consistency=one

1. 模拟 1 datanode 故障，正常的节点会暂存 hinted handoff, 内部有健康检查机制吗，当故障节点恢复时，会继续写入，健康检查间隔是怎样的？
2. 模拟 1 datanode 故障，如果执行了 remove-data 之后，想重新加入集群 add-data，influx-meta 还是无法感知到数据恢复
   在日志里看到 lvl=error msg="Failed to determine if node is active" log_id=0anK~crG000 service=handoff node=6 error="node not found", 实际 node 已经变成了10
   update-data 提示前后相同，也无效

[chengshiwen]

1. hinted handoff 目前没有健康检查机制，但有重试机制，[hinted-handoff] 有 retry-interval = "1s" 和 retry-max-interval = "10s" 进行配置，retry-interval 表示写失败后 hinted handoff 尝试重写的时间间隔
2. remove-data 后再 add-data，datanode 在 meta 元数据保存的 id 会自增变化，因此 remove-data 前如果该 datanode 写数据失败，remove-data 并 add-data 后，就会出现此类错误，正确用法应该是直接 update-data，请参考官方 influxdb enterprise 文档 Replace the old data node with the new data node。如果已经 remove-data，但还有 hinted handoff 数据没有写完，如果想要解决这个错误，有两个办法，找到 /var/lib/influxdb/hh 目录，把下面的 datanode id 改为新的 datanode id（如果你记得住新旧id对应关系），第二个办法，丢弃这部分数据，把 hh下面的目录清空

以上两个情况，和官方 influxdb enterprise 表现的行为一样，完全参考 官方 influxdb enterprise 进行编写