fix: Bulk export cleanup and notification occasionally not working on job expire

[arafubeatbox]

What

bulk export job が expire した際、expire した旨の通知が届かないことがある事象を修正。

原因

実行を開始した readable stream をメモリ上に記録しておき、expire した際はそれを BulkExportJobExpiredError で destroy し、そのエラーを handleError で処理して notifyExportResultAndCleanUp に通知を任せる方針になっていた。

これだと、readable stream の処理が軽い場合、次の expire した後の次の cleanup cron 実行までに完了していることがあり、通知がされない。

対応内容

そもそも通知が stream の存在に依存して行われていることがよくないため、

• cleanup cron 内で明示的に通知を出すように修正
• stream を export job cleanup で destroy する際に通知と cleanup が二重に実行されないように変更

また、readable stream のみが cleanup されており、後段の writable stream が cleanup されていなかったため、writable stream もメモリ上に保管しておき、cleanup 対象とする。

task

https://redmine.weseek.co.jp/issues/172103

[arafubeatbox]

cleanUpAndDeleteBulkExportJobs ではなく notifyExportResultAndCleanUp を実行し、明示的に期限切れの通知を実行。

[arafubeatbox]

readable と writable stream 両方をメモリ上に記録して置けるように変更。

[arafubeatbox]

元々 cleanup で投げた BulkExportJobRestartedError, BulkExportJobExpiredError もここでキャッチし、handleError を実行することによって通知と、重複した cleanup 処理を実行していた。
今回 cleanup の destroy で生じたエラーは処理しないように変更。

(重複した cleanup を実行していたのは、destroy によって stream の処理が終わる前に cleanup が完了してしまう場合をカバーするためだった。これをカバーするために cleanup 関数側で stream close を待つように変更 1d807d0)

[arafubeatbox]

restarted かどうかは stream のエラーを handleError によって処理するときの場合分けに必要だったが、cleanup 時は handleError しなくなったため、不要となった。