HTTP通信時に例外が発生した場合の対応

[pgrho]

1. 各MetadataのFetchAsyncCoreでHTTP通信に失敗した場合、正常な結果を返すまで(最大30s程度の間)再試行を行うかどうか
2. 1.のリトライがすべて失敗して結局例外をスローした場合、次回のFetchAsyncではキャッシュされているTask.StatusがFaultedになっているが、そのままキャッシュを返すかどうか。またFaultedなキャッシュに有効期間を設けるかどうか。

個人的提案としては

1. 1s, 2s, 4s, 8sのウェイトを置いて最大4回リトライする。
2. 例外発生から5分間有効とする

ぐらいかなー。数字に根拠はないけど。

ちなみにAmazonMetadataProviderは仕様上ガンガン例外が返ってくるので80ms～1280msでリトライしてます。

[supermomonga]

1s, 2s, 4s, 8sのウェイトを置いて最大4回リトライする。

よさそう。でも単純に1,2,4,8とするよりは https://github.com/mperham/sidekiq/wiki/Error-Handling#automatic-job-retry このあたり参考に (retry_count ** 4) + 5 とかの方がよさそう。MoEmbedでは random number の加算は要らないかな…

例外発生から5分間有効とする

よさそう

最大n回リトライ、5分間有効の数字は設定可能であるとよさそう

[pgrho]

いつも使っているウェイトの取り方はmin(c * f ^ n, max)かな。
Amazonの例だとc = 80ms, f = 2, max = 1280msで計算している。

[supermomonga]

よさそう。あとはAmazonとかの例考えるとサイト（Metadata）によってその辺り調整できればよさそげ