指数バックオフ(Exponential Backoff)は、リクエストが失敗した時にリトライ間隔を1秒 → 2秒 → 4秒 → 8秒のように指数的に伸ばしていくリトライ戦略です。サーバ過負荷・rate limitが原因の場合、「同時に叩き直さないよう」負荷を自然に分散させます。

実戦ではjitter(乱数ゆらぎ)を加えてsleep = random(0, base * 2^n)の形で使います。これで複数クライアントが同じタイミングで一斉リトライしサーバを再び落とす「thundering herd」を防げます。

LLM APIでは429(Too Many Requests)・529(Overloaded)・5xxレスポンスに対して指数バックオフがほぼ必須です。Anthropic・OpenAIのSDKは既定のリトライポリシーにこのパターンを組み込んでいます。呼び出し構造はP2. APIでLLMを呼ぶとはで整理しました。

→ 1次ソース: AWS Architecture Blog · Exponential Backoff And Jitter