503 エラーでメッセージ「The engine is currently overloaded, please try again later」が表示される場合、Serverless Inference サーバーが高いトラフィックを経験しており、リクエストを処理できません。このページでは、エラーが発生する理由と、それを軽減する方法について説明します。
この現象が起こる理由
需要が高い期間中、推論エンジンが一時的に過負荷になることがあります。この状態は通常、トラフィックが落ち着くにつれて自然に解消されます。対処方法
次の方法を使用して、503 応答から復旧し、再発の可能性を減らします。
- 少し待ってから再試行する:
- 数秒待ってからリクエストを再試行してください。
- 指数バックオフを使用して、混雑の悪化を防いでください。
- リクエストを分散する:
- 多数のリクエストを送信する場合は、時間を空けて送信してください。
- リクエストのキューイングを実装して、トラフィックの急増を平準化してください。
サーバー エラー