2020-07-24 高負荷によるアクセス障害発生のご報告
2020.07.25
2020-07-24 9:00ごろより、継続的な高負荷によりPAY.JP全体にアクセスしづらい状況となっておりました。
影響を受けた加盟店様各位にはお詫びを申し上げるとともに、以下の通り本件のご報告をさせていただきます。
発生事象
特定の加盟店様より弊社の処理能力を超える大量のアクセスが発生し、その影響によりPAY.JP全体が高負荷状態となりました。
高負荷状態でアクセスした場合、504 Gateway Timeout サーバーエラーが発生しておりました。
対処
本件発生後、高負荷加盟店のアクセスを遮断することにより一時的に復旧いたしました。
その後、高負荷加盟店のアクセスの一部にレートリミットを設定し、遮断を解除しました。
しかし、設定が不十分であったことから期待された効果が得られず、結果的に高負荷状態が再度発生いたしました。
タイムライン
- 09:00 高負荷アクセスの開始
- 09:19 事象発覚・ステータスページ告知
- 11:20 アクセス遮断により、小康状態
- 11:45 復旧連絡
- 16:00 当該加盟店のアクセス遮断解除
- 16:15 高負荷状態の再発・ステータスページ告知
- 17:05 高負荷アクセスの収束・復旧連絡
今後の対策
今後同様の高負荷アクセスが発生した場合、適切にレートリミット・アクセス遮断を行えるようリミットの方法、手順等を整備いたします。
また、こういった特定加盟店による高負荷が他加盟店様のアクセスに影響を及ぼしづらくなるようなアーキテクチャ改善を検討いたします。
ご報告は以上となります。
この度は長時間の障害により多大なご迷惑をおかけし、大変申し訳ありませんでした。