1つのワークロードが引き起こす障害がシステム全体に影響を及ぼし、信頼性を損なうこと
カスケード障害
-
GitHubが約8時間ダウンした原因が判明、急増する利用量に重要なインフラが自動拡張できず障害が連鎖#Cloud Native #Observability 2026年8月17日に発生した GitHub の7時間47分にわたる障害の原因を伝える記事。コード変更ではなく、過去最高のトラフィックによる容量不足が起点となっている。 Istio のサイドカーが同時処理数の上限に到達。オートスケールが本体サービスしか監視しておらずサイドカーの容量を考慮していなかった 容量不足は HAProxy と内部の認証経路へ波及し、多数のサービスが認証に依存するため github.com や GitHub Actions へ広がるカスケード障害となった VS Code の潜在的なリトライバグで Copilot Token Service へのアクセスが毎秒7,000〜9,000件から毎秒7〜10万件へ急増し、復旧を遅らせた 背景には AI による利用量の急増があり、月間コミット数は2026年4月の14億件から8月に29億件へ倍増している https://gigazine.net/news/20260821-why-github-down/ ブログ
-
レートリミット#Security #API Architecture 以下のような目的でAPIの使用回数を制限する、制限を超過した時はHTTPの場合一般に429エラーを返す処理 STRIDEにあるようなDenial of Service(サービス拒否)からアプリケーションを保護する カスケード障害の可能性を制限する リソースの使用量を測定し従量課金に利用できる レートリミットの実装アルゴリズムには以下のようなものがある 固定ウインドウ(Fixed window) 固定期間内の制限 スライディングウインドウ(Sliding window) 直近の期間内の制限 トークンバケット方式(Token bucket) 総リクエスト数(トークンのバケツ)を定義しリクエストごとにトークンが利用される。バケツは定期的に充填される リーキーバケット方式(Leaky bucket) リクエストが処理される速度は固定で、バケツから溢れ出るリクエストを漏れ(リーキー)として扱う APIゲートウェイを利用している場合、ゲートウェイに配置するとよい
-
Book/SRE サイトリライアビリティエンジニアリング