負荷分散が下手なのはMSのお家芸。結局ネットワーク系は相変わらず弱いんだから他と協業した方が良いと思うんだけどなぁ…
全国のお客様およびパートナーの皆様へ
先週発生した Microsoft 365 の障害により、お客様およびパートナーの皆様の日々の業務や事業運営に、多大なご迷惑とご心配をおかけしましたことを、改めまして心よりお詫び申し上げます。
本件は技術的な問題によるもので、サイバー攻撃または AI や AI エージェントに起因するものではありません。多くの Microsoft 365 サービスの前段に位置するネットワーク ゲートウェイにおいて、次の 3 つの要因が重なり、グローバル規模の障害に至りました。
第一に、特定の負荷条件下で、サーバーが過負荷となり応答不能に陥る潜在的な不具合がありました。これは、Microsoft 365 のネットワーク ゲートウェイ サーバー専用に用意した修正プログラムに起因するものです。この修正プログラムは本年 7 月から全世界へ順次展開され、3 か月以上にわたり、本不具合は顕在化していませんでした。
第二に、障害発生の約 15 時間前、Teams は、利用するネットワーク ゲートウェイを Exchange Online も利用しているプライマリ ゲートウェイへ切り替えました。これにより同ゲートウェイの負荷が増加し、トラフィックのパターンも変化しました。なお、この切り替えは、通常の運用手順に従ったものでした。
第三に、その時点で、前日に発生した別の問題により、ネットワーク ゲートウェイのサーバーの約 14% が停止していました。全体の処理能力には十分な余裕があったため、この停止だけではお客様への影響は確認されていませんでした。しかし、前述の切り替えによる負荷の集中と重なったことで、その余裕が大きく減少しました。
このように、負荷の増加とサーバー容量の減少が重なった結果、潜在していた不具合が顕在化しました。リクエストが滞留して最終的にサーバーが応答不能に陥り、障害は世界各地のネットワーク ゲートウェイ基盤へと連鎖的に拡大しました。また、通常より復旧に時間を要したのは、サービスを復旧したサーバーに、待機していたトラフィックが一斉に流れ込み、再び過負荷となったためです。当社は本不具合が原因であることを特定後、該当する処理を従来の正常な状態に戻すためのアップデートを開発し、サービスを段階的に復旧いたしました。
障害の発生以降、処理能力を増強するとともに、トラフィックのリダイレクトと接続処理に関する監視を強化しました。あわせて、影響の連鎖的な拡大を防ぐため、負荷を分散する制御策を導入しております。また、障害中に滞留したメールが配信不能として送信者に返送されないよう、メールの配信期限を延長いたしました。事後検証報告書(PIR)は、Microsoft 365 管理センターで公開しております。
お客様が当社サービスに寄せてくださる信頼に応える責任を、私たちは極めて重く受け止めています。今回の教訓を確実に生かし、再発防止に全力を尽くしてまいります。