システム障害対応

7/31(火) 21時頃、家でビール飲みながらくつろいでいると、担当しているシステムに障害が発生しているとの一報を受ける。
しかも、悪いことに顧客のサービスが停止しているとのこと。


しばらく自宅で、現場の担当者からの情報収集をしていたが、どうも状況がよろしくない。


自社の上層部に状況をエスカレーションして、すぐTAXY拾って顧客のデータセンターへ向かった。


日付変わって深夜1時頃、サービスが暫定復旧。
その後、朝6時には、完全復旧した。


結局、客先のデータセンターを朝7時頃開放され、自宅に戻りシャワーを浴びた後、別件で客先の打ち合せに向かった。


昼過ぎ頃、客先から会社に戻り、昨夜の障害の報告書作成。
約束した時間の1時間遅れで、客先に報告書を送付し、夜20時頃、やっと家に帰ってきた。


疲れた一日だった。。。


ちなみに明日の午後に、障害について顧客への報告会議。
「今回は久々に怒こられるだろうなぁ」と思うと、ちょっとブルーになる。
しょうがないけどね。


やはり、システムの障害対応はつらい！
品質の良いシステム、少なくとも単一障害では絶対にサービスを停止しないシステム構築を目指さなければ！久々に改めて認識した気がする。