学科システムトラブル

木曜日の話ですが... まぁ、システム移行直後なのでいろいろあるらしい。木曜日中に復旧しました。エラい!

単純に言うと、

＊　10GなiSCSIがファ0ームでトラブって代替機を使っていた
＊　代替機の設定かなんかがおかしくて iSCSI が停止
＊　iSCSI上のGFS2が飛んで
＊　その上の学科のVMが全部だめ
＊　無線LANなどの認証系も飛んだので結果的に全部のネットワークが停まった

という感じらしいです。停まったついで10Gに戻してとかやっている時に、少し手間取ったらしい。

既に僕が出動したってどうなるものでもないシステムなんですが、時間かかっているようなので見に行って、

＊　if up していてping 通らないなら Switch の方見れば?
＊　Switch 変なら reload すれば?

とか適当なこと言ってたら iSCSI は復旧して、あとは GFS2のdeamonの再起動とかで復旧したらしい。

＊　こういう時にアナウンスするためにサクラクラウド入れたんじゃないの?

と思うが、サクラ側のサーバはまだ用意できてなかったらしい。「あっとん,見てるだけならサクラの立ち上げれば?」

でも、サクラの方を用意するより早く復旧してしまったので、ちょっと残念だった。

あんまり,言いたくないが、

＊ GFS2は、また飛ぶ

ので、クラウド側も用意しておいた方が良いんじゃないのかな〜

ちょうど、Ingressなサーバ設定も重なったので心配させてしまったようですが、しばらくは安定して動くはずです。(と思いたい)

学科システムは、自分で面倒見ると言うよりは「ああしてくれ、こうしてくれ」とか言うだけの身分になったはずなんだけど、

＊　やはり、現場は面白い!

ですかね。

おっと、Bar Teada から呼び出し?! しょうがないなぁ。