サーバトラブル事例(2)

サーバトラブル事例(1)の続き。

問題が起きたときは、まず慌てずに問題の切り分けを行います。切り分けとは、何が原因で問題が起きているかを把握することです。

まず、ハードウェアの問題なのか、ソフトウェアの問題なのかを探ります。

OS は長時間安定して動いていても、なんらかのきっかけで reboot すると、突如調子がおかしくなることがあります。

弊社の場合、全てのサーバを FreeBSD で動作させており、多様な機種を同じ kernel で動作させています。この時も、まったく同じ kernel は他の機種で問題なく動作していたため、kernel の問題ではなさそうだ、という結論になりました。(これだけでは 100% 違うとは断定できません)

次に、ラックを疑います。ラックはサーバの動作に一見関係なさそうですが、ラックの搭載位置が変われば、対地電位なども変わってきますし、空調の具合も違いますから、冷却関係に影響することもあります。

まずは、一旦古いラックにマシンを戻し、そこで動作させてみることにしました。

すると、古いラックに移動させたマシンは、reset、reboot が起きず、問題なく動き続けます。これで、問題はラックに起因することだろう、という検討が付きました。

次に、ラック移動と同時に変わったものを疑います。ラックが移動すれば、当然、電源も違うタップから供給することになります。

そこで、古いラックに入れたまま、新しいラックから給電します。すると、また、reset、reboot 現象が起きることが確認できました。これで原因は、電源関係だ、という可能性が濃厚になります。

データセンターの担当者に確認すると、ラックには A系統、B系統の電源系統から給電されていて、古いラック、新しいラックとも、同じ電源系統だということでした。

テスターで電圧を測ってみましたが、A系統、B系統、それぞれ古いラック、新しいラックとも、電圧はほぼ100V弱で同じでした。しかし、テスターの電圧表示というのは実効値であり、給電装置が実効値を見て電圧を調整してるので、同じになって当たり前です。実際の波形は、現場におっしろスコープが無かったので確認できませんでしたが、違った可能性があります。

とりあえず原因は電源関係と分かったので、解決することにしました。

続きは後日。