サーバトラブル事例(1)

もう2年ほど前に話になります。

当時、サーバが増え続けていたため、データセンターのあらゆるラックでサーバが動いていました。

ある時、整理をしましょう、ということで、バラバラになっていたサーバを1箇所にまとめる作業を行うことになりました。

うちから、サーバの技術者、ハードウェア担当などがデータセンターに作業に行ったところ、データセンターの担当者から、「この人数で作業やるんですか？」と言われてしまいました。力作業をやらない私を含めて、かなりの少人数だったのです。

データセンターに於ける作業は、できる限り少ない人数でやるべき、と考えています。それには様々な理由がありますが、一つにはセキュリティの点。サーバにはお客様の大切な情報が載っていて、お客様の大切なビジネスのために稼動しています。

そんなサーバに、(自社の社員とは言っても)人を不用意に近づけることは避けたく、接する人数は少なくするべきだと思います。

また、現場で人がたくさん居ると、ちょっとしたミスが起きやすくなります。間違えてケーブルを引っ掛けてしまった、とか部品を誰かが持っていってしまった、など。なまじ人が多いことで、作業を他人に任せがちになってしまい、誰もやってない、なんてこともありえます。(サーバの準備が終わったのに、ラックにレールが付いてない、とか)

データセンター作業は、手馴れていない人が居ると、居るだけ邪魔になります。うちでは、本番稼動のデータセンターには、手馴れていない人は連れて行きません。

データセンターの担当者には、「予定の作業時間に終わらないかもしれません」と言われたのですが、その予想に反して、予定作業時間を大幅に残して、物理移動を終えてしまいました。

さて、次は稼動テストです。(ここから私の出番です)ハードウェアは、ちょっとした環境の変化で、挙動が変わることがあります。

この時、問題が起きました。ある機種のサーバが、OS は boot しようとするものの、boot process の途中で、reset してしまいます。放っておくと、reset、reboot を繰り返す、という現象が起きるのです。

とりあえず残りのサーバをテストして稼動させ、この問題に取り掛かることにしました。

続きは後日。