手直しが進むサーバ性能テスト--業界団体TPCが複数の代替案を準備

　サーバは1992年以来劇的な変化を遂げてきた。しかし、その変化に追従できていないものが1つだけある。サーバのパフォーマンスを測定する手段として最も幅広く利用されている速度テストがそれだ。

　業界団体のTransaction Processing Performance Councilはいま、この問題に取り組んでおり、誕生から13年が経つ「TPC-C」テストの後継となる新たなテストの導入を計画している。

　Unisysの代表として同コンソーシアムに参加するJerrold Buggertによると、この後継テストは「TPC-E」と名称で呼ばれており、2006年に登場する見通しだという。同テストは、現代のデータベースサーバの作業内容をよりよく反映し、低コストでの運用が可能で、型破りなハードウェア／ソフトウェア構成による不自然に高いスコアの影響を受けにくくなるよう設計されている。

　ベンチマークの結果は、単に自慢したり、エンジニアが新しい設計を評価するためだけに有益なものではない。これらの結果は、多種多様なハードウェアやソフトウェアを比較するための、完璧ではないが有用な手段として、新たに製品を購入する顧客の間で幅広く利用されている。

　実際のところ、既存の速度テストはいずれも、多くの顧客にとって評価を行う上での非常に重要な手がかりとなっている。Buggertは、顧客が入札を要請するために用意する「提案依頼（RFP）のなかで最も多くに参考にされるのがTPC-Cだ」と述べている。SAPのSDテストのような代替案に比べて、TPC-Cのほうが役に立つ理由の1つは、同テストがパフォーマンスだけでなく性能対価格比も測定することにある。

　同テストの重要性は、2001年にSuperdomeサーバのスコアが予想を下回った際、Hewlett-Packard（HP）がその理由を探るために投じたコストや労力を見れば理解できる。同社はこの問題を徹底的に調べるべく100万ドル以上を投じた。この金額は、テストを故意に妨害したとして社員を訴えた訴訟で同社が明らかにしたものだ。

　同コンソーシアムが改良に取り組んでいるのはTPC-Cだけではない。米国時間16日には、アプリケーションサーバと呼ばれるミッドレンジマシン用の新しいベンチマークが公開される予定だ。

TPC-AppとTPC-DS

　このTPC-Appテストは、データベースサーバやウェブサーバをはじめとする各種アプリケーションサーバとのデータのやりとりといった典型的な作業を、これらのマシンがどの程度うまく処理するかを測定するもので、そのスコアは1秒間に処理したWebサービスの数で示される。そして、このテストの結果から、アプリケーションサーバで使われている2つの競合技術--Microsoftの.Netと、Sun Microsystemsなどが推すJavaの性能を比較できるようになる。

　TPC-AppはTCP-Wと呼ばれるテストの後継となる。TCP-Wテストには25台のサーバを動かす必要が頻繁にあるなどコスト面で問題があった。さらに、同テストはアプリケーションサーバのパフォーマンスだけでなく、補助的なマシンに加え、情報をキャッシュするサーバのパフォーマンスまで測定するという問題もあった。Buggertによると、このプロセスは範囲があまりに幅広く「何を測定しているのかわかりにくかった」という。

　Buggertによると、TCP-Appの開発には、IBM、Microsoft、Hewlett-Packard（HP）、BEA Systems、Oracle、Dell、Unisys、Advanced Micro Devices（AMD）、そしてIntelの各社が携わっているという。

　また、もうひとつ別のテストも開発が進んでいるという。これは、1999年に導入されたTPC-Hテストに代わるものだ。同テストはデータウェアハウスの性能を測定する。データウェアハウスとは、購買トレンドのような情報を引き出すために大量のデータを処理するサーバ群を指す。

　TPC-DSと暫定的に呼ばれているこの代替案には、現代のデータウェアハウスの利用状況がよりよく反映されている。Buggertによると、たとえばこれらのサーバでは、異なるマーケティングキャンペーンが売上に与えた影響を地域別に分析するために、複雑なクエリを処理する可能性があるという。また、この新しいテストでは135種類のクエリをサポートすることになるが、それに対してTPC-Hでは25種類しか対応していなかった。この変更により、TPC-Hテスト専用に最適化されたシステムを構築することがいっそう難しくなり、不自然に高いスコアが出ることを防げるようになるという。