グーグルのクラウドを支えるテクノロジー　＞　第169回　Googleの大規模データ処理システムのプロファイリングデータ（パート3）

＃＃＃

はじめに

　前回に続いて、2023年に公開された論文「Profiling Hyperscale Big Data Processing」に基づいて、Googleの大規模データ処理システムのプロファイリングデータを紹介します。今回は、前回に紹介できなかった、「システムを構成するノードによるCPU処理時間」の詳細について説明します。

CPU処理時間の内訳

　前回の記事で、プロファイリング対象の処理時間を階層的に分割することを説明しました。そこでは、「システムを構成するノードによるCPU処理時間」を次の3つに分割すると説明しましたが、それぞれの内訳はまだ述べていませんでした。

・Core Compute（アプリケーションとして必要なデータ処理の時間）
・Datacenter Tax（分散処理に伴うオーバーヘッド）
・System Tax（その他のOSレベルの処理時間）

　ここで、それぞれの内訳について説明を加えておきます。まず、「Datacenter Tax」の内訳は、図1になります。分散処理のためにノード間でデータを移動する際に必要な処理が含まれています。

この続きは以下をご覧ください
リンク