SPEC 2006を2017に変換

SPEC値を使用して性能評価を行う際、SPEC 2006のスペック値とSPEC 2007のスペック値が変換できないか悩むことがあります。
例えば「5年前に導入したサーバをリプレースする際、どの程度の性能向上があるのか」や「保守が切れそうなオンプレミスサーバを仮想化基盤にマイグレーションして大丈夫か」等がありました。
完璧ではないですが、個人的にSPEC 2006をSPEC 2017に変換する方法について記載します。


下表の通りExpress5800/R110i-1 (Intel Xeon E3-1260L v5)とExpress5800/T110i-S (Intel Xeon E3-1260L v5)はCINT2006rateとCINT2017rateの両方でSPEC値が公表されているため利用します。下表は比較のため列名を変更しています。 CINT2006rateとCINT2017rate では出力される情報(列)が異なっていますので注意指定ください。

Benchmark メーカ サーバ コア数 CPU数 CPU クロック Base Copies Result Baseline
CINT2006rate NEC Express5800/R110i-1 (Intel Xeon E3-1260L v5) 4 1 Intel Xeon E3-1260L v5 2900 8 257 247
CINT2006rate NEC Express5800/T110i-S (Intel Xeon E3-1260L v5) 4 1 Intel Xeon E3-1260L v5 2900 8 257 248
CINT2017rate NEC Express5800/R110i-1 (Intel Xeon E3-1260L v5) 4 1 Intel Xeon E3-1260L v5 2900 8 27.9 26.2
CINT2017rate NEC Express5800/T110i-S (Intel Xeon E3-1260L v5) 4 1 Intel Xeon E3-1260L v5 2900 8 28.1 26.3

ResultとBaselineのSPEC値を比較すると、Express5800/R110i-1 (Intel Xeon E3-1260L v5)で Resultは9.2倍、Baselineで9.4倍 程度CINT2006rateの値が高いです。
また、Express5800/T110i-S (Intel Xeon E3-1260L v5)でもResultは9.1倍、Baselineで9.4倍になります。
上記の値を使用して、 CINT2006rateをCINT2017rateに変換すると以下のようになります。

NEC Express5800/R110i-1 (Intel Xeon E3-1260L v5)のResultを変換
・CINT2006rateのResult値 / 9.2 = CINT2017rateのResult値 (257÷9.2=27.90)
・CINT2006rateのBaseline値 / 9.4 = CINT2017rateのBaseline値 (247/9.4=26.27
類似のサーバをいくつか見つけて同様の計算をしみましたが、おおよそ CINT2006rateはCINT2017rateと比べてResultで9.0~9.2倍高く、Baselineは9.3~9.5倍高い結果になりました。
ちなみにResultはサーバに対してコンパイラを最適化していることに関係があるのか0(未評価)のサーバが多くありますので、Baselineを使用すると良いと思います。


サンプルとしてSPEC値が両方にあるサーバでの計算です。
用途としては、SPEC2006には値があるがSPEC2017 には値が無いサーバの想定SPEC2017のSPEC値を計算する場合(または逆の場合)にご利用ください。

ご参考まで。


Convert SPEC 2006 to 2017

When using SPEC values to evaluate performance, we sometimes wonder if SPEC 2006 spec values and SPEC 2007 spec values can be converted.
For example, “When replacing a server that was installed 5 years ago, how much performance improvement is there?” or “Is it safe to migrate an on-premise server that is about to run out of maintenance to a virtualized infrastructure?
Although not perfect, I will describe how I personally converted SPEC 2006 to SPEC 2017.

As shown in the table below, Express5800/R110i-1 (Intel Xeon E3-1260L v5) and Express5800/T110i-S (Intel Xeon E3-1260L v5) have published SPEC values for both CINT2006rate and CINT2017rate The table below shows the column names for comparison. The column names in the table below have been changed for comparison. Note that the information (columns) output for CINT2006rate and CINT2017rate are different.

Benchmark メーカ サーバ コア数 CPU数 CPU クロック Base Copies Result Baseline
CINT2006rate NEC Express5800/R110i-1 (Intel Xeon E3-1260L v5) 4 1 Intel Xeon E3-1260L v5 2900 8 257 247
CINT2006rate NEC Express5800/T110i-S (Intel Xeon E3-1260L v5) 4 1 Intel Xeon E3-1260L v5 2900 8 257 248
CINT2017rate NEC Express5800/R110i-1 (Intel Xeon E3-1260L v5) 4 1 Intel Xeon E3-1260L v5 2900 8 27.9 26.2
CINT2017rate NEC Express5800/T110i-S (Intel Xeon E3-1260L v5) 4 1 Intel Xeon E3-1260L v5 2900 8 28.1 26.3

Comparing the SPEC values of the Result and Baseline, the CINT2006 rate is 9.2 times higher for the Express5800/R110i-1 (Intel Xeon E3-1260L v5) and 9.4 times higher for the Baseline.
The Express5800/T110i-S (Intel Xeon E3-1260L v5) also has a Result of 9.1x and Baseline of 9.4x.
Using the above values, CINT2006rate is converted to CINT2017rate as follows
Convert Result for NEC Express5800/R110i-1 (Intel Xeon E3-1260L v5)
Result value of CINT2006rate / 9.2 = Result value of CINT2017rate (257 / 9.2 = 27.90)
Baseline value of CINT2006rate / 9.4 = Baseline value of CINT2017rate (247/9.4=26.27)
We found several similar servers and performed similar calculations, and found that the CINT2006rate is approximately 9.0 to 9.2 times higher than the CINT2017rate in Result, and 9.3 to 9.5 times higher in Baseline.
Incidentally, Result has many servers with 0 (unrated), which may be related to the fact that the compiler is optimized for the server, so Baseline is a good choice.

As a sample, the calculation is for a server that has SPEC values for both.
As a use case, please use it to calculate the assumed SPEC value of SPEC2017 (or vice versa) for a server that has a value in SPEC2006 but no value in SPEC2017.

For your reference.

関連記事

TOP