組み込みマイコンにおけるベンチマーク利用法の新しい動向 ―― 車載,産業機器,民生機器などの分野別ベンチマークを提供するEEMBC(エンバシー)
● MediaBenchは画像処理,通信機器向けのベンチマーク
MediaBenchは米国University of California, Los Angeles(UCLA)で開発された複数命令の並列処理,VLIW(very long instruction word)命令,SIMD(single instruction stream-multiple data stream)命令などについて,コンパイラが持つ機能の有効性を探求するために策定された,画像処理通信機器にフォーカスしたベンチマーク・ソフトウェアです.また応用分野を拡張したMiBenchが米国University of Michiganより発表されています.
MiBenchには自動車・産業機器,民生機器,OA機器,ネットワーク機器,セキュリティ機器,通信機器の6分野について,35種類のベンチマーク・ソフトウェアがあります.これらの大学発のベンチマークは無償ですが,ソフトウェアのバージョン変更,拡張,保守などがあまりされておらず,また,スコア結果の公正さを判定する第三者機関もありません.そのため,産業界においてはあまり利用されていません.
● EEMBCは車載,産業機器,民生機器などそれぞれの分野別のベンチマーク・スイーツを策定
1997年に,第三者の認定機関を用いたベンチマーク結果の検証まで行うプロセッサ・ベンダをおもな会員とするベンチマーク・コンソーシアムEEMBC(EDN Microprocessor Benchmark Consortium)が設立されました.EEMBCには車載・産業機器,民生機器,Java,OA機器,ネットワーク機器,通信機器,ネットワーク・ストレージというアプリケーションごとの分科会が存在します.それぞれの分科会では,分野別によく用いられる機能を評価するベンチマーク・ソフトウェアをベンチマーク・スイーツの形で策定し,業界標準として確立しています.
主にプロセッサ・ベンダやCPU IP(intellectual property)コア・ベンダから構成されるこの団体は,スコア値の信憑性を高めるため,プロセッサ・ベンダなどが測定した自社プロセッサのベンチマーク・スコアを,第三者機関であるEEMBC技術センター(EEMBC Technology Center)による検証と承認を経ずに公開することをかたく禁じています.
業界団体によるベンチマーク標準化の持つ意味
市場に存在するほとんどのベンチマークは1社あるいは数社が開発し,そのベンチマークを使うプロセッサ・ベンダなどが独自に測定結果をリリースするため,汎用性,信憑性を欠く場合が多くありました.前項で述べたように第三者機関による認定を受けないため,プロセッサ・ベンダの発表したベンチマークの測定条件が不明確な場合,またプロセッサ・ベンダが特殊なチューニングを施して高いスコアを出している場合などを見抜けないことが多く,ベンチマーク・スコアを技術的観点で比較目的に使えず,単にプロセッサ・ベンダのマーケティング・ツールと化してしまっているのが現状でした.EEMBCベンチマークは,従来あったこれらの疑念を晴らす形の業界標準ベンチマークを目指しています.
約50社の会員が各分科会に分かれてベンチマークの策定プロセス,策定,および標準化に関与することで中立性,広範囲なアプリケーションにわたるベンチマークの策定が可能になりました.また,ベンチマークの測定結果はEEMBC技術センターでの検証・認定を経ずに公開することができないため,公開スコアは信憑性の高いものとなります.結果として業界の信頼を得て,EEMBCベンチマークは組み込み分野での性能ベンチマークとして業界標準となっています.