組み込みマイコンにおけるベンチマーク利用法の新しい動向 ―― 車載，産業機器，民生機器などの分野別ベンチマークを提供するEEMBC（エンバシー）
組み込みプロセッサやFPGAを搭載した基板の性能を比較してみたいと思うのは，システム設計者にとっては当たり前のことだろう．このプロセッサの性能をはかる目安としてMIPS値やdrystoneが一般的に使われているが，より組み込みシステムの用途に特化したパフォーマンスをはかる基準が提示され，多くのCPU，FPGAベンダが参加してベンチマークの基準が策定されてきた．この成果を公表する． （編集部）
ベンチマークとはなにか？
ベンチマークは，もともと作業台に記された刻印が，ある測定基準になっていたことに起源を持ちます．その後作業台の刻印は改良されて物差しに変わりました．ことマイクロプロセッサに視点を移すと，その性能を客観的に測定および比較ができ，信憑性のある方法で評価できることが重要です．
プロセッサを選択する場合，セット・メーカにとっては実際に利用するアプリケーション・ソフトウェアを実行して比較すれば，いちばん正確な結果が得られると思われます．しかし，比較の段階は開発の初期段階であるため，まだアプリケーション・ソフトウェアがポーティングされていない場合がほとんどです．また，アプリケーション・ソフトウェアは性能評価を念頭に書かれているわけではないので，コードを書き換える手間が必要です．このような場合にベンチマーク・ソフトウェアは比較を容易に実現できます．
現在入手可能なベンチマーク・ソフトウェア
表1に，組み込み市場で一般的なベンチマーク・ソフトウェアを示します．
| ベンチマークの名称 | Dhrystone | SPEC | BDTI | MediaBench | MiBench | EEMBC |
| 策定目的 | 汎用プロセッサの整数演算処理性能を評価・比較する | 汎用プロセッサ，メモリ，コンパイラの性能評価と比較 | 信号処理用途向けに性能の評価と比較を行う | 画像処理，通信，DSP用途向けに性能評価と比較を行う | 六つの組み込み用途向けに性能評価と比較を行う | 七つの組み込み用途向けに処理・消費電力の性能評価と比較を行う |
| 策定は1社か企業連合か | １社 | 連合体（約45社の会員企業） | 1社 | 1社（大学） | 1社（大学） | 連合体（約50社の会員企業） |
| 評価内容 | 処理性能 | 処理性能 | 処理性能 | 処理性能 | 処理性能 | 処理性能と消費エネルギー |
| 用 途 | 汎用プロセッサ | サーバ，ワークステーション，高性能数値演算処理，UNIX系画像処理 | DSP | マルチメディア，通信 | 車載，民生機器，ネットワーク，OA，セキュリティ，通信機器 | 車載・産業機器，民生機器，Java，OA機器，ネットワーク機器，通信機器，ストレージ機器 |
| 合成ベンチマークか実用途ベースか | 合成 | 実用途 | 合成 | 実用途 | 合成 | 合成 |
| 第三者によるスコアの検証・認定 | なし | なし | 存在するが，認定されていないスコアを公開することは可能 | なし | なし | 検証・認定はスコアを公開するための必要条件 |
| 近年の流れ | ― | サーバ向けにエネルギーと処理性能を評価・比較する指標を策定する委員会を設置 | STB，マルチメディア携帯電話などのビデオ用途向けにBDTI Video Benchmarkをリリース | ― | ― | 消費エネルギー測定法を標準化した |
| ソフトウェアは有償か 無償か | 無償 | 無償 | 有償 | 無償 | 無償 | 有償 |
表1 組み込み市場で一般的なベンチマーク・ソフトウェア
DhrystoneとSPECは古くから存在し，プロセッサ・ベンダを含めて広範囲に利用されています．
BDTIは信号処理市場でよく引用されます．MediaBenchとMiBenchは産業界ではあまり用いられませんが，大学などの学術機関では一般的です．その理由は，用途別ベンチマークにも関わらず，ソース・コードが無償で提供され，産業界でプロセッサ選定時に重視されるスコアの信憑性よりも，ベンチマーク開発そのものやプロセッサのアーキテクチャとの関連性，コンパイラの最適化に関心があるからです．
EEMBCの会員企業は約50社あり，整備されたベンチマーク策定プロセスと公平な策定基準を持つことで産業界の厚い信頼を得て，実質的な業界標準ベンチマーク・ソフトウェアになっています．
