ハイパフォーマンス・コンピュータの組み込み機器への応用
「AURORA」はIntel社のサーバ・ワークステーション向けCPUであるXeon(Nehalem-EP)を2個搭載する,高い演算能力を持ったスーパーコンピュータ向けのHPC(HighPerformanceComputer)ボードです.ここではこのボードの特徴と組み込み機器への対応について解説します.
組み込み技術を生かしたHPC
「AURORA」はIntel社のサーバ・ワークステーション向けCPUであるXeon(Nehalem-EP)を2個搭載する,高い演算能力を持ったHPC(High Performance Computer)ボードです.写真1にAURORAの外観を示します.
写真1AURORAの外観
現在,高性能コンピューティング分野では搭載するコア数を増やすことによってパフォーマンスを確保する手法が用いられており,AURORAもプロセッサを複数使用してコア数を増やすことでMPP(MassivelyParallelProcessing:超並列処理)システムを構築することが出来ます.搭載するコア数を増やして並列処理を行う場合,スペースや発熱をいかに抑えるか,また,信頼性をどのようにして確保するかといった問題が発生します.こういった問題は組み込み分野では常につきまとう問題であり,組み込み分野で培った技術を用いて,省スペースおよび高信頼性の確保を実現しました.つまり,スーパーコンピュータに使用される高い演算性能を持った上で組み込み分野に必要とされる要素を取り入れたHPCがAURORAです.
AURORAの特徴
AURORAの内部構成(図1)と仕様(表1),および組み込み用途として使用する上での特徴的な機能を解説します.
図1 AURORAの内部ブロック図
●高性能CPUとチップセット
AURORAは,高性能CPUであるXeon(Nehalem-EP)を2個搭載しており,1枚当たりの演算性能は95GFLOPSです.チップセットは,Tylersburgを搭載し,チップ間を高速インターフェースQPI(QuickPathInterconnect)で接続しています.一般的に組み込み用として使用されるCPUをはるかにしのぐ高いCPUパワーを有しています.さらにXeon5600番台(Westmare-EP)が搭載可能で,今後,SandyBridge-EPの搭載も予定しています.
●直付けオンボード・メモリ
メモリは,DDR3を最大24Gバイト搭載可能です(12Gバイト搭載時=1333MHz,24Gバイト搭載時=1066MHz).ソケットを使用せずに直付けのオンボード実装とすることにより,組み込み分野で要求される高い信頼性と省スペースを実現しています.
●広帯域,低レイテンシのインターフェース
ボード間のデータ通信用としては,3D-TorusNetworkを採用しています.3D-TorusNetworkは,隣接するコアとのデータ通信用としてスーパーコンピュータでは多く使用されているネットワークです.CPU同士を1対1で接続することにより,広帯域で低レイテンシのインターフェースを実現できます.AURORAでは,3D-Torus Networkを構築できるように10Gbps/linkを6link用意しています.CPU間に広帯域で低レイテンシのインターフェースを持つことで,CPUパワーが不足したとき,CPUを増設して分散処理を行えます.32枚のAURORAを接続(64CPU/256コア)した場合の演算能力は3TFLOPS,256枚(512CPU/2048コア)の場合には24TFLOPS
となります.
組み込み分野で使用される場合,CPU間通信だけではなく,いろいろな周辺機器との通信を高速に行う必要があります.そこで,AURORAの3D-Torus用インターフェースはFPGAと各種のインターフェース[10GビットEthernet(XAUI),10Gbps/2GbpsFibreChannel,PCIExpress,InfiniBandなど]に対応したPHYを採用しています.ボード上のFPGAは,基本的に高速インターフェースのコントローラとして使用しています.組み込み分野で特別な処理が必要な場合,大規模なFPGAを搭載しているのでAccelerationEngineを実装することも可能です.また,ボード間の同期を図るために使用するDirectI/Oを備えています.
●QDRInfiniBandインターフェース
3D-TorusNetworkとは異なり,スイッチト・ネットワークを形成することが可能な40GbpsのQDRInfiniBandインターフェースも有しています.ネットワーク接続を通して,データ・ストレージなどへのアクセスを高速・広帯域で行えます.コントローラとして,米国MellanoxTechnologies社のConnectXInfiniBandAdapterを搭載しています.
表1AURORAの主な仕様
水冷システムを採用
高いCPUパワーを持つボードを使用する場合,常に問題となるのが排熱です.高性能なCPUはより多くの熱を発生するため,一般的な空冷による冷却では,大きなヒートシンクや強力なファンを搭載して熱問題に対処します.しかし,大きなヒートシンクはスペースの増大となり,ファンを使用することは経年変化による回転数の低下に伴う信頼性の低下,ほこりの流入などによる耐環境性の悪化などにつながります.このような問題に対応するため,AURORAでは水冷システムを採用しています.写真2に水冷用のコールド・プレートを取り付けた状態のAURORAを示します.水冷システムを使用することにより,空冷用のヒートシンク領域を確保する必要がなくなり省スペース化されます.また,空冷用ファンが不要となることで,高い信頼性を維持することが可能となります.
写真2 水冷用コールド・プレート付きAURORA
ラグド・デザイン
ラグド(Rugged)デザインとは雨やほこり,急激な温度変化や衝撃などの厳しい環境下での動作に対応した設計を表します.AURORAの冷却機構は水冷以外にコンダクション・クール(ファンレス)に対応することが可能です.コンダクション・クールに対応することにより,空冷であってもファンレスとなり,高い耐環境性と信頼性を実現することが可能です.
このように,コンダクション・クールに対応してファンレス化していることやラグド対応コネクタの採用,ソケットを使用しない直付けオンボード・メモリなど,AURORAは厳しい環境下でも使用可能な設計となっており,航空分野など高い耐環境性が求められる分野での使用にも適するラグド・デザインHPCです.
組み込みへのHPC分野の開拓を目指す
産業用組み込み機器分野への応用も可能なHPCとして開発したAURORAはMRI(磁気共鳴画像)などの医療機器やレーダなど,高速な画像処理にCPUパワーが必要とされる分野への応用が可能な高性能CPUボートです.今後,高い演算能力が必要な分野への応用を提案し,産業用組み込み機器で使用するHPC分野を開拓していきたいと考えています.