代替現実,透明プリウス,人型入力デバイスなど,新しいヒューマン・インターフェースの応用事例が一堂に ―― デジタルコンテンツEXPO 2012

北村 俊之

tag: 組み込み

レポート 2012年10月31日

●遠隔地にいる複数の人の会議を臨場感を持たせて再現

 NTTコミュニケーション 科学基礎研究所は,遠隔地にいる複数の人の会話を,その場で聞いているかのように再現する次世代ビデオ会議システム「MM-Space」を展示した(写真5).本システムは,遠隔地にいる会議参加者の顔の映像と音声を取得し,会議室へ伝達する.会議室では,参加者が座ると想定される位置に,プロジェクタ,透過タイプのスクリーン,スピーカなどを配置し,その場で参加者の映像と音声を出力する.

 

写真5 NTTコミュニケーション 科学基礎研究所の「MM-Space」

 

 

 臨場感を出すため,参加者の映像は背景を除去した上で,透過型のスクリーンに等身大で投影する.実際の会話では,視線の移動や首振り,うなずきなどの動作が,非言語情報として重要な役割を果たしている.そこで,会話者の頭の動きをトラッキングし,スクリーンの物理的な動きとして反映させている.スクリーンにはアクチュエータが接続されており,計測した会話者の頭部の角度と同期して,スクリーンの角度を動的に制御する.これにより,「誰が誰を見ているのか」,「自分に視線が向けられているのか」などが分かりやすくなる.従来のビデオ会議システムで問題となっていた,視線方向の不一致を緩和できる.

 カメラにはカナダPoint Grey Research社のDragonflyを使用し,30フレーム/sの速度でVGA画像を取得している.スクリーンの角度を制御するアクチュエータには,米国Directed Perception社(現FLIR Motion Control Systems社)の「PTU(Pan-Tilt Unit)-D46-17」を使用する.透過型のスクリーン(G-Screen Through型,透過率は97%)の外形寸法は450mm×450mm,重さは約570g.プロジェクタには,セイコーエプソンの「EB-1925W(4000 lm,解像度はXGA)」を用いている.

 デモンストレーションでは,視線方向の表現に焦点を当てるため,左右の首振り運動(パン)のみを再現していた(上下のチルト姿勢は直立に固定).頭の動きのトラッキングには米国Polhemus社の磁気式モーション・センサ「FASTRAK」)を利用している.

 本システムは,Innovative Technologies特別賞のEcology部門を受賞した.

 

●手書きの楽譜を読み取って自動演奏

 首都大学東京 IDEEA Lab.は,紙に記述した音符情報をイメージ・センサで取り込んで,楽曲を演奏するシステム「Gocen」のデモンストレーションを行った(写真6).音楽教育への展開のほか,譜面をそのままユーザ・インターフェースに用いるパフォーマンスを実現できる.スキャン操作はユーザが手動で行う.再生速度の設定や逆再生,好きな場所からの再生などを直感的な操作で指示できる.さらにベンドやコーラスなどの変化をリアルタイムに付加することも可能.

 

写真6 首都大学東京 IDEEA Lab.の「Gocen」

 

 

 本システムは,スキャン機器,パソコン,音源機器から構成される.スキャン機器で取り込んだカメラ画像を,OpenCVライブラリと独自のアルゴリズムによって解析し,記述された音程を認識する.スキャン機器は,マイコン,CMOSカメラ,操作用スイッチ,振動モータなどを搭載している.

 記述するペンと紙には,ボールペンやコピー用紙などを利用できる.譜面上で音量を指示する場合,フォルテやピアノ,アクセント記号などを用いるのが一般的だが,本システムでは符頭(音符のたま)の大小を音量として扱っている.また,楽器を示す場合,ピアノであれば「pf」,ギターであれば「gt」などの省略文字列が利用される.本システムでも,手書きで記述した文字列をカメラで読み取り,任意の楽器を選択している.

 

 

きたむら・としゆき

 

 

«  1  2
組み込みキャッチアップ

お知らせ 一覧を見る

電子書籍の最新刊! FPGAマガジン No.12『ARMコアFPGA×Linux初体験』好評発売中

FPGAマガジン No.11『性能UP! アルゴリズム×手仕上げHDL』好評発売中! PDF版もあります

PICK UP用語

EV(電気自動車)

関連記事

EnOcean

関連記事

Android

関連記事

ニュース 一覧を見る
Tech Villageブログ

渡辺のぼるのロボコン・プロモータ日記

2年ぶりのブログ更新w

2016年10月 9日

Hamana Project

Hamana-8最終打ち上げ報告(その2)

2012年6月26日