第52回 知の拠点セミナー
「マルチモーダル感覚情報処理過程の理解に基づく高感性聴空間システムの構築」
| 日時 | ： | 平成28年1月15日(金) 17時30分～ |
| 場所 | ： | 京都大学東京オフィス （東京都港区港南2-15-1 品川インターシティA棟27階： アクセスマップ） |
| 講演者 | ： | 鈴木 陽一 （東北大学電気通信研究所 教授） |
私たちは，空間の中で他者や事物，文化や自然に出会い，その折々の関係性を結び持つ。そしてその空間から多様な感性を感じとる[1]。そのような空間を人工的に創り出す工学的システムの開発，高度化に当たっては，人間が自ら置かれた環境，空間を認識する情報処理過程の深い理解が不可欠である。この講演では，このような視座に基づいて講演者が進めてきた研究成果の紹介を以下の3部構成で行った。
①聴覚を中核とするマルチモーダル感覚（多感覚）情報処理過程の解明
感覚系ごとに時間・空間分解能が大きく異なるなか，人間は，外界から複数の感覚器に同時並列的に入力されるマルチモーダル感覚情報を時間軸と空間軸にわたって統合処理している。これにより，自分の外界の構造をリアルかつ安定的に認知していると考えられる。
視聴覚空間の知覚に関しては，従来，腹話術効果に代表されるように，中心視野において高い空間分解能を持つ視覚情報が聴覚より優先されるとされてきた。しかし，時間情報が重要な場合には，逆に視覚に比べ高い時間分解能を持つ聴覚情報が視覚に優先される場合があることが明らかになってきている。我々は，さらに，視覚の空間分解能が限定的となる周辺視野においては，聴覚的な運動情報が視覚的な運動知覚を引き起こすこと（SIVM，sound induced visual motion）を世界に先駆けて見いだしている[2]。
また，音空間の知覚には聴取者の運動が極めて効果的であることを，音空間の知覚精度や感じ取れる感性など様々な観点から明らかにしてきた。これは人間の周囲を取り巻く音環境，音空間の情報取得，分析，認知過程が，聴覚情報だけではなく，前庭感覚，運動感覚等を含めたマルチモーダル感覚情報処理過程であると考えるべきであることを明確に示すものである。
これらの結果は，マルチモーダル感覚情報の時空間統合が，従来考えられてきたよりも，脳内情報処理過程の早い段階から多様かつ密接に行われていることを示すものである。
②臨場感，迫真性などの高次感性情報を規定する要因の解明
高次感性を表す言葉として最もよく使われているのが「臨場感」である。しかし一般市民がそれをどのように理解しているかは必ずしも知られていなかった。そこで我々は質問紙法による大規模な調査を行い，臨場感における聴覚情報と視覚情報の重要性や多次元性などを明らかにした[3]。また，「場」の情報である臨場感に加え，着目する事物の感性を表すと考えられる迫真性という概念を提示し，迫真性が臨場感とは異なる高次感性情報であることを示してきている（図1，[4]）。
③3次元音空間システム技術の開発
高い感性を持つ3次元音空間情報の取得や提示には，音空間知覚過程がマルチモーダル感覚情報処理過程であることを強く意識することが必要である。我々はそのような脳内情報処理過程をアクティブ聴取と呼び，その視点に基づいてシステム開発を進めている。
音空間情報の取得技術では，空間と時間を超えて自由な聴取点に対応しアクティブ聴取が可能な超多チャネル小型マイクロフォンアレイ（SENZI）を中心に開発を進めている（図2，[5]）。提示技術（3次元聴覚ディスプレイ技術）では，通常のヘッドフォンを用いて高い音空間表示性能を持つシステムや，多チャネルスピーカアレイを用いて音場の波動性まで含めて精密に合成する高次アンビソニックスシステムの開発を進めている（図3，[6]）。さらに，これらの成果に，映像ディスプレイやモーションプラットフォームを組み合わせ，様々なマルチモーダルディスプレイの開発を行っている（図4）。
これらの開発システムは，エンタテインメント，遠隔協働，福祉応用など，多面的な応用にすぐに役立てうる。実際，3次元聴覚ディスプレイを中核として視覚障碍者の空間認識能訓練用システムを構築し，高い訓練効果を持つのみならずQOLの向上にも有効であることを示している。
しかし，可能性はそれらに留まらないと考えられる。近年，情報通信技術の急速な進歩に伴い，日常生活の様々な局面でサイバー空間との関わりの多様化，高度化が進んでいる。この傾向が今後もますます強まるのは確実であり，サイバー空間は現実社会の補完役にとどまらず，実空間と一体化・融合したものとなる社会の実現も遠くはない。そのような社会では，現実空間とサイバー空間とを境界を意識させずにつなぎ，人間の高度な感性に基づく精緻で知的活動，文化活動を支援，拡張するための技術が必須の基盤となる。本講演で紹介した研究の成果は，そのような情報基盤の重要な要素技術になるものと考える。
1．行場, 画像ラボ, 26, 45-49 (2015).
2．S. Hidaka et al. Plos ONE, 4，e8188 (2009).
3．本多ら, 日本VR誌 18, 93-101 (2013).
4．寺本ら，日本VR誌 15, 7-16 (2010).
5．Sakamoto et al., IEICE Trans. Fund. 97, 1893-1901(2014).
6．Suzuki et al. Interdisciplinary Inf. Sci. 18, 71-82 (2012).
図1：迫真性と臨場感が異なる 図2：高精細252ch
感性評価特性を示す結果の例 マイクロフォンアレイ
図3：157ch高次Ambisonic 図4：超広視野角の視聴覚・
３次元聴覚ディスプレイ 前庭感覚ディスプレイ