「音楽と映像のマルチモーダル・コミュニケーション」という書籍を読んだ。
「音楽と映像のマルチモーダル・コミュニケーション」という書籍を読んだ。
この本の存在は神田竜氏のペーパーで紹介され、存在を知っていたが心理学の研究成果の概説であったために数年読まずに来た。
最近、VJ概論を作業中のラジオがわりによく聞く。各回、めちゃくちゃおもしろいし学びがある。クラブシーンやVJ論的なところで、自分が議論できることは少ないが、聴覚メディアと視覚メディアの協調的関係性みたいな議論の場合、大学院時代はよくそういったテーマで着想し制作をしていた。ただ昨今のVJをとりまく議論がすごくおもしろいので、視覚メディアと音楽の同期した体験というテーマへの興味が再燃しなにか知的に学びがありそうな本ということで上記の本をポチった。
「マルチモーダル・コミュニケーション」とは複数のチャネル・態にまたがる刺激や情報の受容のことを指し、おそらく今日的にはあまり使われない。音楽と映像を同時に視聴したときに、双方のメディアが双方干渉するということを観察的に導き出す、というような内容であった。音楽に対して映像を変化してみたりその逆を行ってみて「調和感」や印象を評価するというのがこの本の大きな目的である。こうした研究領域の価値を体系化するという点において、本書はおそらく日本でも稀有な存在であり、この領域について書籍で論を展開したという点ですでに意義がある。劇中のBGMや、音楽に付随する映像の価値を繰り返し強調する。しかしながら、観察結果から導かれることに関して、個々のアーティストが参照に足る論があるかというとかなり怪しい。なぜなら、経験的に「まぁそうだよね」となるからだ。
- 「大画面の映像がうつされた場合、より大きな音を欲しボリュームをあげる」
- 「速い音楽には、速い移動量の映像が調和する、その逆もしかり」
- 「音階の上昇・下降が、モチーフの上昇・下降もしくは拡大・縮小に調和する」
といったような考察が続く。やや強引に要点を抽出すると、音と映像の表現から、共通性を見いだせるモデルに対して同様の操作を関連付けることによって、生理的な快感情を得やすい、ということになる。人は異なる視覚と聴覚の異なるチャネルから同期した刺激を受けると、経験としての価値評価や印象がより大きくなる、ということが複数の実験によって淡々と示される。しかし、こうした知識は、2019年現在において、おそらく価値は低い。映像や音楽を制作するアーティストにとって、多少の作品の鑑賞と少しのプロトタイピングだけでも経験的に直観できうることの繰り返しだからだ。
この書籍で展開される実験は1990年台のものであり主にテレビサイズのディスプレイでの視聴覚体験を念頭にしているように伺える。得られる知識に物足りなさを感じて然るべきかもしれないが、それを経て、どういった議論を期待するかということも自覚できる。以下は自分が反芻して連想したことの羅列だ。（論を意識して構成したものとは異なるので注意。）
1. 同期を追求するだけの表現はおもしろみに欠ける
特に制作する側の人間は、単調な音と映像の同期をクリシエ、思考停止と断定してしまう。映像の歴史を少しでも振り返ると先行する快作がありすぎるし、音と映像の同期が快であることはあまりにも自明だからだ。
また、VJ表現において「同期を目的とした映像は、音楽が前提として存在する空間にとって、既知のパルスの上塗り・蛇足であり、極論不要」という論がある。凄腕VJの方がわりとこうした議論をするらしいのと、VJ概論のアフターアワーズでDJ Okadada氏がそれに準ずることを発言されているし、一定の納得感がある。鑑賞者の立場としては、同期している映像があると上述の書籍が示すとおり、快感情が高まるとは思うものの、不要だと考える人が一定数いるのも確かに理解できることだ。
2. 同期と非同期のバランス
真にデザインすべきは、以下に同期をさせるか、というよりも、以下に同期させないかのデザインが重要であるという論。鑑賞者の体験において、同期と非同期のバランス、時系列の快・不快の体験や感情曲線のデザインこそ重要であるはずだ。同期しているシーケンスがあるならば同期させないシーケンスをデザインすることで、感情曲線をエミュレートできる。テンションのピークにすべての装置を同期的に演出して鑑賞者の一体化を促すためには、それ以前の非同期なシーケンスを割り当てたり、ピーク後に同期をやわらげることでチルアウトさせられるかもしれない。
いかに同期構造や支配的なリズム構造を避けるか、ポリリズミックなアプローチをとるか、という逆張りの論が魅力的に聞こえる。IAMASの同期に大和さんというポリリズム研究を行う方がおり、菊地成孔(とくにDCPRGの活動における氏の活動)の論を参照されていた。
3.「システム」に重きを置くAudio Reactive
「システム」に重きを置くAudio Reactiveは、VJ表現や音と同期した「映像表現」における領域から少し開放された議論ができうる。
自律的なシステムとして音と映像を同列に生成していくことのおもしろみはあり、それはAudio Reactiveというような呼称で議論される。実験の敷居が低く、かつ楽しいトランスマテリアル[1]の典型的な主題であり、Creative Codingの醍醐味的な部分でもある。その具体例として、iTunesビジュアライザに採用されたRobert HodginによるMagnetosphereは、無料ソフトにデフォルトで備わっているために盲目的に凡庸な造形と思われてしまい過小評価されがちだが、Audio ReactiveやGenerative Designという文脈では非常に強度のある成果であると思う。楽曲に対してあれだけ多彩に振る舞えるソフトウェアは稀有だ。
音と映像の同期だと一見陳腐だが、それをシステムとしてモデル化し、自律的に動作するもの、もしくはそうした表現領域の総体については、おもしろい議論が展開できる余地がまだある。付随して、岩井俊雄の「映像装置としてのピアノ」の派生的系譜（音ゲーとかも類しそう）、視聴覚メディアにおける技術的なエクストリームを追求するDemosceneなども周辺領域として思い浮かぶ。
クラブイベントの中でも音楽ジャンルに依拠したパーティとは若干ノリを異にするBRDGやInterim Reportが特に好きな点は、クラブという場をシステム的な主題の実験場として捉えているように感じられるからだ
4.有限の矩形領域に投影される映像の限界
プロジェクタによる映像表現のエントロピーは照明群のそれにあっさり負ける。鑑賞者の快や没入感を最優先させるならば、照明装置や建築的意匠といった、よりプリミティブな感性に訴えるメディアにおける表現に優先順位を与えるべきという論だ。音楽会場に対して、複数のメディアをデザインして演出を企画する場合、ライティングとの連携に優先順位をシフトしていくことが正攻法である、という考えは感情的に納得しかねるところもあるが、合理的で一定の正しさがある。
制作のモチベーションと結びつくところ
美術史の議論が自分にとってベースとなっている分、さまざまな観点で批評的な議論をするのはおもしろいものの、表現をする立場としては、議論の先になにか自分の声を抽出して表象させたいという願望も常にある。自分の内なる興味をひく論点を列挙していったときに、中でも自分の制作へのモチベーションにつながりやすいようなところは、以下のようなところだった。
- 1.音から（極力オペレーションを介さずに）自律的に映像を生成するAudio Reactiveシステム
- 2.音とCG図像のトランスマテリアルを実現するソフトとそのインターフェース
- 3.ソフトウェアによる音楽・建築（空間的意匠）のブリッジ、グルー
上記のようなところに投資していきたい。というか振り返るとそういうことに着目して手を動かしてきた気がする。
- 1. → Solid Substance Jocky、Generative Nature、他つくってきたVJアプリ
- 2. → Sequence Designer、 Interface Reality
- 3. → Ripples、Test Pattern
ただまだ作例については表現として未熟な面も多いし、その時のリソースとスキルセットでやれた結果でしかない。規模的にも小さいので今後とも商業案件・非商業案件とわずチャレンジしていきたい。こうした領域について表現可能な枠があれば何卒お声がけおねがいいたします。（仕事であれば音にかかわらないコーディングやビジュアライズ、ビジュアルデベロップメントなどなんでもやります。唐突な宣伝）
脚注
[1]久保田晃弘「遙かなる他者のためのデザイン」の中で、レフ・マノヴィッチの「トランス・コーディング」を引用・発展させる形で紹介された言葉。バイオマテリアルがソフトウェアと同じようにエンジニアリングできる対象であることを例証して、明らかに様相が異なるメディア同士の相互変換性といった意味あいで用いられている。