（このブログは、2016年3月19日、九州大学大橋キャンパス多次元デザイン実験棟ホールで行われた中村滋延最終講義「音楽と映像の融合」の書き起こしをもとにしています。）
何をやっているか
本日はお忙しい中、私の最終講義を含む「freq Coda〜プログラムが表現する音と映像〜」にお越しいただき、御礼申しあげます。
さて、これから最終講義として「音楽と映像の融合」というタイトルで、私が創作者・研究者・教育者として取り組んできた内容について話をさせていただきます。
私は創作者・研究者・教育者として、作曲、メディア･アート、サウンド･デザイン、音楽研究、映像芸術研究、コンサート・プロデュース、音楽批評に取り組んできました。一見、多岐にわたっているようですが、いずれも「音による表現」に関わるものです。
現代音楽の作曲家としての私
メインは作曲です。私は自身を一貫して「作曲家」と名乗っています。作曲家にもいろいろなタイプがありますが、「現代音楽の作曲家」と自らを位置づけています。「現代音楽」という言葉はいろいろなとらえ方をされますが、ここではクラシック音楽の現在進行形としてください。クラシック音楽とは「西洋芸術音楽」のことです。その現在進行形ですから、バッハやモーツァルト、ベートーヴェン、ワーグナー、ブラームス、マーラー、シェーンベルクなどの音楽の系列上にあることを意識して作られている現代の音楽です。その作曲家になるためにはクラシック音楽の和声法、対位法、楽式論、管弦楽法などを勉強する必要があります。音楽大学でそうしたきわめてアカデミックな流儀で私は勉強してきました。
音楽大学での勉強を通して身についたのが、進歩史観に基づいた音楽史です。音楽の歴史を作曲技法の進歩の歴史としてとらえる見方です。進歩を、単旋律→多旋律→和声音楽→頻繁な転調→半音階→無調→音列音楽→音群的音楽→偶然性→コンピュータ音楽（現代テクノロジーを応用した音楽）→、という流れでとらえます。この進歩史観に基づいて、作曲家として評価されるためにはつねに新しい作曲技法を用いて創作し続ける必要があると思っていました。つまり作曲家としては前衛音楽に取り組まなければならないと思っていたのです。
時代的にも芸術における前衛ということが重要な価値を持っていた時代でした。「進歩と調和」を合い言葉にした大阪万博（Expo70）が開かれたのは私が大学２年生の時でした。西ドイツ館でシュトックハウゼン、鉄鋼館で武満徹やクセナキスなどの音楽が頻繁に上演されていましたし、パビリオンでは湯浅譲二や松平頼暁などの電子音楽が鳴っていました。まさに前衛でなければ現代音楽ではない、という時代だったように思います。
前衛音楽としてのムジークテアター
大学院在学中、1974年から76年まで前衛音楽を学ぶために当時の西ドイツ政府の給費留学生として国立ミュンヘン音楽大学に在籍しました。ミュンヘンは保守的な土地と言われるのですが、それでもバイエルン放送管弦楽団はMUSICA VIVAと題する現代音楽のコンサートを年に数回定期的に開催し、またレーンバッハ美術館のホールでは現代音楽コンサートStudio für Neue Musikを月に数回行ったりして、前衛音楽に触れる機会が充分にありました。加えてダルムシュタット夏季国際現代音楽講習会、ガウデアムス国際現代音楽週間、ドナウエッシンゲン現代音楽祭などにも積極的に出かけました。
そうした中で私がもっとも興味を持ったのがムジークテアター（Musiktheater）でした。ミュンヘンでD.シュネーベルのムジークテアターに触れ、ダルムシュタットでカーゲルの講義を聴き、彼のお弟子さん達のムジークテアターを鑑賞しました。
ムジークテアターとは視覚的要素を構成に取り入れた音楽作品のことです。視覚的要素が舞台上の演奏者や人物（俳優）の動作や装置、衣装、照明などであることから「Musik（ムジーク）=音楽、Theater（テアター）=劇」と呼びます。ここでの視覚的要素は音楽の構造的意味に関わるものです。
これについてわかりやすく説明します。音楽は複数の音から成り立っています。個々の音や和音にはそれぞれ構造的意味があります。調性の音楽では、例えばハ長調の音楽ではｃ（ハ）の音は主音であり、安定感や到達感、終結感などという構造的意味を持ちます。同じｃの音でも変ニ長調の音楽ではそれは導音であり、半音上行して解決したいという緊張感という構造的意味を持ちます。我々はこうした構造的意味を感じ取って音楽的感興を得ています。
今、ピアノで中央のｃを弱音で鳴らすのに、ピアニストが腕を高い位置から勢いよく振り下ろして弾いている場面を想像してください。聴衆はピアニストの動作から強音で和音が鳴らされると予想するでしょう。ところが鳴ったのが弱音のｃだとすると、そのｃに意外感やはぐらかし感という構造的意味を聴衆は感じることになるでしょう。この構造的意味は「視る」ことなしでは生まれません。
非常に単純な例を説明しました。ムジークテアターではこのように音楽の構造的意味を視覚的要素によって作り出していくのです。この点に私は前衛音楽としての可能性を感じて、1980年代はじめ頃からムジークテアターの創作に関わるようになりました。
ここで私が1984年に作曲した《箱》というムジークテアター作品を見ていただきます（映像例1を提示）。
この作品では舞台上に様々な形状の箱がうつぶせの状態で置かれています。その箱には音が隠されており、舞台上に現れた人物がその箱を持ち上げると箱から音がこぼれ出るというように設定されています。舞台後方に後ろに並んだ6名のヴァイオリン奏者が、箱が持ち上げられる様子を指揮者代わりにして演奏します。楽譜には箱の種類と音高との関係、箱の持ち上げられ方と音の表情との関係などがわりと細かく書かれています。その関係は一定ではなく、時間の経過とともに変化します。
結果、どういうことが起こるかを簡単な例で説明します。持続音が休みを挟んで断続的に鳴っている個所があるとします。それを音だけ聴けば単純で弛緩した印象しか与えません。しかし舞台を見ながら聴くと音の開始と終了の瞬間に緊張感が生まれ、音の存在感が増し、単調さから抜け出るのです。ヴァイオリン奏者は人物の箱を持ち上げる瞬間の動作を注視して演奏しますので、その緊迫感は音そのものにまで影響を及ぼすことになるのです。
コンピュータの導入
前述の《箱》の例では動作をする者と楽器を演奏する者とは別々に設定されています。この場合の演奏には動作の翻訳というニュアンスがつきまといます。動作そのものが演奏動作として直接的に機能しなければ隔靴掻痒の感を免れない、ということがやがて気にかかるようになっていきました。
そこで導入したのがコンピュータ音楽の要素です。1980年代半ばにはインタラクティブ・システムを盛り込んだコンピュータ音楽が登場してきましたので、その影響も受けています。インタラクティブ・システムを使うと舞台上に設置した様々なオブジェに触れる動作を演奏動作に変えることが出来るのです。例えばピアノの音をサンプリングしてコンピュータにあらかじめ保存しておきます。オブジェに何らかのセンサを仕掛けておくと、オブジェに触れるとそれが入力信号になってコンピュータに送られ、コンピュータに保存されていたピアノの音を鳴らすことができます。
ここで私が1991年に作曲した《Chatterbox》というムジークテアター作品を見ていただきます（映像例2を提示）。
これは一種のモノオペラです。登場人物は女性（ソプラノ）が一人です。女性は自身の内奥の声と対話していくという設定で、台詞は用いられておらず、音楽的ニュアンスだけで様々な感情を表します。女性は内奥の声に問いかけるように歌いながら目の前に置かれた箱を持ち上げていきます。すると箱の中に隠れていた内奥の声が問いに対する応答として聞こえてきます。問いに対する応答はランダムに出現し、女性はさらにその応答に反応して音楽的ニュアンスを変えて問いかけて続けていきます。応答の声は事前に女性の声を録音しコンピュータに保存したものです。
箱を持ち上げることでセンサが作動し、コンピュータから応答を鳴らすのです。ここでは箱を持ち上げるという動作が演奏動作となり、それ自身が視覚的要素となり、応答としてきこえてくる音との関係によって、物語的意味を超えた音の構造的意味、例えば期待感、緊張感、解決感、意外感などをもたらすのです。
視覚的要素としての映像
そのうちに視覚的要素自体の表現の可能性を拡大するために映像を取り入れるようになりました。それは舞台美術や照明としての映像だけではなく、演奏に反応して生成変化するインタラクティブ・システムに組み込まれた映像です。映像は、実空間や実時間の制限にとらわれることなく自由に視覚的要素を構成表現することが可能なメディアです。
ここで私が1996年に作曲した《Kagami》という作品を見ていただきます（映像例3を提示）。
この作品ではトランペット奏者が楽器を演奏しながら体を左右前後に揺らす動きや、楽器や腕を前後左右に突き出す動きなどが見られます。これは奏者の周りに設置された赤外線センサの赤外線を遮る動作で、それがコンピュータへの入力になります。赤外線を遮るとあらかじめコンピュータに録音保存されていた効果音が鳴り、バックスクリーンに映し出された映像が切り替わるのです。効果音は遮るべきセンサの種類や遮る時間によって異なります。映像は映像源となるビデオカメラが入力の度にランダムに切り替わります。
《Kagami》作曲時にはパソコン・レベルではリアルタイムで映像の生成編集をすることが困難で、映像源となるカメラを切り替える程度のことしか出来なかったのです。この作品では演奏者の顔の表情をスクリーンに大きく写し、顔の表情の変化を視覚的要素として音の構造的意味をつくっています。
映像への関心：音楽系メディアアート
次に2000年に作曲した《Dream of Naga》という作品を見ていただきます（映像例4を提示）。
インタラクティブ・システムを用いていますが、この作品では視覚的要素として演奏者の動作は用いられず、視覚的要素は映像だけになっています。この作曲時においてはパソコン・レベルでも映像をリアルタイムで比較的自由に生成編集選択できるようになっていたため、映像だけでも充分な視覚表現が可能になったからです。ここでは独奏者であるフルートのピッチや音量が入力信号となって、映像の生成編集選択を行うのです。
このようなリアルタイムで音や映像を生成編集選択出来る作品を「音楽系メディアアート」と呼ぶようになりました。映像・音響などを扱うことができるコンピュータというニューメディアが作品の成立の前提になったことでメディアアートの範疇に入ります。さらにそこに音楽が主要要素であることを強調することによって音楽系メディアアートと呼んだのです。
映像というのはその撮影・造形・編集などの作業過程でじつに多くの表現可能性があります。そして音との組み合わせによっては同じ映像でもまったく別の印象や意味が生まれます。逆に言えば、同じ音であっても映像との組み合わせ方によってまったく別の印象や音の構造的意味が生まれるのです。
インタラクティブ・システムはライブ上演においては次に何が起こるか分からないという独特の緊迫感を聴衆にもたらしますが、細部の表現は固定されておらず、音と映像の関係は上演の度に変わります。体験した最良の関係が次の機会にも表れるという保証はありません。そこで、この最良の関係を固定しておきたいという思いから映像作品の形態で音楽系メディアアートを再制作するようになりました。例えば《Dream of Naga》の音素材及び映像素材を用いて《Naga Variation》という作品を2003年につくりました。
映像音響詩
《Naga Variation》は形態こそ映像作品ですが私とすればあくまでも音楽作品のつもりでいます。音楽構成が優先し、音の構造上の意味を豊かにするために映像という視覚的要素を取り入れているのです。「構成要素としての映像を伴うコンピュータ音楽」です。メディアはQuicktimeで再生可能な映像ファイル（.mov）です。それをDVテープやDVDビデオとしても配布しました。こうした作品を「映像音響詩」と名付けました。
先ほどにも述べましたようにメディアに固定すると、音楽と映像の精緻な関係性の構築が可能になります。興味を惹かれたのは、映像と音それぞれの具体的な素材に具体的意味ばかりでなく構造的意味が存在すると言うことでした。例えば林立する工場の煙突の映像があるとします。林立する工場の煙突というのは具体的意味です。それと同時にこの映像に垂直線の強調や上行への方向性などという構造的意味を見いだすことも出来ます。音に関して言えば、例えば小川のせせらぎの音があるとします。小川のせせらぎというのは具体的意味です。それは「のどか」という意味をさらに感じさせるかも知れません。それと同時に、小川のせせらぎに「こまかい揺れを伴う持続音」という構造的意味を見いだすことも出来るかも知れません。
さらに映像と音の双方の具体的・構造的意味を組み合わせると、別の新たな意味を派生させることもできます。ここでは例を一々挙げることはしませんが、意味の発見と組み合わせと、組み合わせによる新たな意味の派生などを追究することが映像音響詩の創作の際の喜びのひとつでした。
それ以外に、映像音響詩の創作に私を駆り立てたものに、「見ることは聴くことを助ける」ということがありました。映像音響詩も現代音楽ですから、それは調性を用いない、場合によっては電子音楽のように楽音すらも破棄したことがある無調音楽です。調性音楽に無意識に親しんでいる今日の聴衆にとって無調音楽を聴くのは簡単ではありません。調性音楽は和声の働きによってその一瞬に次への進行が予測でき、次の瞬間にその予測が満たされることで音楽の流れを把握することができ、集中が持続するのです。時には予測を外されることもありますが、そのことも予測の惰性を壊し、新たな予測を生み、集中の持続をさらに促すのです。しかし無調音楽の場合ですと、次への予測ができず、音楽の流れを見いだすことが困難で、聴くことへの集中を失うことが多いのです。そのことが「現代音楽は難しい」と言われるゆえんです。ところが、映像音響詩の場合、聴くことは難しくはないのです。視覚的要素を伴うことで、今、自分が聴いている瞬間がそれまでのどのような結果なのかの把握が可能になり、次にどのように進むかの予測が可能になり、集中して聴くことができるのです。ジョルジュ・リゲティ作の電子音楽《アーティキュレーション（Artikulation）》には聴くことを助けるための聴くためのスコア「ヘールパルティトューア（Hörpartitur）」があります。この楽譜は作曲者以外の第三者が制作したものです。Youtubeでは動画として見ることが可能です（映像例5を提示）。
図示を伴うと耳の記憶と予測が明らかになり、その音楽に向けて耳の集中が増すことが理解できるでしょう。
映像音響詩のタイプ
私はこれまで映像音響詩を20作品ほど制作してきました。それらを振り返ると、いくつかのタイプに分類することが出来ます。おおまかには抽象タイプ、コラージュタイプ、物語タイプ、個人映画タイプ、評論タイプの６つです。
抽象タイプは具体的意味を持たない視覚素材を用いて、造形と動きだけを視覚的要素とすることで音の表現を前面に出そうとするタイプです。
それとは逆にコラージュタイプは具体的意味を持つ既存の動画や静止画を用いて、それらの具体的意味の組み合わせを視覚的要素とし、さらにそこに音の具体的意味などを加えて素材の持つ意味の拡大・変容を前面に出そうとするタイプです。
物語タイプは物語に沿って素材を配置していくのですが、物語をストレートに描くことよりも、物語が象徴している世界を表現します。そもそも映像音響詩は物語を描くことよりも映像メディアの特性を前面に出した表現世界を追究するものです。
個人映画タイプは私小説の映像アート版というように思ってください。作者個人の存在が作品に色濃く表れているものです。これまでの映像音響詩では私の旅行の個人的な思い出などを表現したものが該当します。旅行の内容をきちんと説明するのではなく、映像メディアの特性を活かしてその思い出の断片を心情的に表現するものです。
ここで映像メディアの特性について簡単に説明します。映像メディアを特性とは、形が動く、音が鳴る、形の動きと音が同期する、形と音を創造できる、実写映像・実録音響を素材とすることができる、というものです。映像音響詩はその特性の応用なしでは作品が成立し得ないものです。物語映画の場合、物語を描くだけなら、映像メディアでなくても、例えば小説や舞台演劇で表現することは可能です。
評論タイプは第三者が制作した美術や映画、音楽の卓越性を評論するものです。評論は通常は文章でなされるのですが、それを映像音響として映像と音で表現しようとするものです。当然、対象となる作品を引用することになり、著作権の関係で公開を自粛する場合もこれまでありました。なお、第三者の作品を引用することでパロディと混同されることがありますが、作品自体の卓越性を強調しようとするもので、パロディではありません。
*参考論文「創作ノート：作曲作品としての映像音響詩ー視覚と聴覚の融合ー」
本日上演の映像音響詩
今日は映像音響詩として《Lust》と《Reassembly》の２つを紹介します。
《Lust》は2000年の作品です。Lustとは邪な欲望を意味します。コラージュタイプの映像音響詩です。そこに画面構成に抽象タイプの要素を加えています。画面には7個の縦に細長い窓がならび、その窓の向こうにニュース映像・画像の断片がコラージュされています。細長い窓は高さが次々に変化します。その変化の様子や速度がニュース映像・画像の意味を増幅したりイメージを強調したりしていきます。制作当時、アメリカのスリーマイル島の原発事故や東海村の放射能漏れの事故、オウム真理教事件、ブッシュ対ゴアのアメリカ大統領選挙、クリントンのセックススキャンダルがあったりしました。それらを素材として扱っています。人間の制御なき欲望の醜さや矛盾を象徴的に表現したつもりでいます。
音楽は変化に富む映像パートに統一感を与えるためにジャズ風味のピアノ音楽が最初から最後まで鳴り続けます。映像の７つの窓の動きを強調するためにその音楽はスピード感のあるものです。しかし音楽の進行とは無関係に音量がはげしく上下します。このことによって音楽の流れが途切れ、音楽そのものに鑑賞者の注意が集中しすぎないようにしています。この音楽にニュース画像の意味やイメージを強調・変容するような物音が付加されていきます。（映像例6を提示、ただし実際には時間の都合で上映をあきらめ、youtube上での作品鑑賞を薦めた。）
《Reassembly》は2012年制作の作評論タイプの映像音響詩です。Reassemblyは「再構築」という意味です。小津安二郎監督の『東京物語』を素材にした再構築です。
『東京物語』はイギリスの王立映画研究所が10年ごとに行っている「これまででもっともすぐれた映画」のアンケート調査の結果、世界中の映画監督からもっとも多くの票を集めた作品です。これまでも多くの研究者評論家映画作家がこの作品の素晴らしさを語っています。ただしその多くが物語の描き方や台本であったり、画像の構成であったり、俳優の演技を含む演出であったりして、音に関してはあまり語られていません。
私は音に関しても小津は素晴らしい仕事をしていると思っています。『東京物語』においては、尾道を象徴するポンポン蒸気船の音と東京を象徴する工場の機械音の対比、物語の最初と最後を対比的に象徴する列車の走行音、東京の下町を象徴する木鉦の音と尾道での家族の集まりを象徴する木魚の音との対比、妻が亡くなり息子や娘や嫁が去って行ったあとの寂寥を予感させる小学校の音楽の時間の唱歌、などが巧みに取り入れられています。音楽の控えめな使い方も物語世界に観客を導き集中させるように工夫がなされています。
《Reassembly》においてそうした音に関するすばらしい小津の仕事を文章ではなく映像と音で私は描こうとしたのです。『東京物語』は上映時間2時間強。これを出来事の時間的割合をそのままに上映時間6分に圧縮することにし、各出来事を象徴する映像と音を選択し、それらの意味とイメージを強調するように、物語の進行に合わせて配置しました。そして映像に関しては幾何学的な形象でマスキングを施して映像の意味やイメージをさらに強調し、マスキングの上を直線が這い回るようにして観客の視線を形象に誘導するようにしました。音に関しては新たにピアノのG音（木鉦の音高）の連打を中心とした音楽を付け、音全体の統一性が保証されるようにしました（映像例7を提示）。
新しい刺激：演奏ソフトウェアアート
私自身の創作においては音楽系メディアアートから映像音響詩の方にシフトしていきましたが、大学での教育者の立場では音楽系メディアアートから演奏ソフトウェアアートの方にシフトしていきました。元来が工学系の学生達がその能力を活かして音楽創作をおこなっていた領域がコンピュータのプログラミングを中心とした演奏ソフトウェアアートだったのです。
ソフトウェアはハードウェアであるコンピュータ本体にあるはたらきをさせるためのプログラムです。ソフトウェアアートはコンピュータから実用を切り離してコンピュータにある美的な振る舞いをさせるプログラムを指します。演奏ソフトウェアアートは美的な振る舞いの中心が音楽に関わることで、コンピュータは広い意味での演奏を行います。
本日ここまで上演されてきた卒業生の方々のいくつかの作品によって大まかに演奏ソフトウェアアートがなんであるかが理解されたと思います。舞台上にはコンピュータが置かれ、演奏者はコンピュータを操作します。その操作はコンピュータへの入力作業で、入力の結果としての出力を確認し、その出力結果に反応してあらたに入力をしていくというものです。入力と出力結果の関係に創意工夫が成されており、それが作品の個性や値打ちになります。多くの場合、入力と出力の関係が音だけに限定されるのではなく、コンピュータ画面の提示を伴います。この画面はたいていの場合その作品の仕組みがデザインされています。画面自体が入力を刺激し、出力結果がさらなる入力を刺激するようにデザインされているのです。ですからこの画面のデザイン自体も作品のアイデンティティをなしています。
この演奏ソフトウェアアートは本日のように作品のデモンストレーションを兼ねてコンサート形式で上演されることもありますが、個人的な空間でたのしむことも可能です。これまでのように鑑賞者が受動的に作品に接するのではなく、自ら入力して、つまり演奏者の役目を担いつつ鑑賞するのです。
プログラミング能力に関しては工学系の学生の足下にも及ばない私自身は、演奏ソフトウェアアートをつくることからは少し後退していますが、学生や卒業生の方々の演奏ソフトウェアアートに新たな芸術表現の可能性を見いだしています。それとともに様々な機会を捉えて演奏ソフトウェアアートの魅力やその芸術表現としてのその可能性をアピールしているつもりです。
*参考論文「構造の応用から構造の創作へ : コンピュータ音楽としての演奏ソフトウェアアート」 「演奏ツールとしてのソフトウェアアート : その創造特性と可能性」
今やっていること：クラシックの現在進行形
さて前衛音楽としてムジークテアターをはじめ、ムジークテアターにおける視覚表現の限界を突破するためにコンピュータ音楽の要素を導入し、映像を導入し、そして映像音響詩というジャンルを創成してきたことを話しました。また大学の教育現場では演奏ソフトウェアアートに関わってきたことにも触れました。前衛音楽への憧れからこういう方向に行ったわけですが、現実には、現代音楽における前衛とは離れていく結果になりました。普通の音楽作品の作曲においても前衛音楽を作曲する気がなくなってきたのです。
理由を一言でいうのは難しいのですが、あえて言えば、映像音響詩や演奏ソフトウェアアートに関わることで、前衛音楽をクラシックの枠組みで作曲することの矛盾を感じるようになってきたのです。クラシック音楽を成り立たせている制度、たとえば音楽家の育成法、コンサートの仕組み、作品鑑賞に求める感動の種類などと、作曲家が前衛音楽に求めるものとの乖離についていけなくなったのです。創作が楽譜を書くことであり、演奏家が聴衆の前でそれを演奏することで成り立つ音楽作品においては、クラシック音楽の制度を前提とする音楽をこそ作曲したい、と思うようになってきたのです。時代錯誤と言われればそれまで。しかし芸術的な新しい価値創造については映像音響詩や演奏ソフトウェアアートの方でやっているのです。普通の音楽作品の創作についてはクラシックの制度から逸脱しない範囲で新しいことをやろうとしているのが今の私の立場です。
私には交響曲とうタイトルの作品が5曲あります。交響曲というタイトルはまさにクラシックの制度を前提とした創作であることの証のようなつもりで付けています。ありがたいことに9月19日（月）の15:00から、アクロス福岡シンフォニーホールでの九州交響楽団第352回定期にて私の《聖なる旅立ち(交響曲第5番)》が音楽監督の小泉和裕さんの指揮で上演されます。クラシックのファンがたのしめて、かつそこに新しい表現を盛り込んだ作品です。参考までにこの曲のひとつ前の交響曲第4番《ラーマヤナー愛と死》をダイジェスト映像で聴いてください。
また、おそらく再来年に福岡で初演されることになると思うのですが、ロマンティック・オペラ《ラーマヤナ》も作曲しています。こちらの方も同様で、19世紀のロマン派オペラの現代版というつもりです。
以上、とりとめない内容になってしまいましたが、「音楽と映像の融合」をキーワードとして、私のやってきたこと、現在やっていることについて話をさせていただきました。
ご静聴、ありがとうございました。
