日本生まれの研究領域「エンタテインメントコンピューティング」がつくりだす、これからの“楽しさ”の形

位置情報ゲームを手に町を歩いたり、VRゴーグルで仮想現実の世界を楽しんだり、生成AIで好きなイラストや音楽をつくったり…。私たちの日常は情報技術、ITを活用したさまざまなコンテンツに囲まれています。このように、情報処理技術を活用した新しいエンタテインメントの開発や研究を行う研究領域が「エンタテインメントコンピューティング」です。この研究領域の立役者の一人である片寄晴弘先生の研究室を訪れ、学問としての成り立ちや研究開発など、幅広くお聞きしました。

“不真面目”とされた工学分野のエンタテインメントが“学問”に

エンタテインメントコンピューティング（EC）は2005年に日本人研究者が中心となって立ち上げた研究領域で、情報処理学会に設置されたEC研究会は2024年に20周年を迎えました。なぜ日本でECという研究領域が誕生したのでしょう。そこには、エンタテインメントに対する世間の価値観の変化が深く関わっているといいます。

当時のアカデミアの世界においては「研究とは真面目な目的のためのもの」であり、「エンタテインメントは不真面目である」という価値観が主流でした。しかし情報処理分野では、エンタテインメント分野に注目し、日本発の新たな研究領域としようという動きが生まれていったと、片寄先生は説明します。

「約20年前、日本の情報処理分野をリードしてきた情報処理学会では、今後どのような研究に注力する必要があるかが議論され、日本で強みになるものとして、アニメや漫画、ゲームなど、のちに『クールジャパン』を支えるコンテンツが挙げられました。こうしたコンテンツは当時、学術的な研究テーマであるとは考えられていなかったのです」

その頃、片寄先生は音楽情報処理に取り組んでいたこともあり、EC研究会の立ち上げに声をかけられたといいます。なお、片寄先生が音楽情報処理の研究を始めたのは、EC研究会発足よりもさらに10年前、つまり今から30年前に遡ります。その頃も工学分野において音楽を研究することは娯楽だと捉えられる風潮がありました。

「工学的なアプローチによる音の研究は、音声認識や音響検査など社会に役立つテーマがメインでした。でも僕はバンド少年だったこともあって、純粋に音楽に焦点を当てた音楽研究をしたかった。そこで最初は、研究室でのメインテーマとは別に、プライベートで自動採譜（※）のシステムの構築を始めたんです」

※音楽や音声などの音源から自動で楽譜を作成する技術。

そんな中、時代に変化が訪れます。音楽に関わるあらゆる場面を活動対象とする学際的研究会「音楽情報科学研究会」が1993年に設立され、工学を用いて学術的に音楽を研究する流れが生まれました。この価値観の変化は音楽だけにとどまらず、同じ時期にコンピュータグラフィックス（CG）やゲームAIなど、これまで“不真面目”とされていた分野が研究対象になったといいます。

このような流れをくんで生まれたECとあって、取り扱う領域はエンタテインメント全般と幅広いのが特徴です。また研究のアプローチも技術の開発、おもしろさの理論的な追求、教育や福祉といった社会応用の検討と広域。さまざまな手法により、世の中の“新しいエンタテインメント”の姿を探っているのです。

テクノロジーが身近になり、誰もが作品を作れる時代

片寄先生自身は、研究当初からいわゆる“理系”にとどまらず、文系要素も取り入れて音楽情報処理に取り組んできました。「音楽情報科学研究会が設立された1990年前半、ICMC という音楽系の国際会議に参加しました。この会議、正式な名称はインターナショナル・コンピュータ・ミュージック・カンファレンスというのですが、工学系など理系分野から初めて参加した人のほとんどが、カルチャーショックを受けます。というのも、ここでのコンピュータミュージックというのは、パソコンを使って音楽を作成・編集するいわゆるデスクトップミュージック（DTM）ではなく、武満徹さんやジョン・ケージさんに代表されるような、ハイ・アートとしての現代音楽だからです」

和楽器のシンセサイザーがなかったことから、片寄先生はチームを組んで尺八のシンセサイザーを開発し、1996年のICMCで尺八シンセサイザーを発表。演奏者の体の動きによって、リアルタイムで音と映像を加工するパフォーマンスを行いました。それは情報技術を活用した、アートとしての音楽づくりでは先駆け的な活動でした。

こうした情報技術によるエンタテインメント開発の黎明期を経て、技術が発達した今、片寄先生はどのようなシステムを開発しているのでしょうか。学生とともに取り組む中から、3つの研究を紹介してもらいました。まず1つめはChatGPT風の作曲システムです。

「一般的に人工知能の研究では、AIとAIに学習させるデータが必要ですが、音楽の場合、新たに音響データを収集し、学習させるのは大変です。そこで、シンボルとしての音楽と言語の関係を学習しているChatGPT本体の知識を利用して作曲するというのがこの研究です。楽しさ、明るさ、寂しさなど作りたい曲の概念を入力すれば、システムが作曲してくれます」

次は、AR技術を使って町中に落書きをする位置情報アプリ。「ほかの人が書いた落書きをマップ上で検索したり、さらに重ね書きしたりもできます。現実世界でできない落書きを、拡張現実の世界で体験できるアプリです」。これは位置情報を活用したゲーム『ポケモンGO』と同様の技術を使っているそう。ちなみに、AR（Augmented Reality、拡張現実）の研究開発は1960年代に始まり、技術が進んだ後、スマートフォンの利用によって広く普及したものだといいます。

3つ目の研究は、ヒューマンビートボックス（※）による音を、パフォーマーのジェスチャーによって拡張・制御させるというもの。片寄先生が開発に携わり、ICMCで発表した尺八シンセサイザーの進化版といえるかもしれません。

※人の発話器官を使った音楽表現の形態の1つ。

「自分の発声で作った音をデータ化し、口の開閉や手のひらの動きといったジェスチャーで音を加工・発音していきます。カメラがジェスチャーを捉えることで音楽が生まれ、パフォーマンスが行えるシステムです。30年前の尺八シンセサイザーのパフォーマンスでは、音響の処理やジェスチャーコントロールのための大きなマシンを裏に設置していましたが、今ならカメラ付きのノートパソコン一台でできてしまいます」

このジェスチャー認識のベースとなっている技術は、Googleが提供している「MediaPipe」。ディープラーニングで人の動きを解析し、可視化する技術です。このようなサービスを知っていれば、スマホ一台で中学生でも作品を作れると片寄先生は言います。「大学生に負けないようなアイデアを持つ小中学生もいるでしょう。『MediaPipe』のようにインターネットで提供されているプログラムがあるほか、ChatGPTでプログラミングもできるのですから、教育も変えていかなければならない時期に来ているのかもしれません」

積み上げていく“体験の科学”が楽しさの源泉に

今後のEC研究についても、片寄先生に聞きました。EC領域の研究対象は、音楽やCG、ゲームAIなど幅広く、さらにそのアプローチも理論、実践を問いません。しかし多様であるがゆえに、ECの核の形成に課題が残ると片寄先生は言います。

「ECが取り扱う『楽しさ』とは、デザイン視点からいえば『演出』、これらの核となるものは何かというと人の体験、つまり、ECの根幹は『体験の科学』といえます。これは今後さらに積み重ねが必要というのが、共通認識です。このEC領域の核となる経験の科学を中心に、今後は今以上に、文系・理系・情報系の学問がつながっていく必要があると思います」

そして、情報技術の発達により、学会も変容を余儀なくされるかもしれないと、片寄先生は語ります。学会の存在意義のひとつは、権威ある第三者として論文の審査を行い、正しさを担保することにあります。「しかしいまや、研究テーマの原理と体験可能な動画をWebに上げること、アプリとしてみなさんが試せるようにすることで、社会一般のみなさんの評価をいただくことが可能です。学会の権威という、今までの価値観は通用しなくなるかもしれません」

最後に片寄先生は、人工知能が進化し、人間を上回る知性が誕生するという仮説、シンギュラリティ（技術的特異点）とECについて触れました。

「AIがどんどん進化すると『人間の職業が奪われるのではないか』ということが、よくいわれます。それについて僕が思うのは、AIが人間の仕事を多くこなすようになれば、人間の可処分時間が増えるということです。人間が自由に使える時間が増えると、エンタテインメントが求められるはず。つまり、AIが進化しても、このECにひもづく業界は最後まで生き残るだろうと僕は考えています」

取材対象：片寄 晴弘（関西学院大学 工学部情報工学課程 教授）
ライター：岡田 千夏
運営元：関西学院 広報部
※掲載内容は取材当時のものとなります