作品制作や研究に妥協せず打ち込む姿に刺激を受けた学生時代

― 飛谷さんはIAMAS卒業後、岐阜大学の博士課程に進み、学位を取得した後、関西学院大学の研究員や特任准教授を経て、2023年度まで長崎県立大学情報システム学部准教授を務めました。まずは、これまでにどのような研究に携わってきたのか簡単にお聞かせください。

これまでの研究活動として一貫しているのは人間を計測対象としてきたことです。学位はコンピュータビジョンに関する研究で取得しましたが、やっていたことといえば、人の驚き表情や味覚表情を高速度カメラで撮影して解析するといった内容でした。
関西学院時代は長田典子先生の研究室にポスドクや任期付教員として所属していました。そこでは、感性情報学を軸に企業との共同研究含め様々な研究テーマに関わっていました。主に機械学習に関する部分を担当することが多かったのですが、心理実験や生理計測実験に関わることもありましたね。長田研究室は、学生だけでなく、僕と同じような立場の研究者が多く所属するような大きな研究グループでしたので、まぁ、単純に忙しかったのですが（笑）、それ以上に得たものは大きかったです。文科省のCOIという大きなプロジェクトでの研究も経験できましたし、様々な業界の企業との共同研究など、あまり他の研究室では経験できない、学べないことが多かったです。中でも多様な専門分野の研究者と一緒に仕事ができたことは、今思い返すと研究者としてとても幸せなことだったと再認識しています。
長崎県立大学では、自身の研究室を初めて持ったのですが、まぁ学生指導は以前からしていたので問題はなかったのですが、やはり授業などの教育に関する部分や、大学運営については最初戸惑いましたね。あ、あとはコロナに翻弄された5年間でした。研究内容としては、学生の興味を軸に、研究として成立できるギリギリのラインを攻めるみたいなことをしていました。それはそれで面白かったのですが、研究の継続性?一貫性という観点からは再考の余地があったかもしれません。

― 先ほど話に出たように、飛谷さんはIAMASの卒業生でもあります。IAMASでどのようなことを学んだのか。また、IAMAS卒業後、研究者になるまでの経緯について教えてください。

IAMASに進学する前、大学では物理学を専攻していたのですが、一方で音楽活動に熱中しており、音楽に関わる仕事で生活ができたらいいなとは常日頃考えていました。ちょうどその頃は、エレクトロニカシーンが盛り上がっており、必然的にMax/MSPやSuperColliderといったプログラミング環境に興味を持つようになりました。それをきっかけに、IAMASという学校の存在を知り、卒業後の進路を考える中で、音大生に限らず、理工系大学出身の音楽を学びたい人にも門戸を開いていることが決め手となり、IAMASを受験しました。

IAMASでは三輪眞弘先生、前田真二郎先生が担当する、音楽や映像などの時間軸をもった表現を専門とするスタジオ2（以下スタ2）に所属しました。
それまでの僕の物事の進め方は、最終的な目的から逆算し、色々な制約条件を考慮しながらバックキャストし、選択?決定していくという、いわゆる「理系」的なものでした。そのため、入学当初は、自由度が高い課題が与えられた時にどうしたらいいかわからず、すごく戸惑った記憶があります。
幸いにも当時スタ2には、作曲家の鈴木悦久さん、安野太郎さん、福島諭さん、Jean-Marc Pelletierさん、映像作家の宇田敦子さんや池田泰教さんといった人たちが集まっていて、彼らの取り組み方を見て、多くの事を学ぶことができました。なにより、三輪先生、前田先生が妥協せずに作品を作り続けている姿に刺激を受け、その生き様に憧れましたね。

― 卒業後は研究生として残ったんですよね。

研究生の間に、福島さん、鈴木さんと一緒にやっていたユニット（Mimiz）が「アルス?エレクトロニカ」のデジタル?ミュージック部門で入賞し、国内外でライブをする機会を得ました。ただ、それで何か変わるわけでもなく、普通にご飯が食べられなくなって。「2年後にはSUMMER SONICにでも」とか勝手に考えていたんですけどね（笑）。

― 発想が若手バンドマンですね（笑）

そこで、現在IAMASがあるソフトピアジャパンでJST地域結集型共同研究事業の特別研究員として2年間働きました。研究員といっても、研究に直接関わるわけではなく、プログラム開発の補助といった形でした。ただ、ありがたいことに、本事業の研究リーダーをされていた岐阜大学の山本和彦先生に誘っていただき、研究の道に進むことになりました。

― それで岐阜大学大学院の博士後期課程に進んだわけですね。

山本先生には、学生時代かなりの頻度で夕飯をご馳走してもらっており、夜遅くまで議論し、「研究とは何か」を一から教えていただきました。もちろん、その時進めていた研究について話すこともあるのですが、それよりも「研究」の本質的な部分に関する内容がほとんどでした。そこでの話は、分野は違えどIAMAS時代に三輪先生や前田先生が仰ってたことと共通することも多く、今の私の礎になっています。学生時代にこの3人の先生方に師事できたことは幸せなことですし、そこで学んだことは今後IAMASの学生にも伝えていけたらなと思っています。

人工知能の技術を表現領域へ展開

― その後、先ほどお聞かせいただいたように感性情報学、機械学習、コンピュータビジョン等の分野の研究に幅広く携わってきたと思うのですが、ここ数年は表現領域においても活動している印象がありますね。

そうですね。2022年に赤羽亨先生を中心にIAMASの卒業生が多く参加しているアート＆デザインコレクティブ集団「glow」に参加したことがきっかけだと思います。
当時は、人間の感性的な情報を機械学習の技術で扱えないかをテーマに研究をしていました。「glow」の活動に参加して、それら機械学習の技術を表現領域で活用するようになりました。

これまでのglowにおける活動としては、IAMAS卒業生の横山徹さん、本学の赤羽先生と制作した、「RSP (Soulless Project) 」、「N.E.W.S」の2作品（インタビュー実施時）があります。RSP (Soulless Project) 」は人の顔の空間的構造を学習した画像生成AI (StyleGAN2) によって架空のポートレート画像を出力し、その写真としての美しさを審美性推定AIによって数値化します。出力された画像や審美値を指標として、フォトグラファーが「実在する人間を用いて」ポートレート作品として再構成して写真を「出力」する作品です。

「FIG OUT 2022 ―積み重なる世界―」における展示風景

― AIは人が作ってきたものを学習した結果であるのだけれど、そのAIに人間も影響を受けています。AIと人間の影響関係は一方通行ではないわけですよね。
もうひとつの「N.E.W.S」はどのような作品ですか。

N.E.W.Sは新聞のテキストを入力プロンプトとし、text-to-image AIにより画像化した後、それらを時系列的に再配置することで、紙面上で平面的に展開されている情報を映像化した作品です。まだ習作で荒い部分もあるのですが、ちょうど展示を行っていた頃にウクライナ侵攻が始まって、そういうニュースがあの均質化された質感の画像で出力されてきたので、考えさせられましたね。
実は今、N.E.W.Sの続きを作ろうとしています（「Radio Subvisualize Prompter」として2024年11月に展示）。今回はラジオで流れたニュースを文字起こしして、要約したものをプロンプトに変換して、リアルタイムに絵として生成することができないか試しているところです。

「glow – in progress」における展示風景
撮影：丸尾隆一

― 少し毛色が違いますが、早稲田大学の片平建史先生との共同研究「精神性立毛反応の生起に関わる神経基盤の解明」も非常に興味深かったです。自分の意志で鳥肌を立てられる人がいるのは驚きですね。

はい、これもすごく面白い研究です。統計を取ると、200人に1人くらいは自律的に鳥肌をたてられる人がいるんですよ。鳥肌は基本的に不随意な反応ですので、本来、再現性の観点から研究のテーマとしては扱いづらいのですが、片平先生が自律的に鳥肌をたてられる人が一定数いることを発見したことで、研究として成立している部分があるのかなと思っています。

本研究に対して、僕は基本的にセンシングの部分で関わっているのですが、鳥肌に関係する情動体験が、アート作品の鑑賞体験に通じるところがあるのではという点に興味を持っています。

僕はこれまでの研究で、EEGのような生理指標、動線や体の動き、反応時間といった行動指標、アンケートなどの主観指標を統合することで、人間そのものだけでなく、人間を介して、例えば「雰囲気」のような曖昧なものも計測してきました。今は、それらの計測手法をアートワークに応用し、アート作品をある人物の鑑賞という行為を通して評価、位置づけできないかと考えています。言い換えると、作品そのものだけでなく、人間を介したアートワークの総合的な計測を今後の研究の軸にしていきたいと思っています。

― その考えは、愛知県立芸術大学とIAMASの共同研究「VRアーカイブビューワー」プロジェクトにもつながっていますか。

関係があると思います。ただ、「VRアーカイブビューワー」プロジェクトはアーカイブ、特にメディアアート作品のアーカイブをどうするのかという問題意識が強いかもしれないですね。

― メディアアート作品の保存は大きな課題ですね。

もちろん作品自体を動作する形で保存することが基本だとは思うのですが、このプロジェクトでは時間軸を持つ芸術作品を体験する鑑賞者の動きなどの鑑賞行為を含めて記録できないかを研究しています。「プロトタイプI」では福島さんのサウンドインスタレーション作品を題材に、作品空間と鑑賞者の体験を時間的に同期した形で記録し、それをVR空間上に再現するアーカイブ手法の開発を目指してきました。現在は、より詳細な鑑賞者の動きを記録?再生できるようにシステムを改良中です。（「プロトタイプII」として2024年11月に展示）

データ取得実験の様子

「glow – in progress」における展示風景
撮影：丸尾隆一

― 例えば、洞窟壁画を観ても、誰がどういう社会背景、生活様式の中で描いたのかを理解して鑑賞しないと、その作品の真の価値を分かったことにはなりません。逆に、背景を理解してみると、より好奇心をくすぐられますし、その作品がなぜその作品たりえているのかを、時代背景を通して理解できると面白いですね。

そうなんですよ。その絵画がどんな画材が使われたのか、どんなタッチで、どんな構図で描かれているのかという作品そのものが持つ情報だけではなく、作品の外に存在するコンテキストはたくさんあります。そういう情報が解析可能な形でどこに保存されているのかと考えた時に、美術批評のテキストに着目しました。近年、データサイエンス的にアートワークを扱うという流れに対して、美術界からは作品を「データ」として扱っていることに違和感を覚えるという声が上がっていますが、そこに批評テキストを解析し、組み合わせることで、アートワークの新たな評価手法ができるのではないかと思っています。
これをIAMASでの新たな研究テーマの一つにしようと考えていたのですが、よくよく考えると、その批評テキストを解析する行為もまた、長い歴史の中で形作られた批評というものをデータ的に扱うことになる。現状、僕自身批評に対する理解が非常に足りていないので、松井茂先生や大久保美紀先生など詳しい方に相談しながら、進めたいと思っています。IAMASには多様なバックグラウンドを持つ先生方がいるので、とても刺激的です。

異分野の人と交わることで自分の幅を広げてほしい

― IAMASには4月に着任したばかりですが、どんなことを学生に教えているのですか。シラバスを見ると、「コラボレーションについて、心構えとか考え方、事例紹介も含めて紹介します」と書いてありましたが……。

本講義はある意味とてもIAMASらしい講義なのですが、そこでは「言葉のすり合わせ」について話をしました。同じ分野の研究者同士であればコミュニケーションエラーは少ないのですが、そこにデザイナーや作家等の、異分野の人が入ってきたりすると、同じ言葉でも意味が変わってきます。そういう小さなエラーやノイズが積み重なると、最終的な出力の段階で大きな差となって現れることがあるので、最初に言葉をすり合わせることの大切さを伝えました。

機械学習や感性情報学などテクニカルな講義は後期からですが、これまで理工系の大学で教えてきた同じ方法をそのまま当てはめても上手くいかないのかなと思っています。正直、まだ学生に対してどのような形で技術的な指導ができるのか、僕自身も悩んでいます。ただ、IAMASでは修士論文の執筆が必須ですので、少なくとも学生自身が作り上げた作品を学術的に位置付けるための方法の一つとして、これまで僕がやってきたことを伝えることはできるのかなと考えています。

― 理系の王道的な研究をしてきた一方で、「美ch」や「エブリオブギガス」など遊び心のある活動をしてきた飛谷さんのような先生がいることは、IAMASの学生にとってすごく刺激になるんじゃないかと僕は思いますよ。

IAMAS OPEN HOUSE 2024 IAMASONICでの福島諭との演奏
撮影：山口結子（博士前期課程2年）

そう言っていただけると励みになります。実はこの間、「IAMAS OPEN HOUSE」で演奏をしたんですよ。一般的に学生主体のイベントで先生が出演することは珍しいと思うのですが、IAMASにはそれが許されてしまうような学生と先生の不思議な距離感がありますよね。NxPCでも平林先生がパフォーマンスをしたりもしますし。
一方で当時は、先生方だけでなく、それこそスタ2以外にも山城大督さん、真鍋大度さん、萩原健一さん、山田興生さん、丸尾隆一さん、植田憲司さん、林洋介さんといった面白い同級生がおり、彼らと一緒に、思いつきで色々わちゃわちゃするのが本当に楽しかった記憶があります。そんな彼らが、それこそ作家として活躍している人もいますし、社会に認められていく姿に対してリスペクトや憧れをずっと持っていました。さらに嬉しいことに、今でも一緒に仕事をすることもあり、楽しい時間を過ごさせてもらっています。今の学生さん達も、上を見ることももちろん大事なのですが、自分の横にいる人たちとも楽しそうなことをいっぱいしてほしいなと思います。

飛谷謙介　／　准教授

機械学習をはじめとする人工知能に関する諸技術を新たなメディア技術として捉え、それらの数理的な側面だけでなく、その社会的展開、特に表現領域との接点を研究対象とし、対外発表や作品制作を行う。

 
インタビュー実施日：2024年10月7日
インタビュアー：伊藤隆之（シビック?クリエイティブ?ベース東京［CCBT］）
編集：山田智子
撮影：福島諭（産業文化研究センター［RCIC］研究員）