オンラインライブにおける能動的参加体験システム提案 – 映像と身体動作を繋ぐデバイスの開発を通して –

情報メディア創成学類 2025年度卒業研究論文

概要

本研究は、オンラインライブにおける視聴体験の受動性と、現地参加との体験格差を課題とし、映像演出と身体動作を双方向に連動させることで「能動的な参加体験」を実現するシステムを提案しました。開発した「アクティブペンライト」は、視聴者の応援動作をリアルタイムで映像エフェクトとして可視化し、同時に演者の映像内での近接度に応じた振動フィードバックを提示します。14名を対象とした比較実験の結果、提案システムは従来の視聴環境と比較して「楽しさ」「参加実感」「一体感」を有意に向上させることが確認されました。

研究のきっかけ（動機）

近年、オンラインライブは地理的制約を超えた音楽体験の形として定着しましたが、自宅などの日常空間での視聴は「受動的」になりやすいという課題があります。現地のライブでは、ペンライトを振るなどの身体動作が会場の熱気となり、演者や他観客と共有されますが、オンラインでは自分のアクションが演出や自身の感覚に反映されることはありません。

著者は、この「自分のアクションが結果に結びつかない」という状態が、ライブの醍醐味である心理的な没入感を損なう根本的な要因であると考えました。そこで、映像という視覚情報と、デバイスによる触覚情報を身体動作と密接に接続することで、「行為主体感（自分で操作している感覚）」「社会的存在感（つながり）」「プレゼンス（臨場感）」の3つの感覚を統合的に高め、画面越しでも「共にライブを作り上げている」という実感を生み出すことを目指しました。

解決・制作のアプローチ（プロセス）

本研究では、視聴者の動作を検知する物理デバイスと、映像をリアルタイムで解析・処理するシステムを組み合わせたプラットフォームを構築しました。

システムの概要図

実際に開発したもの

ハードウェア：直感的な操作を実現する「アクティブペンライト」

市販のペンライトの操作感を維持しつつ、センシングとフィードバック機能を備えたデバイスを独自に設計しました。内部には3軸加速度センサと振動モータを搭載し、ユーザーの微細な振りの動きを検知すると同時に、手元へ触覚情報を提示します。また、長時間の使用でも負担にならないよう、制御部を分離することで軽量化を図るなどの工夫を凝らしました。

ソフトウェア：リアルタイムの映像解析と演出制御

PC上では、物体検出モデル（YOLOv10）を活用した解析ソフトを実装しました。このシステムは、配信映像内の演者の位置やサイズをリアルタイムで特定し、その「近接度」を即座に計算します。さらに、ペンライトから送られてくる加速データに基づいて、画面上に動的な視覚エフェクトを生成し、ライブ映像に重ね合わせる処理を行っています。

検証実験と得られた知見

開発したシステムの有効性を検証するため、20代の男女14名を対象に、機能を有効にした「提案手法」と無効にした「従来手法」の比較実験を行いました。

実験では、2種類の楽曲を視聴してもらい、次の3つの心理的尺度および満足度を評価しました。

行為主体感：自分の動きが演出を変化させているという手応え。
社会的存在感：演者や他の観客と同じ空間や時間を共有しているという繋がりの実感。
プレゼンス：あたかもその場に身を置いているかのような臨場感。

主観評価の結果（数値データによる検証）

アンケートによる5段階尺度評価の結果、「楽しさ」「参加実感」「一体感」のすべての指標において、提案手法は従来手法を統計的に有意に上回るスコアを記録しました。

特に行為主体感に関する項目で高い評価が得られ、本システムが狙いとした「自分のアクションが演出に結びつく」という体験が、オンラインライブの満足度向上に直結することが数値として示されました。

定性評価の結果

参加者へのインタビューでは、ポジティブな反応として「画面上にエフェクトが出ることで、アーティストを直接応援している手応えがあった」「ただ見ているだけよりも、能動的にライブに参加している感覚が強まった」といった声が多く聞かれました。

一方で、改善点として「振動が音楽のリズムとずれると違和感がある」という指摘もありました。これは、ユーザーが触覚フィードバックに対して「音との同期」を強く期待するという、心理的なメンタルモデルの存在を裏付ける重要な知見となりました。

結果

本実験の結果から、視聴者の身体動作を視覚（エフェクト）と触覚（振動）にリアルタイムで結びつけるインターフェースは、オンライン視聴における「行為主体感」を劇的に高め、体験格差を埋める鍵となることが明らかになりました。

今後の展望と成果

本研究で得られた「身体動作の可視化が行為主体感を高める」という知見は、次世代のエンタテインメント視聴におけるインターフェース設計の重要な指針となります。

今後は、ユーザー自身の振りの強さに応じて即座に振動が返る「自己フィードバック機能」を導入するなど、より直感的で個人の感性に寄り添ったシステムの改良を目指します。また、この技術は音楽ライブだけでなく、スポーツのパブリックビューイングや、遠隔地とのコミュニケーションを支援する福祉・介護分野への応用も期待されます。