1 © BONSAI STUDIO INC. HCIのデモに役 立 つ 映像活 用 アイデア集 #HCIVideoCulture 2024.12.11 21:00- 苗場プリンスホテル マルモラーダ WISS 2024 第32回インタラクティブシステムとソフトウェアに関するワークショップ ナイトセッション（スポンサー） 鈴 平 Web: BONSAISTUDIO.JP / 1heisuzuki.com Mail: HELLO @ BONSAISTUDIO.JP / [email protected] X, Twitter / Facebook / Instagram: @ 1heisuzuki 映像ディレクター BONSAI STUDIO 株式会社 代表取締役 プロダクション責任者 © BONSAI STUDIO INC. WISS 終了後、 幅に加筆修正しました！

2 © BONSAI STUDIO INC. HCI研究の デモンストレーションやプレゼンテーションに 役 立 つ映像活 用 アイデアを、 これまで学会や商業展 示 会でのデモも多数 行 ってきた 映像制作会社の映像ディレクターがご紹介します。 概要 HCIのデモに役 立 つ映像活 用 アイデア集by

3 © BONSAI STUDIO INC. 鈴 木 一 平 Ippei Suzuki 映像ディレクター BONSAI STUDIO 株式会社 代表取締役 プロダクション責任者 映像ディレクター。BONSAI STUDIO 株式会社 代表取締役 ・ プロダクション責任者。技術紹介映像やイベント記録映像の制作や，ライブ配信のディレクションやオペレーションを主に 行 う。情報学 やコンピュータサイエンスの学際的な研究者であるバックグラウンドを活かした技術への理解を 土 台に，特に先進計算機技術のプロダクト ・ サービス ・ 企業を紹介する映像の制作を得意としている。 構成 立 案から撮影 ・ 編集 ・ 納品まで制作フロー全体を 一 気通貫で対応。 研究者としては，新しい映像装置や新しい映像の使い 方 を通じて 人 間の世界の 見 方 や体験がどのように変わるのかに興味を持つ。 受賞歴に，査読付き国際会議 Augmented Human 2017 / 2019 最優秀論 文 賞，James Dyson Award 2021 国内最優秀賞，グッドデザイン賞2021，2017 JASSO 優秀学 生 顕彰 大 賞（学術分野）など。

4 © BONSAI STUDIO INC. 鈴 木 一 平 Ippei Suzuki 映像ディレクター。BONSAI STUDIO 株式会社 代表取締役 ・ プロダクション責任者。技術紹介映像やイベント記録映像の制作や，ライブ配信のディレクションやオペレーションを主に 行 う。情報学 やコンピュータサイエンスの学際的な研究者であるバックグラウンドを活かした技術への理解を 土 台に，特に先進計算機技術のプロダクト ・ サービス ・ 企業を紹介する映像の制作を得意としている。 構成 立 案から撮影 ・ 編集 ・ 納品まで制作フロー全体を 一 気通貫で対応。 研究者としては，新しい映像装置や新しい映像の使い 方 を通じて 人 間の世界の 見 方 や体験がどのように変わるのかに興味を持つ。 受賞歴に，査読付き国際会議 Augmented Human 2017 / 2019 最優秀論 文 賞，James Dyson Award 2021 国内最優秀賞，グッドデザイン賞2021，2017 JASSO 優秀学 生 顕彰 大 賞（学術分野）など。 映像ディレクター BONSAI STUDIO 株式会社 代表取締役 プロダクション責任者

5 © BONSAI STUDIO INC. 研究動画のつくりかた 制作編

6 制作編：くわしくは「技術を動画で伝える技術」スライドもあわせてご覧ください！ © BONSAI STUDIO INC. スライド: https://speakerdeck.com/1heisuzuki/20230627-the-technology-of-conveying-technology-through-videos 動画アーカイブ: https://www.youtube.com/watch?v=a4hEu0JUsVc

7 制作編： © BONSAI STUDIO INC. ここが重要!!!! その後の作業の効率に影響 「動画は構成が9割」と 言 っても過 言 ではない

8 制作編： © BONSAI STUDIO INC. 構成がしっかりできていれば、 あらゆる効率が良くなる 伝わりやすく ・ 後の作業がしやすく わかりやすい構成で 「伝わりやすさの効率⭕」 必要な素材や動画の流れを計画 「撮影 ・ 編集の効率⭕」 後の様々な媒体への展開を想定 「資料作成や素材展開の効率⭕」 論 文 の図、ポスターの図、スライド、デモ、SNS… 「動画は構成が9割」と 言 っても過 言 ではない

9 制作編：絵コンテを書こう © BONSAI STUDIO INC. 研究動画の絵コンテでやるとよいこと どのような画をどんな流れで繋げるか設計 それぞれの画で何が必要かを書き出す 編集してみたら微妙だった…素材が 足 りない…を防ぐ 効率よく撮る。同じモノが必要なカットはまとめて撮るなど

1 0 制作編：絵コンテを書こう フォーマット例（スライド制作ツールで作るのがおすすめ） © BONSAI STUDIO INC. ࣮ࣸ ਤ ৽ن طଘ

1 1 制作編：絵コンテを書こう フォーマット例（スライド制作ツールで作るのがおすすめ） © BONSAI STUDIO INC. ࣮ࣸ ਤ ৽ن طଘ どんな画か 画の説明 話すこと セリフ 種類 準備 方 法 必要なもの カット番号 カットによっては両 方 カットによっては両 方 必要な要素や 撮り 方 がわかれば 超ラフでOK

1 2 制作編：絵コンテを書こう フォーマット例（スライド制作ツールで作るのがおすすめ） © BONSAI STUDIO INC. ࣮ࣸ ਤ ৽ن طଘ 役者A 役者B 椅 子 x 2 机 x 1 透明 ディスプレイ x 1 1 ディスプレイをはさんで右奥の1 人 が話している様 子 利き 手 側から撮影、ディスプレイのソフトを動かす 「話した 言 葉が透明ディスプレイに表 示 されます」 自 分がわかればOK （作業する 人 ） 絵を書くのも 大 変なので、 図形 ・ フリー素材 ・ 画像 生 成でも

1 3 制作編：書いた絵コンテをもとに効率よく撮ろう © BONSAI STUDIO INC. 必要なものや向きが同じものをまとめて撮る なるべく移動 ・ 転換が少なくなるように撮る。必ずしも順撮り＝動画の順番に撮る必要はない この例では机をくるくる回転させて撮影，同じ 方 向をまとめて撮影することで効率化 順撮りが良いケースもあるので注意 例: 料理動画や 手 順動画

1 4 制作編：くわしくは「技術を動画で伝える技術」スライドもあわせてご覧ください！ © BONSAI STUDIO INC. スライド: https://speakerdeck.com/1heisuzuki/20230627-the-technology-of-conveying-technology-through-videos 動画アーカイブ: https://www.youtube.com/watch?v=a4hEu0JUsVc 再掲

1 5 © BONSAI STUDIO INC. 映像を使い倒す！ 活 用 編

1 6 活 用 編：準備）完成した動画は複数パターンで書き出しておこう © BONSAI STUDIO INC. テロップなどが 入 ってないデータを映像業界だと 白 完（シロカン）と呼ぶ 完成版 グラフィックのみ 文 字全てなし BGMなし、ナレーションなし、も 用 意しておくと便利！ ೝࣝ݁Ռͷ֬ೝͷͨΊʹը໘Λ஫ࢹ͢Δඞཁ͕͋Γ ϘσΟʔϥϯήʔδΛ֬ೝ͢Δ͜ͱ͕Ͱ͖·ͤΜ _notext.mp4 _clean.mp4 などのようにファイル名で区別しよう 文 字なしがあるとスライド等への活 用 や再編集時に便利！ 毎度動画編集ソフトから書き出したり、撮影データを引っ張り出したりしてくるのは 大 変。

1 7 活 用 編：準備）撮影データをまとめて書き出しておこう © BONSAI STUDIO INC. 撮影データはたいてい容量がデカいし管理が 大 変。 ProjectName_20241211_preview.mp4 とかでまとめておくと、サッと使いたいときに便利！ 全ての撮影データを1つのタイムラインに 入 れて、 1つの動画ファイルに書き出しておく

https://doi.org/10.1145/3441852.3476551 1 8 活 用 編：論 文 やポスターの図で使う © BONSAI STUDIO INC. これは別撮り 一 枚絵でカチッと撮っておけば、そのまま論 文 の図にも

1 9 活 用 編：スライドで使う © BONSAI STUDIO INC. 動画 動画 動画 動画

https://speakerdeck.com/digitalnaturegroup/let-your-world-open-augmented-human-2019-number-ah2019-oral-presentation-by-ippei-suzuki 2 0 活 用 編：スライドで使う © BONSAI STUDIO INC. 動画 発表スライドの表紙と裏表紙を動画にしておくのもおすすめ PCを繋いで発表までの間にキャッチーに。座 長 が紹介してくれている間や、 自 己 紹介の間、プレゼン後の質疑応答の時間など。

2 1 活 用 編：スライドで使う © BONSAI STUDIO INC. PDFなどに書き出すときはポスターフレームに気をつけよう ベストなポスターフレームが動画の先頭ではないこともある。 ただし、Keynoteはプレゼン時にポスターフレームが 一 瞬表 示 されるので配布時に変えるのがおすすめ。 🧐 🤩

2 2 活 用 編：デモ展 示 で使う © BONSAI STUDIO INC. ブースで動画を流そう！詳細後述

2 3 活 用 編：Webに載せる クローズドキャプションをつける © BONSAI STUDIO INC. 0 : 00 : 00.000,0 : 00 : 07.276 See-Through Captions: ろう ・ 難聴者とのコミュニケーションの ためのリアルタイム字幕を表 示 する透明ディスプレイ 0 : 00 : 08.128,0 : 00 : 12.213 音 声 文 字変換アプリを使って会話をするときには 0 : 00 : 12.213,0 : 00 : 18.419 認識結果の確認のために画 面 を注視する必要があり ボディーランゲージを確認することができません 0 : 00 : 18.419,0 : 00 : 20.721 ARデバイスを利 用 した場合は 0 : 00 : 20.721,0 : 00 : 27.394 音 声認識の結果と会話相 手 のボディーランゲージを同時に確認でき ます 0 : 00 : 27.394,0 : 00 : 30.364 しかし，会話相 手 はARデバイスを装着していないため， 0 : 00 : 30.364,0 : 00 : 36.176 自 分の声の認識が正しく 行 われたかどうかを確認できません。 0 : 00 : 36.800,0 : 00 : 43.377 本研究では 透明ディスプレイを利 用 したリアルタイム字幕システム を提案します クローズドキャプションは 動画に加えて 「字幕ファイル」 が必要 SubViewer (.sbv) フォーマットで記載された字幕ファイルの例 文 字を映像のどの時間で表 示 するかを指定する CHIやUISTなどでは Supplemental Video に字幕ファイルの添付が Required クローズドキャプションがあると 見 る 人 が 自 動翻訳かけられてGOOD 手 入 力 するのは 大 変なので、 動画編集ソフトのナレーションテロップデータから書き出すのがおすすめ。 ほかにも、次ページのYouTubeエディタを使うのも便利

2 4 活 用 編：Webに載せる クローズドキャプションをつける © BONSAI STUDIO INC. See-Through Captionsは、ろう者や難聴者と聴者がより豊かなコミュニケーションを 行 う ために開発された、透明ディスプレイ上にリアルタイム字幕を表 示 するシステムです。 相 手 の表情や仕草を 見 ながら字幕を読めるようになり、よりスムーズに会話をすることが可能 となります。 開発のきっかけとなったのは、研究室にいる 耳 が聴こえないメンバーとのコミュニケーション です。 筆談や 口 話は 日 常のコミュニケーションで使 用 するのは難しいという問題があり 対 面 でメッセージアプリ越しにテキストでやりとりを 行 ったり 音 声 入 力 アプリを使ったりしていました。 コミュニケーションの 手 軽さやスピード感は改善したものの 相 手 の表情やジェスチャーが 見 られないという問題がありました。 そこで着 目 したのが、両側から映像を 見 ることが出来る透明ディスプレイです。 この透明ディスプレイに字幕を表 示 するプロトタイプを作成し 改良を重ねて完成したものが See-Through Captions です。 ろう者や難聴者は相 手 の表情や仕草を 見 ながら字幕を読むことができ 話し 手 の聴者は 音 声 入 力 に間違いがないかを確認しながら話すことができます。 日 本科学未来館にて、受付窓 口 でのやり取りや来場者へのインタビューに使 用 し、実証実験を 行 いました。 https://support.google.com/youtube/answer/2734796?hl=ja#zippy=%2C%E8%87%AA%E5%8B%95%E5%90%8C%E6%9C%9F 動画で話している内容のテキストファイルをアップロードすると 音 声をもとに字幕を同期＋YouTube上のエディタで編集可能

2 5 © BONSAI STUDIO INC. 学会などでのデモでの映像活 用 アイデア 展 示 編

2 6 展 示 編：展 示 動画は短くループ、複数ループも！ 生 © BONSAI STUDIO INC. 展 示 で使う動画は、短くループさせよう！ 展 示 ブースで3分とか 立 ち 止 まることは少ない。また、動画の開始点を待たなくても良いような設計にしよう 長 い場合は、説明員がシークできるようになっていると説明時に使いやすい 10秒 5秒 長 さの違う動画は PowerPoint や Keynoteでループさせると楽 QuickTimeプレーヤー ⌘＋Enter で開いている動画を同時に再 生 できて楽 それぞれの動画の下にキャプションを書いても良いかも。 タスク1 装着 方 法 ビデオループ 用 iPhone/iPad アプリ https://apps.apple.com/app/id6449908221

2 7 展 示 編：展 示 動画は短くループ、複数ループも！ 生 © BONSAI STUDIO INC. https://x.com/alumican_net/status/1861611811289866357

2 8 展 示 編：展 示 動画にはシークバーを © BONSAI STUDIO INC. シークバーをつけよう！ 特に動画が 長 い場合に有益！ モニターやプレーヤーによっては動画の周囲が切れることがあるので、実機でのテスト推奨。 色 つきの部分が伸びていくようにする

Graphical Manipulation of Human's Walking Direction with Visual Illusion. https://doi.org/10.1145/2945078.2945087 2 9 展 示 編：体験の様 子 をその場でループさせる © BONSAI STUDIO INC. Optical Marionette @ SIGGRAPH 2016 E-tech 体験の様 子 を録画し、その場でループ ET-203 Lighted area Graphical Manipulation of Human Walking Direction With Visual Illusion 6m Oculus Rift DK2 + Ovrvision Visitor MBP 13’ Power supply MBP 13’ Webcam Table Flyer Truss Back yard Starting point 13.75m E-tech Signage Manipulated path 3’ high drape Webカメラ openFrameworks でアプリを作成

3 0 展 示 編：動画再 生 便利アイテム 1/2 © BONSAI STUDIO INC. スタンド内蔵モバイルモニタ カバー兼スタンドのタイプは倒れやすく 角 度調整もしづらいので、展 示 には不向き Type-C 1本で給電と映像信号が送れるものが便利。L字のコネクタを使うとケーブルが 目 立 たず◎ HDMI 入 力 が Mini HDMI 端 子 のものが多いので注意。 画像: https://www.amazon.co.jp/dp/B0BXSBNGZ8/ メディアプレーヤー PCから出 力 するのも良いが、接続が煩雑になったりトラブル時に 大 変だったりするので、 動画再 生 は動画再 生 で機材を分けるとよい。 Raspberry Pi 2 を以前使っていたが、最近は 高 くなってしまった… 画像: https://direct.sanwa.co.jp/ItemPage/400 - MEDI022

3 1 展 示 編：動画再 生 便利アイテム 2/2 © BONSAI STUDIO INC. ディスプレイをライトスタンドに変換するアダプタ モニターを 土 台＋ポールで 立 てることができる。 VESAマウントつきディスプレイ、ダボ、 土 台のスタンドが必要。 ライトスタンドはセンチュリースタンドなどのガッシリしたものを使 用 する。 耐荷重やライトスタンドの取り扱いに注意！特に転倒や落下。 画像: https://www.amazon.co.jp/dp/B0BLYP9R96/

3 2 展 示 編：動画はローカルに保存必須！ © BONSAI STUDIO INC. 動画ファイルは絶対ローカルに置いておく！ YouTubeなどを直接再 生 するのは危険。 人 が多い会場のネットワークは重くなったり繋がらなくなったりすることが多々ある

3 3 現地での質問と回答 • おすすめの動画編集ソフト • 鈴 木 が普段使 用 しているのは DaVinci Resolve や Premiere Pro • DaVinci は無料版もあって基本的な機能は 一 通り使えます！ • 定期的にトレーニングが開催されている。学 生 無料っぽい https://bmduser.jp/eve_list.php?id=1 • おすすめフォント • 欧 文 は Inter、 日 本語は Noto Sans JP がおすすめ。 • 本スライドはこの構成です。 • BIZ UDGothic なども読みやすさが配慮されていて良い © BONSAI STUDIO INC. その他にもいろいろご質問いただきました、感謝です！

3 4 関連コンテンツ © BONSAI STUDIO INC. スライド: https://speakerdeck.com/1heisuzuki/20230627-the- technology-of-conveying-technology-through-videos 動画: https://www.youtube.com/watch?v=a4hEu0JUsVc イベント情報: https://www.facebook.com/events/276198254860241/ スライド: https://speakerdeck.com/1heisuzuki/how-to-create- research-movie-plot-course-for-skip-and-gfest-students イベントレポート: https://skip.tsukuba.ac.jp/activity/ sciencecaffe%EF%BC%9C2023 - 11 - 26%EF%BC%9E/

3 5 最後に…弊社 BONSAI STUDIO について © BONSAI STUDIO INC. BONSAI STUDIO は、 コンピューターサイエンスを中 心 とした 先端技術領域の映像化を得意とする映像制作会社です。 映像制作に加えて、 研究領域にもバックグラウンドを持つ 唯 一 無 二 の制作チームが、 あなたの「技術」を 広く魅 力 的に伝える映像を制作 ・ 配信いたします。 お仕事のご相談もお待ちしております！ BONSAISTUDIO.JP

3 6 © BONSAI STUDIO INC. HCIのデモに役 立 つ 映像活 用 アイデア集 #HCIVideoCulture 2024.12.11 21:00- 苗場プリンスホテル マルモラーダ WISS 2024 第32回インタラクティブシステムとソフトウェアに関するワークショップ ナイトセッション（スポンサー） 鈴 平 Web: BONSAISTUDIO.JP / 1heisuzuki.com Mail: HELLO @ BONSAISTUDIO.JP / [email protected] X, Twitter / Facebook / Instagram: @ 1heisuzuki 映像ディレクター BONSAI STUDIO 株式会社 代表取締役 プロダクション責任者 © BONSAI STUDIO INC. WISS 終了後、 幅に加筆修正しました！