AIを活⽤した放送技術スタートアップの 制作現場改⾰について NAXA株式会社 占部 竣平 Media-JAWS 【第12回】

⾃⼰紹介 占部 竣平 NAXA株式会社 代表取締役 / マルチメディアエキスパート 学⽣時代からピクシブ株式会社や株式会社ミラティブなど、多くの動画配信サービ スの構築、放送局関連の開発業務に携わる。 2019年にNAXA株式会社を起業し、配信サービスやメディア向けの開発プロジェク トに複数従事。現在はメディア系DeepTech領域の研究開発やマネジメント、エン ジニア育成を⾏う。趣味は社会⼈バンドと⾳響屋。 2 Twitter: @s_urabe Blog: https://blog.meteor.ne.jp ← Elemental Technologies 時代から仲良くしてます

3 Index 1. 会社紹介 2. 番組制作への挑戦 3. デジタルプレイスメント 4. プリプロダクションへの挑戦 5. まとめ

4 Index 1. 会社紹介 2. 番組制作への挑戦 3. デジタルプレイスメント 4. プリプロダクションへの挑戦 5. まとめ

会社紹介 20代、30代が集まった若⼿の放送技術スタートアップ企業 5 開発事業のNAXAと広告事業の雛菊の2社で事業展開 動画配信システムの開発 放送局向けプロダクト開発 次世代動画技術の研究開発 デジタルプレイスメントの開発 広告挿⼊の研究開発 100% ⼦会社

会社紹介 メディア、エンタメの未来を創る 6 ビジョン 取り組み 放送局向けソフトウェア開発 クラウドプレイアウト、インカムアプリ、⾳効処理、⾃動クリッピングなど 動画配信プラットフォームの開発 VODサービス、LIVEサービス、ポッドキャストサービスなど AI技術を活⽤した新事業 デジタルプレイスメント、拡散モデルを活⽤したコンテンツ⽣成サービスなど

会社紹介 7 全国各地のリモートチーム 東京本社は15名程度で、⾃社プロダクトの開発と協 業事業をメインに進めています 兵庫、⾹川、福岡、オーストラリアなどリモートメン バーも合わせると、計30名ほどの体制です Slackでのコミュニケーションや、エンジニア勉強会 などを積極的に⾏い、出社・リモートの温度感を感じ させないチームとなっています 福岡拠点 東京本社 (本郷三丁⽬) エンジニア採⽤中！気になった⽅はお声がけください！

8 Index 1. 会社紹介 2. 番組制作への挑戦 3. デジタルプレイスメント 4. プリプロダクションへの挑戦 5. まとめ

番組制作への挑戦 9 番組制作においては多くの課題があるが、 膨⼤な単純作業や複雑なオペレーションが発⽣する業務に着⽬。 ⾳効⽀援 ①字幕制作 ショート動画制作 ＜23年度の重点領域＞ ②⼆次利⽤、マーケティング活⽤

番組制作への挑戦 10 字幕制作は 既存の字幕制作のワークフローを変えるソリューションです ⾳効⽀援 字幕制作 ショート動画制作

字幕について 11 字幕制作のモチベーションとして、「字幕挿⼊の⾃動化」と 「字幕のプレビュー」を解決したい 完 パ ケ 字 幕 編 集 レ ビ * + 字 幕 ⼊ 稿 局 内 確 認

字幕について 12 字幕⾃動編集機能と、字幕のプレビューを開発中 ウェブブラウザベースで簡単に操作可能 ARIB STD-B36 NAB T021

字幕について 13 字幕⾃動編集では、PDFデータやテキストデータからスクリプトを 読み込み、タイミング調整のために⾳声認識を使い、 字幕がテロップにかぶらないように画像認識で位置調整が可能

字幕について 14 ⾃動⽣成した字幕は、ほかの編集ソフトでも読み込めるように 主要な字幕編集ソフトで互換性の検証中 L社 C社 F社

字幕について 15 字幕プレビューでは、制作後の字幕を確認するために ウェブブラウザベースで提供 MXF重畳や、字幕と映像ファイル別々、両⽅サポート可能 HD1 SD1 NAB MXF Preview 字幕の重畳

字幕について 16 提供形態として、パッケージとSDKの両⽅提供予定 字幕編集ソフトへの組み込みや MAMへの字幕プレビュー機能の導⼊も可能に Stand-alone iframe SDK Electron でのスタンドアローン提供や、外部システムに iframe や jsタグ挿⼊によるサポートも検討しております。

番組制作への挑戦 17 ⾳効⽀援は、配信の権利処理上、 今まで消すことが出来なかったBGMを簡単に置き換えられる ソリューションです ⾳効⽀援 字幕制作 ショート動画制作

⾳効⽀援について 18 報道番組や海外モノについて 動画配信する際に許諾を取るため BGMを削除、リプレイスする必要がある 他社から借りた素材 過去素材など 本放送 ネット配信 00:15:00 ‒ 00:20:00の BGMがNG 街頭で流れてる曲がNG

⾳効⽀援について 19 既存のBGM除去ツールだと 綺麗に抜けても効果⾳も⼀緒に消えてしまったり 複数回同じ楽曲が使われている場合に時間指定が⾯倒 といった課題がある 参考:iZotope RX10 https://www.izotope.jp/jp/products/rx-10/

⾳効⽀援について 20 BGM除去の技術的なアプローチとして さまざまな⼿法があるが、効果⾳やノイズが残ってしまうため 新規アプローチで効果⾳のデータセットを作成し学習 参考: Facebook Research https://github.com/facebookresearch/demucs

⾳効⽀援について 21 結果、効果⾳を残した状態でのBGM除去を実現 効果⾳は閾値のパラメータ調整も⼀部可能に ※UIイメージ

⾳効⽀援について 22 ⾳効処理に組み込めるためにスタンドアローンや ウェブアプリケーションで提供予定 リアルタイム処理も開発検討中 wavファイル RTMP

⾳効⽀援について 23 さらに、⾳効⽀援技術の応⽤として、ガヤや笑い声がかぶった 中で、⾳声認識を正しく⾏えるための前処理を開発中 AWS Transcribeと組み合わせると⾼精度に⽂字起こしが可能 前処理 ガヤ除去、⼈間の声以外の 周波数領域カット ⽂字起こし AWS Marketplace経由での 提供を予定

番組制作への挑戦 24 ショート動画制作向けツールは 簡単にクリッピング、各種SNSへの投稿が出来る ソリューションです ⾳効⽀援 字幕制作 ショート動画制作 研究開発中

ショート動画制作について 25 YouTube ShortsやTikTokなど、スマホ⽤の縦型ショート動画 プラットフォームに合わせたコンテンツをスピーディに制作したいも、 ⼈件費が発⽣している 研究開発中

ショート動画制作について 26 特にスポーツやライブイベントでは、 イベント直後のアップロードが求められており、 正確さとスピーディさの両⽅が求められている 研究開発中

ショート動画制作について 27 ⾃動クリッピングツール、⾃動編集AIを開発中 盛り上がりシーンの⾃動検出や⼈物のトラッキングなどを実装 研究開発中

ショート動画制作について 28 クリップしたものは各プラットフォームに最適化された動画に エンコードされる 研究開発中 YouTube API経由で 動画投稿 Tiktok API経由で 動画投稿 MediaConvert (クリッピング) 元動画 アップロード Fargate (動画解析)

ショート動画制作について 29 研究開発分野として スポーツのハイライト動画⾃動⽣成に取り組み中 研究開発中

3 Index 1. 会社紹介 2. 番組制作への挑戦 3. デジタルプレイスメント 4. プリプロダクションへの挑戦 5. まとめ

デジタルプレイスメント 31 機械学習とレンダリング技術を活⽤し、撮影、編集後の動画にバーチャル広告を ⽣成することで、違和感なく動画コンテンツに溶け込む広告露出が可能になる技術

デジタルプレイスメント 32 画像処理技術により、動画内の広告枠検出、背景に合わせたバーチャル広告の⽣成、 カメラの動きに合わせたトラッキング合成を⾃動で⾏う

デジタルプレイスメント 33 従来のプロダクトプレイスメントにおける 営業課題、スケジュール課題、膨⼤な調整、⼿間を解決する 納期 制作 デジタル プレイスメント マスターデータの完成 は再放送作品でも前⽇ の場合がある。 撮影、番組制作時にプロダクト プレイスメントを実現するため の調整、競業避⽌が困難。 コンテンツ制作時、放送/ 配信後問わず、プロダクト プレイスメント型の広告商 品の販売が可能に。

デジタルプレイスメント 34 雛菊では、VOD向けとライブ向けの 2種類の製品を提供中 DPP for LIVE DPP for Video

デジタルプレイスメント 35 DPP for Videoでは MXFやMP4/MOV形式で⼊稿するだけで 検出と合成がノンストップに実⾏できます DPP for LIVE DPP for Video

DPP for Video 36 現在はオンプレミスのGPUサーバで運⽤中 ⼀般公開に向けて、現在開発中 (CMX3600形式のEDL対応も気合で頑張ってます)

デジタルプレイスメント 37 DPP for LIVEでは 現地に機材を設置せずRTPやRTMP経由で クラウドで処理が出来ます DPP for LIVE DPP for Video

DPP for LIVE 38 現地にオンプレミスの機材を設置せず、 AWS上で全て処理をすることで既存のワークフローに乗っかる形で実現 ※ DPP for LIVE の出⼒として、Enhancing RTMP も⼀応サポートしています。(MediaLiveの対応待ち) ※ AWS CDI は検証中ですので、今後変更になる場合もあります。

DPP for LIVE 39 リアルタイムの画像処理は重いので ⾊々な課題がありました・・・ (実質 動画版ISUCON） AWS CDI SDKがC⾔語実装のため Pythonへの組み込み YUV to BGRの処理が重いので 書き直す (OpenCVのGpuMatは重い) Kernel Parameters の調整 (TCP, UDPなど) GPUインスタンスのリザーブ

DPP for Client 40 現在はサーバサイドで処理をしていますが、クライアントでのレンダリングを実装中 Server-Guided Ad Insertion (サーバ側で広告タイミングを指⽰し、クライアント側で広告を取得する⽅法) をベースに仕様検討中 研究開発中

4 Index 1. 会社紹介 2. 番組制作への挑戦 3. デジタルプレイスメント 4. プリプロダクションへの挑戦 5. まとめ

プリプロダクションへの挑戦 42 映画やドラマ制作などプリプロダクションにおける デジタル・トランスフォーメーションは難しい 企 画 ⽴ 案 監 修 選 定 監 修 依 頼 リ サ + チ 構 成 台 本 撮 影 交 渉 撮 影 研究開発中

プリプロダクションへの挑戦 43 その中でも構成台本に注⽬し、 プロダクトプレイスメント×デジタルプレイスメントによる 広告収益の最⼤化を狙う 企 画 ⽴ 案 監 修 選 定 監 修 依 頼 リ サ + チ 構 成 台 本 撮 影 交 渉 撮 影 研究開発中 AIによってプロダクトプレイスメント 挿⼊シーンに⾃動で注釈を追記。 監督の業務や撮影を補助するとともに、 媒体資料の制作がシームレスに実現。

プリプロダクションへの挑戦 44 プロダクト・プレイスメントの課題としては 広告が決まるまでのコミュニケーションコスト 研究開発中 出演者に対する 事務所確認 制作サイドへの 確認 コンテンツホルダや広告代理店 への確認

プリプロダクションへの挑戦 45 デジタルプレイスメントのように、撮影後にバーチャル広告を 挿⼊する⼿法はステークホルダーの確認が⾮常に困難 研究開発中 ステークホルダー への確認が必要

プリプロダクションへの挑戦 4 研究開発中 テキスト解析 コンテキスト解析 -5.5 -5.3 -5.1 -4.9 -4.7 -4.5 -4.3 -4.1 3 4 5 6 7 8 9 10 11 12 13 14 15 0.0009 0.0010 0.0011 0.0012 0.0013 0.0014 0.0015 3 4 5 6 7 8 9 10 11 12 13 14 15 Coherence KL Divergence ⽬をつぶって…あなたの⼼、私に委ねて うわーーっ ⼭上家・⾷堂 テーブルには⼣⾷の⽀度。 杏⼦と三四郎座っている。 お兄ちゃん、遅いね お友達の稲に⾏っているんだって。例の転校⽣♪ 並川市・林 すでに夜。 ⽊を相⼿に正幸突きの練習の京⼀。 怖い形相の京⼀。 物陰から⾒ている晴美。 ⻑⾕川家・ ムリョウの離れ 酔っぱらっているセツナ、執拗に那由多に絡んでいる。 あーもー酒くさーい︕何とかしてよこの⼈、ねえ はははは うわーーーーーーーっ︕ 様々な⼈がそれぞれの夜を送り、様々 ねえねえ誰が好きなの︖ムリョウ︖太郎ちゃん︖それもとそれとも︖ ゆっくりと⽬をつぶる太郎。閉じたまぶたの裏に突如広がる光の奔流。 ひっくりした太郎、⽬を開けるとそこは光の奔流の渦中。はじめに向かって⾶んでくる沢⼭の宇宙船。 XXX 絶叫する、太郎。 XXX 饅頭⾷べながら楽しそうなムリョウ。 外はきれいな星空。 XXX 相変わらず絶叫している太郎。 XXX 花⼦ (少⼥) 三四郎 ムリョウ 太郎 杏⼦ セツナ 那由多 太郎 NR A B C D E F G H I J K L M N O 1.2 1.0 0.8 0.6 0.4 0.2 0.0 • 台本を解析し、感情の起伏や視聴者に与える影響を分析 • 広告効果が⾼いシーンにはあらかじめプロダクト・プレイスメントの提案を⾏う

プリプロダクションへの挑戦 47 撮影段階で、プロダクト・プレイスメントを⾏う前提で マーカーを設置できれば あとから⾃由⾃在に広告商品が変えられる 研究開発中 プロダクト型 サイネージ型 広告パターン Before After

プリプロダクションへの挑戦 48 Tesseract OCR(※1)とGPT-4/BERT (※2)を利⽤ 現在は社内で検証中 今後、実際の作品での実証実験を進めていく 研究開発中 ※1 Amazon Textract はまだ⽇本語対応に対応していないため ※2 GPT-4、BERT、ともにTransformerという仕組みを使った ⾔語モデルですが、GPT-4の場合は対話や要約などの⽂章⽣成、 BERTは⽂章分類や質問応答が得意といった形でそれぞれ違いが あります。今回は、必要な処理に合わせて GPT-4 と BERT を組 み合わせています。

4 Index 1. 会社紹介 2. 番組制作への挑戦 3. デジタルプレイスメント 4. プリプロダクションへの挑戦 5. まとめ

まとめ 50 番組制作・配信課題に対して、技術的な領域からチャレンジしています。 ⼀緒に取り組んでいただけるTV局や制作会社の⽅、ぜひご連絡お待ちしております！ 技術的な話は、後⽇弊社のブログでも公開予定ですので、ご期待ください。