Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIを活用した放送技術スタートアップの制作現場改革について

 AIを活用した放送技術スタートアップの制作現場改革について

Shumpei Urabe

April 25, 2023
Tweet

More Decks by Shumpei Urabe

Other Decks in Technology

Transcript

  1. AIを活⽤した放送技術スタートアップの
    制作現場改⾰について
    NAXA株式会社 占部 竣平
    Media-JAWS 【第12回】

    View full-size slide

  2. ⾃⼰紹介
    占部 竣平
    NAXA株式会社 代表取締役 / マルチメディアエキスパート
    学⽣時代からピクシブ株式会社や株式会社ミラティブなど、多くの動画配信サービ
    スの構築、放送局関連の開発業務に携わる。
    2019年にNAXA株式会社を起業し、配信サービスやメディア向けの開発プロジェク
    トに複数従事。現在はメディア系DeepTech領域の研究開発やマネジメント、エン
    ジニア育成を⾏う。趣味は社会⼈バンドと⾳響屋。
    2
    Twitter: @s_urabe
    Blog: https://blog.meteor.ne.jp
    ← Elemental Technologies 時代から仲良くしてます

    View full-size slide

  3. 3
    Index
    1. 会社紹介
    2. 番組制作への挑戦
    3. デジタルプレイスメント
    4. プリプロダクションへの挑戦
    5. まとめ

    View full-size slide

  4. 4
    Index
    1. 会社紹介
    2. 番組制作への挑戦
    3. デジタルプレイスメント
    4. プリプロダクションへの挑戦
    5. まとめ

    View full-size slide

  5. 会社紹介
    20代、30代が集まった若⼿の放送技術スタートアップ企業
    5
    開発事業のNAXAと広告事業の雛菊の2社で事業展開
    動画配信システムの開発
    放送局向けプロダクト開発
    次世代動画技術の研究開発
    デジタルプレイスメントの開発
    広告挿⼊の研究開発
    100%
    ⼦会社

    View full-size slide

  6. 会社紹介
    メディア、エンタメの未来を創る
    6
    ビジョン
    取り組み
    放送局向けソフトウェア開発
    クラウドプレイアウト、インカムアプリ、⾳効処理、⾃動クリッピングなど
    動画配信プラットフォームの開発
    VODサービス、LIVEサービス、ポッドキャストサービスなど
    AI技術を活⽤した新事業
    デジタルプレイスメント、拡散モデルを活⽤したコンテンツ⽣成サービスなど

    View full-size slide

  7. 会社紹介
    7
    全国各地のリモートチーム
    東京本社は15名程度で、⾃社プロダクトの開発と協
    業事業をメインに進めています
    兵庫、⾹川、福岡、オーストラリアなどリモートメン
    バーも合わせると、計30名ほどの体制です
    Slackでのコミュニケーションや、エンジニア勉強会
    などを積極的に⾏い、出社・リモートの温度感を感じ
    させないチームとなっています
    福岡拠点
    東京本社
    (本郷三丁⽬)
    エンジニア採⽤中!気になった⽅はお声がけください!

    View full-size slide

  8. 8
    Index
    1. 会社紹介
    2. 番組制作への挑戦
    3. デジタルプレイスメント
    4. プリプロダクションへの挑戦
    5. まとめ

    View full-size slide

  9. 番組制作への挑戦
    9
    番組制作においては多くの課題があるが、
    膨⼤な単純作業や複雑なオペレーションが発⽣する業務に着⽬。
    ⾳効⽀援
    ①字幕制作
    ショート動画制作
    <23年度の重点領域>
    ②⼆次利⽤、マーケティング活⽤

    View full-size slide

  10. 番組制作への挑戦
    10
    字幕制作は
    既存の字幕制作のワークフローを変えるソリューションです
    ⾳効⽀援
    字幕制作 ショート動画制作

    View full-size slide

  11. 字幕について
    11
    字幕制作のモチベーションとして、「字幕挿⼊の⾃動化」と
    「字幕のプレビュー」を解決したい









    *
    +



    稿




    View full-size slide

  12. 字幕について
    12
    字幕⾃動編集機能と、字幕のプレビューを開発中
    ウェブブラウザベースで簡単に操作可能
    ARIB STD-B36 NAB T021

    View full-size slide

  13. 字幕について
    13
    字幕⾃動編集では、PDFデータやテキストデータからスクリプトを
    読み込み、タイミング調整のために⾳声認識を使い、
    字幕がテロップにかぶらないように画像認識で位置調整が可能

    View full-size slide

  14. 字幕について
    14
    ⾃動⽣成した字幕は、ほかの編集ソフトでも読み込めるように
    主要な字幕編集ソフトで互換性の検証中
    L社 C社 F社

    View full-size slide

  15. 字幕について
    15
    字幕プレビューでは、制作後の字幕を確認するために
    ウェブブラウザベースで提供
    MXF重畳や、字幕と映像ファイル別々、両⽅サポート可能
    HD1
    SD1
    NAB
    MXF Preview
    字幕の重畳

    View full-size slide

  16. 字幕について
    16
    提供形態として、パッケージとSDKの両⽅提供予定
    字幕編集ソフトへの組み込みや
    MAMへの字幕プレビュー機能の導⼊も可能に
    Stand-alone iframe SDK
    Electron でのスタンドアローン提供や、外部システムに iframe や jsタグ挿⼊によるサポートも検討しております。

    View full-size slide

  17. 番組制作への挑戦
    17
    ⾳効⽀援は、配信の権利処理上、
    今まで消すことが出来なかったBGMを簡単に置き換えられる
    ソリューションです
    ⾳効⽀援
    字幕制作 ショート動画制作

    View full-size slide

  18. ⾳効⽀援について
    18
    報道番組や海外モノについて
    動画配信する際に許諾を取るため
    BGMを削除、リプレイスする必要がある
    他社から借りた素材
    過去素材など
    本放送
    ネット配信
    00:15:00 ‒ 00:20:00の
    BGMがNG
    街頭で流れてる曲がNG

    View full-size slide

  19. ⾳効⽀援について
    19
    既存のBGM除去ツールだと
    綺麗に抜けても効果⾳も⼀緒に消えてしまったり
    複数回同じ楽曲が使われている場合に時間指定が⾯倒
    といった課題がある
    参考:iZotope RX10
    https://www.izotope.jp/jp/products/rx-10/

    View full-size slide

  20. ⾳効⽀援について
    20
    BGM除去の技術的なアプローチとして
    さまざまな⼿法があるが、効果⾳やノイズが残ってしまうため
    新規アプローチで効果⾳のデータセットを作成し学習
    参考: Facebook Research
    https://github.com/facebookresearch/demucs

    View full-size slide

  21. ⾳効⽀援について
    21
    結果、効果⾳を残した状態でのBGM除去を実現
    効果⾳は閾値のパラメータ調整も⼀部可能に
    ※UIイメージ

    View full-size slide

  22. ⾳効⽀援について
    22
    ⾳効処理に組み込めるためにスタンドアローンや
    ウェブアプリケーションで提供予定
    リアルタイム処理も開発検討中
    wavファイル RTMP

    View full-size slide

  23. ⾳効⽀援について
    23
    さらに、⾳効⽀援技術の応⽤として、ガヤや笑い声がかぶった
    中で、⾳声認識を正しく⾏えるための前処理を開発中
    AWS Transcribeと組み合わせると⾼精度に⽂字起こしが可能
    前処理
    ガヤ除去、⼈間の声以外の
    周波数領域カット
    ⽂字起こし
    AWS Marketplace経由での
    提供を予定

    View full-size slide

  24. 番組制作への挑戦
    24
    ショート動画制作向けツールは
    簡単にクリッピング、各種SNSへの投稿が出来る
    ソリューションです
    ⾳効⽀援
    字幕制作 ショート動画制作
    研究開発中

    View full-size slide

  25. ショート動画制作について
    25
    YouTube ShortsやTikTokなど、スマホ⽤の縦型ショート動画
    プラットフォームに合わせたコンテンツをスピーディに制作したいも、
    ⼈件費が発⽣している
    研究開発中

    View full-size slide

  26. ショート動画制作について
    26
    特にスポーツやライブイベントでは、
    イベント直後のアップロードが求められており、
    正確さとスピーディさの両⽅が求められている
    研究開発中

    View full-size slide

  27. ショート動画制作について
    27
    ⾃動クリッピングツール、⾃動編集AIを開発中
    盛り上がりシーンの⾃動検出や⼈物のトラッキングなどを実装
    研究開発中

    View full-size slide

  28. ショート動画制作について
    28
    クリップしたものは各プラットフォームに最適化された動画に
    エンコードされる
    研究開発中
    YouTube API経由で
    動画投稿
    Tiktok API経由で
    動画投稿
    MediaConvert
    (クリッピング)
    元動画
    アップロード
    Fargate
    (動画解析)

    View full-size slide

  29. ショート動画制作について
    29
    研究開発分野として
    スポーツのハイライト動画⾃動⽣成に取り組み中
    研究開発中

    View full-size slide

  30. 3
    Index
    1. 会社紹介
    2. 番組制作への挑戦
    3. デジタルプレイスメント
    4. プリプロダクションへの挑戦
    5. まとめ

    View full-size slide

  31. デジタルプレイスメント
    31
    機械学習とレンダリング技術を活⽤し、撮影、編集後の動画にバーチャル広告を
    ⽣成することで、違和感なく動画コンテンツに溶け込む広告露出が可能になる技術

    View full-size slide

  32. デジタルプレイスメント
    32
    画像処理技術により、動画内の広告枠検出、背景に合わせたバーチャル広告の⽣成、
    カメラの動きに合わせたトラッキング合成を⾃動で⾏う

    View full-size slide

  33. デジタルプレイスメント
    33
    従来のプロダクトプレイスメントにおける
    営業課題、スケジュール課題、膨⼤な調整、⼿間を解決する
    納期 制作
    デジタル
    プレイスメント
    マスターデータの完成
    は再放送作品でも前⽇
    の場合がある。
    撮影、番組制作時にプロダクト
    プレイスメントを実現するため
    の調整、競業避⽌が困難。
    コンテンツ制作時、放送/
    配信後問わず、プロダクト
    プレイスメント型の広告商
    品の販売が可能に。

    View full-size slide

  34. デジタルプレイスメント
    34
    雛菊では、VOD向けとライブ向けの
    2種類の製品を提供中
    DPP for LIVE
    DPP for Video

    View full-size slide

  35. デジタルプレイスメント
    35
    DPP for Videoでは
    MXFやMP4/MOV形式で⼊稿するだけで
    検出と合成がノンストップに実⾏できます
    DPP for LIVE
    DPP for Video

    View full-size slide

  36. DPP for Video
    36
    現在はオンプレミスのGPUサーバで運⽤中
    ⼀般公開に向けて、現在開発中
    (CMX3600形式のEDL対応も気合で頑張ってます)

    View full-size slide

  37. デジタルプレイスメント
    37
    DPP for LIVEでは
    現地に機材を設置せずRTPやRTMP経由で
    クラウドで処理が出来ます
    DPP for LIVE
    DPP for Video

    View full-size slide

  38. DPP for LIVE
    38
    現地にオンプレミスの機材を設置せず、
    AWS上で全て処理をすることで既存のワークフローに乗っかる形で実現
    ※ DPP for LIVE の出⼒として、Enhancing RTMP も⼀応サポートしています。(MediaLiveの対応待ち)
    ※ AWS CDI は検証中ですので、今後変更になる場合もあります。

    View full-size slide

  39. DPP for LIVE
    39
    リアルタイムの画像処理は重いので
    ⾊々な課題がありました・・・
    (実質 動画版ISUCON)
    AWS CDI SDKがC⾔語実装のため
    Pythonへの組み込み
    YUV to BGRの処理が重いので
    書き直す
    (OpenCVのGpuMatは重い)
    Kernel Parameters の調整
    (TCP, UDPなど)
    GPUインスタンスのリザーブ

    View full-size slide

  40. DPP for Client
    40
    現在はサーバサイドで処理をしていますが、クライアントでのレンダリングを実装中
    Server-Guided Ad Insertion
    (サーバ側で広告タイミングを指⽰し、クライアント側で広告を取得する⽅法)
    をベースに仕様検討中
    研究開発中

    View full-size slide

  41. 4
    Index
    1. 会社紹介
    2. 番組制作への挑戦
    3. デジタルプレイスメント
    4. プリプロダクションへの挑戦
    5. まとめ

    View full-size slide

  42. プリプロダクションへの挑戦
    42
    映画やドラマ制作などプリプロダクションにおける
    デジタル・トランスフォーメーションは難しい














    +











    研究開発中

    View full-size slide

  43. プリプロダクションへの挑戦
    43
    その中でも構成台本に注⽬し、
    プロダクトプレイスメント×デジタルプレイスメントによる
    広告収益の最⼤化を狙う














    +











    研究開発中
    AIによってプロダクトプレイスメント
    挿⼊シーンに⾃動で注釈を追記。
    監督の業務や撮影を補助するとともに、
    媒体資料の制作がシームレスに実現。

    View full-size slide

  44. プリプロダクションへの挑戦
    44
    プロダクト・プレイスメントの課題としては
    広告が決まるまでのコミュニケーションコスト
    研究開発中
    出演者に対する
    事務所確認
    制作サイドへの
    確認
    コンテンツホルダや広告代理店
    への確認

    View full-size slide

  45. プリプロダクションへの挑戦
    45
    デジタルプレイスメントのように、撮影後にバーチャル広告を
    挿⼊する⼿法はステークホルダーの確認が⾮常に困難
    研究開発中
    ステークホルダー
    への確認が必要

    View full-size slide

  46. プリプロダクションへの挑戦
    4
    研究開発中
    テキスト解析 コンテキスト解析
    -5.5
    -5.3
    -5.1
    -4.9
    -4.7
    -4.5
    -4.3
    -4.1
    3 4 5 6 7 8 9 10 11 12 13 14 15
    0.0009
    0.0010
    0.0011
    0.0012
    0.0013
    0.0014
    0.0015
    3 4 5 6 7 8 9 10 11 12 13 14 15
    Coherence KL Divergence
    ⽬をつぶって…あなたの⼼、私に委ねて
    うわーーっ
    ⼭上家・⾷堂
    テーブルには⼣⾷の⽀度。
    杏⼦と三四郎座っている。
    お兄ちゃん、遅いね
    お友達の稲に⾏っているんだって。例の転校⽣♪
    並川市・林
    すでに夜。
    ⽊を相⼿に正幸突きの練習の京⼀。
    怖い形相の京⼀。
    物陰から⾒ている晴美。
    ⻑⾕川家・
    ムリョウの離れ
    酔っぱらっているセツナ、執拗に那由多に絡んでいる。
    あーもー酒くさーい︕何とかしてよこの⼈、ねえ
    はははは
    うわーーーーーーーっ︕
    様々な⼈がそれぞれの夜を送り、様々
    ねえねえ誰が好きなの︖ムリョウ︖太郎ちゃん︖それもとそれとも︖
    ゆっくりと⽬をつぶる太郎。閉じたまぶたの裏に突如広がる光の奔流。
    ひっくりした太郎、⽬を開けるとそこは光の奔流の渦中。はじめに向かって⾶んでくる沢⼭の宇宙船。
    XXX
    絶叫する、太郎。
    XXX
    饅頭⾷べながら楽しそうなムリョウ。
    外はきれいな星空。
    XXX
    相変わらず絶叫している太郎。
    XXX
    花⼦ (少⼥)
    三四郎
    ムリョウ
    太郎
    杏⼦
    セツナ
    那由多
    太郎
    NR
    A
    B
    C
    D
    E
    F
    G
    H
    I
    J
    K
    L
    M
    N
    O
    1.2 1.0 0.8 0.6 0.4 0.2 0.0
    • 台本を解析し、感情の起伏や視聴者に与える影響を分析
    • 広告効果が⾼いシーンにはあらかじめプロダクト・プレイスメントの提案を⾏う

    View full-size slide

  47. プリプロダクションへの挑戦
    47
    撮影段階で、プロダクト・プレイスメントを⾏う前提で
    マーカーを設置できれば
    あとから⾃由⾃在に広告商品が変えられる
    研究開発中
    プロダクト型
    サイネージ型
    広告パターン Before After

    View full-size slide

  48. プリプロダクションへの挑戦
    48
    Tesseract OCR(※1)とGPT-4/BERT (※2)を利⽤
    現在は社内で検証中
    今後、実際の作品での実証実験を進めていく
    研究開発中
    ※1 Amazon Textract はまだ⽇本語対応に対応していないため
    ※2 GPT-4、BERT、ともにTransformerという仕組みを使った
    ⾔語モデルですが、GPT-4の場合は対話や要約などの⽂章⽣成、
    BERTは⽂章分類や質問応答が得意といった形でそれぞれ違いが
    あります。今回は、必要な処理に合わせて GPT-4 と BERT を組
    み合わせています。

    View full-size slide

  49. 4
    Index
    1. 会社紹介
    2. 番組制作への挑戦
    3. デジタルプレイスメント
    4. プリプロダクションへの挑戦
    5. まとめ

    View full-size slide

  50. まとめ
    50
    番組制作・配信課題に対して、技術的な領域からチャレンジしています。
    ⼀緒に取り組んでいただけるTV局や制作会社の⽅、ぜひご連絡お待ちしております!
    技術的な話は、後⽇弊社のブログでも公開予定ですので、ご期待ください。

    View full-size slide