Media-JAWS 【第12回】 https://media-jaws.doorkeeper.jp/events/152777
AIを活⽤した放送技術スタートアップの制作現場改⾰についてNAXA株式会社 占部 竣平Media-JAWS 【第12回】
View Slide
⾃⼰紹介占部 竣平NAXA株式会社 代表取締役 / マルチメディアエキスパート学⽣時代からピクシブ株式会社や株式会社ミラティブなど、多くの動画配信サービスの構築、放送局関連の開発業務に携わる。2019年にNAXA株式会社を起業し、配信サービスやメディア向けの開発プロジェクトに複数従事。現在はメディア系DeepTech領域の研究開発やマネジメント、エンジニア育成を⾏う。趣味は社会⼈バンドと⾳響屋。2Twitter: @s_urabeBlog: https://blog.meteor.ne.jp← Elemental Technologies 時代から仲良くしてます
3Index1. 会社紹介2. 番組制作への挑戦3. デジタルプレイスメント4. プリプロダクションへの挑戦5. まとめ
4Index1. 会社紹介2. 番組制作への挑戦3. デジタルプレイスメント4. プリプロダクションへの挑戦5. まとめ
会社紹介20代、30代が集まった若⼿の放送技術スタートアップ企業5開発事業のNAXAと広告事業の雛菊の2社で事業展開動画配信システムの開発放送局向けプロダクト開発次世代動画技術の研究開発デジタルプレイスメントの開発広告挿⼊の研究開発100%⼦会社
会社紹介メディア、エンタメの未来を創る6ビジョン取り組み放送局向けソフトウェア開発クラウドプレイアウト、インカムアプリ、⾳効処理、⾃動クリッピングなど動画配信プラットフォームの開発VODサービス、LIVEサービス、ポッドキャストサービスなどAI技術を活⽤した新事業デジタルプレイスメント、拡散モデルを活⽤したコンテンツ⽣成サービスなど
会社紹介7全国各地のリモートチーム東京本社は15名程度で、⾃社プロダクトの開発と協業事業をメインに進めています兵庫、⾹川、福岡、オーストラリアなどリモートメンバーも合わせると、計30名ほどの体制ですSlackでのコミュニケーションや、エンジニア勉強会などを積極的に⾏い、出社・リモートの温度感を感じさせないチームとなっています福岡拠点東京本社(本郷三丁⽬)エンジニア採⽤中！気になった⽅はお声がけください！
8Index1. 会社紹介2. 番組制作への挑戦3. デジタルプレイスメント4. プリプロダクションへの挑戦5. まとめ
番組制作への挑戦9番組制作においては多くの課題があるが、膨⼤な単純作業や複雑なオペレーションが発⽣する業務に着⽬。⾳効⽀援①字幕制作ショート動画制作＜23年度の重点領域＞②⼆次利⽤、マーケティング活⽤
番組制作への挑戦10字幕制作は既存の字幕制作のワークフローを変えるソリューションです⾳効⽀援字幕制作 ショート動画制作
字幕について11字幕制作のモチベーションとして、「字幕挿⼊の⾃動化」と「字幕のプレビュー」を解決したい完パケ字幕編集レビ*+字幕⼊稿局内確認
字幕について12字幕⾃動編集機能と、字幕のプレビューを開発中ウェブブラウザベースで簡単に操作可能ARIB STD-B36 NAB T021
字幕について13字幕⾃動編集では、PDFデータやテキストデータからスクリプトを読み込み、タイミング調整のために⾳声認識を使い、字幕がテロップにかぶらないように画像認識で位置調整が可能
字幕について14⾃動⽣成した字幕は、ほかの編集ソフトでも読み込めるように主要な字幕編集ソフトで互換性の検証中L社 C社 F社
字幕について15字幕プレビューでは、制作後の字幕を確認するためにウェブブラウザベースで提供MXF重畳や、字幕と映像ファイル別々、両⽅サポート可能HD1SD1NABMXF Preview字幕の重畳
字幕について16提供形態として、パッケージとSDKの両⽅提供予定字幕編集ソフトへの組み込みやMAMへの字幕プレビュー機能の導⼊も可能にStand-alone iframe SDKElectron でのスタンドアローン提供や、外部システムに iframe や jsタグ挿⼊によるサポートも検討しております。
番組制作への挑戦17⾳効⽀援は、配信の権利処理上、今まで消すことが出来なかったBGMを簡単に置き換えられるソリューションです⾳効⽀援字幕制作 ショート動画制作
⾳効⽀援について18報道番組や海外モノについて動画配信する際に許諾を取るためBGMを削除、リプレイスする必要がある他社から借りた素材過去素材など本放送ネット配信00:15:00 ‒ 00:20:00のBGMがNG街頭で流れてる曲がNG
⾳効⽀援について19既存のBGM除去ツールだと綺麗に抜けても効果⾳も⼀緒に消えてしまったり複数回同じ楽曲が使われている場合に時間指定が⾯倒といった課題がある参考:iZotope RX10https://www.izotope.jp/jp/products/rx-10/
⾳効⽀援について20BGM除去の技術的なアプローチとしてさまざまな⼿法があるが、効果⾳やノイズが残ってしまうため新規アプローチで効果⾳のデータセットを作成し学習参考: Facebook Researchhttps://github.com/facebookresearch/demucs
⾳効⽀援について21結果、効果⾳を残した状態でのBGM除去を実現効果⾳は閾値のパラメータ調整も⼀部可能に※UIイメージ
⾳効⽀援について22⾳効処理に組み込めるためにスタンドアローンやウェブアプリケーションで提供予定リアルタイム処理も開発検討中wavファイル RTMP
⾳効⽀援について23さらに、⾳効⽀援技術の応⽤として、ガヤや笑い声がかぶった中で、⾳声認識を正しく⾏えるための前処理を開発中AWS Transcribeと組み合わせると⾼精度に⽂字起こしが可能前処理ガヤ除去、⼈間の声以外の周波数領域カット⽂字起こしAWS Marketplace経由での提供を予定
番組制作への挑戦24ショート動画制作向けツールは簡単にクリッピング、各種SNSへの投稿が出来るソリューションです⾳効⽀援字幕制作 ショート動画制作研究開発中
ショート動画制作について25YouTube ShortsやTikTokなど、スマホ⽤の縦型ショート動画プラットフォームに合わせたコンテンツをスピーディに制作したいも、⼈件費が発⽣している研究開発中
ショート動画制作について26特にスポーツやライブイベントでは、イベント直後のアップロードが求められており、正確さとスピーディさの両⽅が求められている研究開発中
ショート動画制作について27⾃動クリッピングツール、⾃動編集AIを開発中盛り上がりシーンの⾃動検出や⼈物のトラッキングなどを実装研究開発中
ショート動画制作について28クリップしたものは各プラットフォームに最適化された動画にエンコードされる研究開発中YouTube API経由で動画投稿Tiktok API経由で動画投稿MediaConvert(クリッピング)元動画アップロードFargate(動画解析)
ショート動画制作について29研究開発分野としてスポーツのハイライト動画⾃動⽣成に取り組み中研究開発中
デジタルプレイスメント31機械学習とレンダリング技術を活⽤し、撮影、編集後の動画にバーチャル広告を⽣成することで、違和感なく動画コンテンツに溶け込む広告露出が可能になる技術
デジタルプレイスメント32画像処理技術により、動画内の広告枠検出、背景に合わせたバーチャル広告の⽣成、カメラの動きに合わせたトラッキング合成を⾃動で⾏う
デジタルプレイスメント33従来のプロダクトプレイスメントにおける営業課題、スケジュール課題、膨⼤な調整、⼿間を解決する納期 制作デジタルプレイスメントマスターデータの完成は再放送作品でも前⽇の場合がある。撮影、番組制作時にプロダクトプレイスメントを実現するための調整、競業避⽌が困難。コンテンツ制作時、放送/配信後問わず、プロダクトプレイスメント型の広告商品の販売が可能に。
デジタルプレイスメント34雛菊では、VOD向けとライブ向けの2種類の製品を提供中DPP for LIVEDPP for Video
デジタルプレイスメント35DPP for VideoではMXFやMP4/MOV形式で⼊稿するだけで検出と合成がノンストップに実⾏できますDPP for LIVEDPP for Video
DPP for Video36現在はオンプレミスのGPUサーバで運⽤中⼀般公開に向けて、現在開発中(CMX3600形式のEDL対応も気合で頑張ってます)
デジタルプレイスメント37DPP for LIVEでは現地に機材を設置せずRTPやRTMP経由でクラウドで処理が出来ますDPP for LIVEDPP for Video
DPP for LIVE38現地にオンプレミスの機材を設置せず、AWS上で全て処理をすることで既存のワークフローに乗っかる形で実現※ DPP for LIVE の出⼒として、Enhancing RTMP も⼀応サポートしています。(MediaLiveの対応待ち)※ AWS CDI は検証中ですので、今後変更になる場合もあります。
DPP for LIVE39リアルタイムの画像処理は重いので⾊々な課題がありました・・・(実質 動画版ISUCON）AWS CDI SDKがC⾔語実装のためPythonへの組み込みYUV to BGRの処理が重いので書き直す(OpenCVのGpuMatは重い)Kernel Parameters の調整(TCP, UDPなど)GPUインスタンスのリザーブ
DPP for Client40現在はサーバサイドで処理をしていますが、クライアントでのレンダリングを実装中Server-Guided Ad Insertion(サーバ側で広告タイミングを指⽰し、クライアント側で広告を取得する⽅法)をベースに仕様検討中研究開発中
プリプロダクションへの挑戦42映画やドラマ制作などプリプロダクションにおけるデジタル・トランスフォーメーションは難しい企画⽴案監修選定監修依頼リサ+チ構成台本撮影交渉撮影研究開発中
プリプロダクションへの挑戦43その中でも構成台本に注⽬し、プロダクトプレイスメント×デジタルプレイスメントによる広告収益の最⼤化を狙う企画⽴案監修選定監修依頼リサ+チ構成台本撮影交渉撮影研究開発中AIによってプロダクトプレイスメント挿⼊シーンに⾃動で注釈を追記。監督の業務や撮影を補助するとともに、媒体資料の制作がシームレスに実現。
プリプロダクションへの挑戦44プロダクト・プレイスメントの課題としては広告が決まるまでのコミュニケーションコスト研究開発中出演者に対する事務所確認制作サイドへの確認コンテンツホルダや広告代理店への確認
プリプロダクションへの挑戦45デジタルプレイスメントのように、撮影後にバーチャル広告を挿⼊する⼿法はステークホルダーの確認が⾮常に困難研究開発中ステークホルダーへの確認が必要
プリプロダクションへの挑戦4研究開発中テキスト解析 コンテキスト解析-5.5-5.3-5.1-4.9-4.7-4.5-4.3-4.13 4 5 6 7 8 9 10 11 12 13 14 150.00090.00100.00110.00120.00130.00140.00153 4 5 6 7 8 9 10 11 12 13 14 15Coherence KL Divergence⽬をつぶって…あなたの⼼、私に委ねてうわーーっ⼭上家・⾷堂テーブルには⼣⾷の⽀度。杏⼦と三四郎座っている。お兄ちゃん、遅いねお友達の稲に⾏っているんだって。例の転校⽣♪並川市・林すでに夜。⽊を相⼿に正幸突きの練習の京⼀。怖い形相の京⼀。物陰から⾒ている晴美。⻑⾕川家・ムリョウの離れ酔っぱらっているセツナ、執拗に那由多に絡んでいる。あーもー酒くさーい︕何とかしてよこの⼈、ねえははははうわーーーーーーーっ︕様々な⼈がそれぞれの夜を送り、様々ねえねえ誰が好きなの︖ムリョウ︖太郎ちゃん︖それもとそれとも︖ゆっくりと⽬をつぶる太郎。閉じたまぶたの裏に突如広がる光の奔流。ひっくりした太郎、⽬を開けるとそこは光の奔流の渦中。はじめに向かって⾶んでくる沢⼭の宇宙船。XXX絶叫する、太郎。XXX饅頭⾷べながら楽しそうなムリョウ。外はきれいな星空。XXX相変わらず絶叫している太郎。XXX花⼦ (少⼥)三四郎ムリョウ太郎杏⼦セツナ那由多太郎NRABCDEFGHIJKLMNO1.2 1.0 0.8 0.6 0.4 0.2 0.0• 台本を解析し、感情の起伏や視聴者に与える影響を分析• 広告効果が⾼いシーンにはあらかじめプロダクト・プレイスメントの提案を⾏う
プリプロダクションへの挑戦47撮影段階で、プロダクト・プレイスメントを⾏う前提でマーカーを設置できればあとから⾃由⾃在に広告商品が変えられる研究開発中プロダクト型サイネージ型広告パターン Before After
プリプロダクションへの挑戦48Tesseract OCR(※1)とGPT-4/BERT (※2)を利⽤現在は社内で検証中今後、実際の作品での実証実験を進めていく研究開発中※1 Amazon Textract はまだ⽇本語対応に対応していないため※2 GPT-4、BERT、ともにTransformerという仕組みを使った⾔語モデルですが、GPT-4の場合は対話や要約などの⽂章⽣成、BERTは⽂章分類や質問応答が得意といった形でそれぞれ違いがあります。今回は、必要な処理に合わせて GPT-4 と BERT を組み合わせています。
まとめ50番組制作・配信課題に対して、技術的な領域からチャレンジしています。⼀緒に取り組んでいただけるTV局や制作会社の⽅、ぜひご連絡お待ちしております！技術的な話は、後⽇弊社のブログでも公開予定ですので、ご期待ください。
yaminoma
trycycle
tsutaj
banjun
yujisoftware
okazuki
soracom
microcms
tacck
yoyakoba
nenonaninu
ryomaru0825
rocio
aleyda
chriscoyier
bkeepers
vanstee
chrisshort
morganepeng
trishagee
revolveconf
hannesfritz
reverentgeek
keavy