VTFrameProcessorの紹介：AIによる動画処理

■ イベント
Sansan x DMM.swift #2 〜 テーマ: iOS × AI 〜
https://sansan.connpass.com/event/362644/

■ 発表者
技術本部 Eight Engineering Unit Mobile Applicationグループ
守谷 太一

■ iOSエンジニア 採用情報
https://media.sansan-engineering.com/ios-engineer

Transcript

1. Sansan株式会社 部署 名前 VTFrameProcessorの紹介： AIによる動画処理 Eight Engineering Unit Mobile Application Group 守⾕ 太⼀
2. 守⾕ 太⼀ Sansan株式会社 Eight Engineering Unit Mobile Application Group 7⽉にSansan株式会社に⼊社してEightのiOSアプリエンジニア をしています。 好きな⾷べ物はケバブとタコスです。 趣味はカメラ、散歩
3. みなさん
4. WWDC⾒ましたか？？？
5. 何が⾯⽩かったですか？
6. Liquid Glass？
7. Foundation Models Framework？
8. ということで
9. VTFrameProcessorについて話します
10. • iOS26から追加されたクラス ◦ 動画の1フレーム毎に処理を⾏ってくれる ▪ 動画のエンコード ▪ 各フレームに特殊な処理 • ⾃分で処理を書くのはちょっと⾯倒そう.... ◦ 標準で使える雛形も⽤意されてます！！！ VTFrameProcessorとは？ 9
11. あれ？AIは？
12. • 実はAI(ML)使ってます！！！ • 標準で備わっている機能をAIパワーで実現 VTFrameProcessorとは？ 11
13. • 標準で使える機能 ◦ モーションブラー ◦ フレーム数変換 ▪ 増幅も可能 ◦ ノイズ低減 ◦ 解像度向上 ◦ 低レイテンシー解像度向上 ◦ 低レイテンシーフレーム⽣成 VTFrameProcessorはどんな機能があるの？ 12
14. • 正直少し⾯倒そう... ◦ Asset/カメラから動画を取得する ◦ 取得したら１フレームずつ取得する ◦ VTFrameProcessorで処理する ◦ 処理結果をプレビューなどで使⽤できるようにする ◦ そこに関わる型変換... • ⼀緒に⾒ていきましょう！！！ VTFrameProcessorてどうやって使うの？ 13
15. • 実装イメージ VTFrameProcessorてどうやって使うの？ 14 ⼊⼒ ソースとなる動画 アプリ内の動画 カメラ HLS AVAssetReader AVCaptureDevice 読み込み AVAssetReaderTrackOutp ut.copyNextSampleBuffer AVCaptureVideoDataOutp utSampleBufferDelegate フレームを取得 取得 ⼊⼒ VTFrameProcessor 加⼯ 出⼒ VTFrameProcessor Frame 加⼯後のフレーム
16. • 動画を読み込む・カメラから取得する VTFrameProcessorてどうやって使うの？ 15 AVAssetReader AVCaptureDevice 読み込み
17. • 動画を読み込む・カメラから取得する VTFrameProcessorてどうやって使うの？ 16 AVAssetReader AVCaptureDevice 読み込み
18. • フレーム(CMSampleBuffer)を取得する VTFrameProcessorてどうやって使うの？ 17 AVAssetReaderTrackOutp ut.copyNextSampleBuffer AVCaptureVideoDataOutp utSampleBufferDelegate フレームを取得
19. • フレーム(CMSampleBuffer)を取得する VTFrameProcessorてどうやって使うの？ 18 AVAssetReaderTrackOutp ut.copyNextSampleBuffer AVCaptureVideoDataOutp utSampleBufferDelegate フレームを取得
20. • フレーム(CMSampleBuffer)を取得する VTFrameProcessorてどうやって使うの？ 19 AVAssetReaderTrackOutp ut.copyNextSampleBuffer AVCaptureVideoDataOutp utSampleBufferDelegate フレームを取得
21. • ここをもっと詳しく知りたい VTFrameProcessorてどうやって使うの？ 20 VTFrameProcessor 加⼯ 出⼒ VTFrameProcessor Frame 加⼯後のフレーム
22. • VTFrameProcessorでの処理の流れ VTFrameProcessorてどうやって使うの？ 21 VTFrameProcessor VTFrameProcessor Frame VTFrameProcessor Parameters VTFrameProcessor Configuration CMSampleBuffer CVPixelBuffer .imageBuffer 出⼒ 処理の設定 ⼊⼒フレーム 画像データを持つ ⼊⼒パラメーター
23. • 処理の設定 VTFrameProcessorてどうやって使うの？ 22 VTFrameProcessor VTFrameProcessor Frame VTFrameProcessor Parameters VTFrameProcessor Configuration
24. • 書き出し先のBufferPoolの作成 VTFrameProcessorてどうやって使うの？ 23 VTFrameProcessor VTFrameProcessor Frame VTFrameProcessor Parameters VTFrameProcessor Configuration
25. • フレームへの変換 VTFrameProcessorてどうやって使うの？ 24 VTFrameProcessor VTFrameProcessor Frame VTFrameProcessor Parameters VTFrameProcessor Configuration
26. • ⼊⼒パラメーターの組み⽴て VTFrameProcessorてどうやって使うの？ 25 VTFrameProcessor VTFrameProcessor Frame VTFrameProcessor Parameters VTFrameProcessor Configuration
27. • 書き出し後のフレームの作成 VTFrameProcessorてどうやって使うの？ 26 VTFrameProcessor VTFrameProcessor Frame VTFrameProcessor Parameters VTFrameProcessor Configuration
28. • 処理の実⾏ VTFrameProcessorてどうやって使うの？ 27 VTFrameProcessor VTFrameProcessor Frame VTFrameProcessor Parameters VTFrameProcessor Configuration
29. • 処理の結果 VTFrameProcessorてどうやって使うの？ 28 VTFrameProcessor VTFrameProcessor Frame VTFrameProcessor Parameters VTFrameProcessor Configuration
30. • 同じようなことは他の⼿法でも実現できる ◦ iOS16からあるMetal FX Upscalingを使⽤する ◦ OSSのフレーム⽣成で変換する • 上記の問題点 ◦ Metalへの知識・実装コスト ◦ CoreMLへの知識・実装コスト・アプリ容量 => VTFrameProcessorを使うことでより簡単に実装できる VTFrameProcessorの嬉しいポイント 29
31. • iOS26+でサポートされているがまだビルドできない... VTFrameProcessorの悲しいポイント 30
32. Sansan 技術本部 募集ポジション紹介 https://media.sansan-engineering.com/