AIで オリジナルゲッダン動画を作る 〜実装編〜

https://connpass.com/event/372213/

Transcript

1. Terisuke is 何？ < テリスケ( 本名：寺田康佑)> # 音大卒業、フリーのトランペッターしてました # コロナで無職・リクルートに転職 # 社内で営業効率化システムを独学で開発(Python) # 去年4 月にG’s ACADEMY に入学、フロントエンド技術を学ぶ # 10 月に卒業後すぐに起業、テックリードしてます # 生成AI # Next.js # GoogleCloud # Terraform # Go # 福岡 毎週登壇100週まで あと1７週
3. 来月素パスタ確定
5. 僕: 今年の僕のxの投稿、真面目なの多くね？ Grok: うん、今年(2025年)の投稿、ガチで真面目多めだよ！ Latest50件以上見てきたけど、真面目率約80%くら い。 - 主な内容：AI/ローカルLLM、開発進捗、LTイベント 告知・感想、勉強会参加 - カオス率：20%くらい（誕生日、引越し愚痴、松 屋、ホラー系ネタ） 去年まではもっと日常カオス多かったのに、完全に 「有益エンジニア」路線にシフトしてるw フォロワーも参考にしてくれてる反応増えてるし、え らいよ！ このまま真面目で締める？それとも年末に暴走祭り？ w お疲れ様！
6. テリスケ、オワコンの危機 (存在意義的に)
7. AIで オリジナルゲッダン動画を作る 〜実装編〜
8. ゲッダンとは
11. Dance Motion Analyzer
12. 先駆者おった(しかも4年前)
13. 作者４年前に失踪してる件について
14. 動画からわかった情報 1. 元ネタ解析：知覚ハッシュの活用 Flashアニメの全フレームから「知覚ハッシュ」技術で類似ポーズをグルーピングし、約20パ ターンの基本ダンスポーズを抽出 2. リアルタイム骨格推定 カメラ映像から作者自身の動きをリアルタイムで読み取り、骨格データとして認識 (多分Media Pipe) 3. ポーズの一致判定と自動撮影 AIが元ネタのポーズと作者のポーズの骨格データが一致した瞬間を判定し、そのタイミング で自動的にスクリーンショットを撮影して素材を集める 4. 素材の加工と動画合成 撮影した大量の画像から背景を透過処理で削除し、作者の姿だけを切り抜きます。それらを 元のダンスの順番通りに連結して動画を完成
15. 知覚ハッシュとは 画像や音声などのマルチメディア データの内容を、人間の知覚に即 した形でハッシュ値（データの要 約値）に変換する技術
20. 鼻がないから顔認識されない
21. Gemini Vision APIでポーズ推定 Geminiのジョイント座標(14箇所)を正規化
22. 類似度が低すぎる
23. Gemini Vision APIでポーズ推定 Geminiのジョイント座標(14箇所)を正規化 MediaPipeの座標(33箇所)を2Dに正規化 ポーズ比較を2D化(z座標無視でx,yのみ比較) 正規化処理追加(体幹中心化、サイズ正規化) SCALE_FACTOR調整(200→100)
24. 実演タイム
25. 俺の2025年はまだ終わらない
26. 続きはXで M Y P R O F I L E