MoodTune 東京AI祭ハッカソン決勝

東京AI祭2024 ファイナリストピッチ

Transcript

1. MoodTune 今この瞬間最⾼の⾳楽を
2. 概要 環境⾳からSpotifyの⾳楽を推薦するAI
3. シーンにあった⾳楽、聴けてますか？
5. 今この瞬間最⾼の⾳楽を
6. MoodTuneの特徴 ユーザーの周りの環境⾳から 最適な楽曲を提案 例）改札を通るとき
7. 先⾏サービスとの違い 既存の⾳楽推薦AI ‧再⽣履歴 ‧好み ‧マウスクリックなどの⾏動データ‧ MoodTuneの⾳楽推薦AI ‧ユーザーの周りの環境⾳ 画⾯上だけの2次元 空間情報を含む3次元
8. フロントエンド (Next.js) Spotifyにログイン Spotify Web API 環境⾳を5秒間録⾳ (MediaRecorder) OAuth認証 ＆ アクセストークンを返却 バックエンド (Fast API) ⾳楽パラメータが近い楽曲IDを取得 YAMNet で特徴量を抽出 ⾳楽パラメータを推論 (⾃作AIモデル) 推薦された楽曲をプレイリスト再⽣ 5つの楽曲IDを返却 Spotify Web Playback SDK 楽曲の再⽣‧停⽌‧スキップ 技術構成
9. Spotify上に保存されている ⾳楽パラメータをAPI取得 YAMNetを使⽤して 環境⾳の特徴量を抽出 ランダムフォレストにて特徴量 から⾳楽パラメータを推論 楽曲1.mp3 {'danceability': 0.531, 'energy': 0.893, 'valence': 0.639} 楽曲2.mp3 {'danceability': 0.234, 'energy': 0.389, 'valence': 0.328} 楽曲3.mp3 {'danceability': 0.112, 'energy': 0.977, 'valence': 0.237} ・ ・ ・ [Spotifyの音楽パラメータ] {'danceability': 0.531, 'energy': 0.893, '.. {'danceability': 0.234, 'energy': 0.389, ʻ.. {'danceability': 0.112, 'energy': 0.977, ʻ.. [[0. 0.29666188 0.06228863 ... 0. 0. 0. ] [0. 0.5740908 0.32894447 ... 0.08657128 0. 0. ] [0. 0.03897701 0.65733117 ... 0.09060702 0. 0. ] ... [0. 0.12407272 0.03179706 ... 0.32213107 0.08482026 0. ] [0. 0.11226998 0. ... 0. 0. 0. ] [0. 0.1002526 0. ... 0. 0. 0. ]] [環境音の特徴量] [[0. 0.29666188 0.06228863 ... 0. 0. 0. ] [0. 0.5740908 0.32894447 ... 0.08657128 0. 0. ] [0... AIモデル 521種類の⾳声イベント （掃除機、⾬⾳、笑い声、⾞の⾛⾏⾳、ドアの開閉⾳ など）
10. フロントエンド (Next.js) Spotifyにログイン Spotify Web API 環境⾳を5秒間録⾳ (MediaRecorder) OAuth認証 ＆ アクセストークンを返却 バックエンド (Fast API) ⾳楽パラメータが近い楽曲IDを取得 YAMNet で特徴量を抽出 ⾳楽パラメータを推論 (⾃作AIモデル) 推薦された楽曲をプレイリスト再⽣ 5つの楽曲IDを返却 Spotify Web Playback SDK 楽曲の再⽣‧停⽌‧スキップ 技術構成
11. まとめ ユーザーの周りの環境⾳に合わせて Spotifyの⾳楽から最適なプレイリストを⽣成してくれる 環境⾳にもとづく、現実のシーンを加味した⾳楽推薦 Spotifyの⾳楽パラメータを推定する⾃作AI 3 2 1
12. • ランダムフォレスト回帰（scikit-learn、100個の決定⽊） • 学習データ： Spotifyから取得したヒットソング400曲 • 損失関数： MAE（平均絶対誤差） • テストデータに対するMAE（平均絶対誤差） ◦ danceability: ±0.06 ◦ energy: ±0.06 ◦ valence: ±0.12 Appendix： AIモデル詳細
13. • danceability ◦ 踊りやすさ。1に近づくほど踊りやすい。テンポやリズム、ビートの強さなどから決まる ◦ 例）TWICE「Breakthrough」: 0.868 ↔ Mrs. GREEN APPLE「⻘と夏」: 0.31 • energy ◦ 曲の過激さ。デスメタルなど。エネルギッシュな曲は速く、うるさく、騒々しく感じられる。 ◦ 例）DA PUMP「U.S.A.」: 0.988 ↔ Mena Massoud「A Whole New World」: 0.375 • valence ◦ 明るさ。1に近づくほどポジティブな楽曲になる。 ◦ 例）ヨルシカ「ただ君に晴れ」: 0.962 ↔ King Gnu「The hole」: 0.111 Appendix： Spotifyの⾳楽パラメータ