Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Sign up for free
Menu
Search
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Features
All features
Private URLs
Password Protection
Custom URLS
Scheduled publishing
Remove Branding
Restrict embedding
Deck Collections
Notes
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Explore
Featured decks
Featured speakers
Programming
Technology
Storyboards
Pricing
Search
Sign in
Sign up for free
MoodTune 東京AI祭ハッカソン決勝
Search
Sponsored
·
Your Podcast. Everywhere. Effortlessly.
Share. Educate. Inspire. Entertain. You do you. We'll handle the rest.
→
Aokiti
March 25, 2024
670
0
Share
Embed
Copy iframe code
Copy JS code
Copy link
Start on current slide
MoodTune 東京AI祭ハッカソン決勝
東京AI祭2024 ファイナリストピッチ
Aokiti
March 25, 2024
Transcript
13 slides
MoodTune 今この瞬間最⾼の⾳楽を
概要 環境⾳からSpotifyの⾳楽を推薦するAI
シーンにあった⾳楽、聴けてますか?
None
今この瞬間最⾼の⾳楽を
MoodTuneの特徴 ユーザーの周りの環境⾳から 最適な楽曲を提案 例)改札を通るとき
先⾏サービスとの違い 既存の⾳楽推薦AI ‧再⽣履歴 ‧好み ‧マウスクリックなどの⾏動データ‧ MoodTuneの⾳楽推薦AI ‧ユーザーの周りの環境⾳ 画⾯上だけの2次元 空間情報を含む3次元
フロントエンド (Next.js) Spotifyにログイン Spotify Web API 環境⾳を5秒間録⾳ (MediaRecorder) OAuth認証 &
アクセストークンを返却 バックエンド (Fast API) ⾳楽パラメータが近い楽曲IDを取得 YAMNet で特徴量を抽出 ⾳楽パラメータを推論 (⾃作AIモデル) 推薦された楽曲をプレイリスト再⽣ 5つの楽曲IDを返却 Spotify Web Playback SDK 楽曲の再⽣‧停⽌‧スキップ 技術構成
Spotify上に保存されている ⾳楽パラメータをAPI取得 YAMNetを使⽤して 環境⾳の特徴量を抽出 ランダムフォレストにて特徴量 から⾳楽パラメータを推論 楽曲1.mp3 {'danceability': 0.531, 'energy':
0.893, 'valence': 0.639} 楽曲2.mp3 {'danceability': 0.234, 'energy': 0.389, 'valence': 0.328} 楽曲3.mp3 {'danceability': 0.112, 'energy': 0.977, 'valence': 0.237} ・ ・ ・ [Spotifyの音楽パラメータ] {'danceability': 0.531, 'energy': 0.893, '.. {'danceability': 0.234, 'energy': 0.389, ʻ.. {'danceability': 0.112, 'energy': 0.977, ʻ.. [[0. 0.29666188 0.06228863 ... 0. 0. 0. ] [0. 0.5740908 0.32894447 ... 0.08657128 0. 0. ] [0. 0.03897701 0.65733117 ... 0.09060702 0. 0. ] ... [0. 0.12407272 0.03179706 ... 0.32213107 0.08482026 0. ] [0. 0.11226998 0. ... 0. 0. 0. ] [0. 0.1002526 0. ... 0. 0. 0. ]] [環境音の特徴量] [[0. 0.29666188 0.06228863 ... 0. 0. 0. ] [0. 0.5740908 0.32894447 ... 0.08657128 0. 0. ] [0... AIモデル 521種類の⾳声イベント (掃除機、⾬⾳、笑い声、⾞の⾛⾏⾳、ドアの開閉⾳ など)
フロントエンド (Next.js) Spotifyにログイン Spotify Web API 環境⾳を5秒間録⾳ (MediaRecorder) OAuth認証 &
アクセストークンを返却 バックエンド (Fast API) ⾳楽パラメータが近い楽曲IDを取得 YAMNet で特徴量を抽出 ⾳楽パラメータを推論 (⾃作AIモデル) 推薦された楽曲をプレイリスト再⽣ 5つの楽曲IDを返却 Spotify Web Playback SDK 楽曲の再⽣‧停⽌‧スキップ 技術構成
まとめ ユーザーの周りの環境⾳に合わせて Spotifyの⾳楽から最適なプレイリストを⽣成してくれる 環境⾳にもとづく、現実のシーンを加味した⾳楽推薦 Spotifyの⾳楽パラメータを推定する⾃作AI 3 2 1
• ランダムフォレスト回帰(scikit-learn、100個の決定⽊) • 学習データ: Spotifyから取得したヒットソング400曲 • 損失関数: MAE(平均絶対誤差) • テストデータに対するMAE(平均絶対誤差)
◦ danceability: ±0.06 ◦ energy: ±0.06 ◦ valence: ±0.12 Appendix: AIモデル詳細
• danceability ◦ 踊りやすさ。1に近づくほど踊りやすい。テンポやリズム、ビートの強さなどから決まる ◦ 例)TWICE「Breakthrough」: 0.868 ↔ Mrs. GREEN APPLE「⻘と夏」: 0.31
• energy ◦ 曲の過激さ。デスメタルなど。エネルギッシュな曲は速く、うるさく、騒々しく感じられる。 ◦ 例)DA PUMP「U.S.A.」: 0.988 ↔ Mena Massoud「A Whole New World」: 0.375 • valence ◦ 明るさ。1に近づくほどポジティブな楽曲になる。 ◦ 例)ヨルシカ「ただ君に晴れ」: 0.962 ↔ King Gnu「The hole」: 0.111 Appendix: Spotifyの⾳楽パラメータ
More Decks by Aokiti
See All by Aokiti
[FlutterKaigi 2026] Flutter Widget Previewerで始めるUIプレビューとVRTの自動化
sakusaku3939
0
220
d-hacks 今期運営 2025f
sakusaku3939
0
910
[d-hacks Docker講座] Dockerで動かすローカルLLM入門
sakusaku3939
0
130
[論文輪読会] A survey of model compression strategies for object detection
sakusaku3939
0
56
[論文輪読会] ViT-1.58b
sakusaku3939
0
420
d-hacks PyTorchモデル実装会 2024f
sakusaku3939
0
75
[論文輪読会] Binarized Neural Networks
sakusaku3939
0
90
一般物体検出とLSTMを用いた画像に基づく屋内位置推定 - IPSJ UBI82
sakusaku3939
0
560
d-hacks PyTorch実装会 2023f
sakusaku3939
0
46
Featured
See All Featured
Getting science done with accelerated Python computing platforms
jacobtomlinson
2
580
Music & Morning Musume
bryan
48
7.5k
RailsConf 2023
tenderlove
30
1.6k
YesSQL, Process and Tooling at Scale
rocio
174
15k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
3k
We Analyzed 250 Million AI Search Results: Here's What I Found
joshbly
2
2.1k
Optimising Largest Contentful Paint
csswizardry
37
4k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
659
62k
How to train your dragon (web standard)
notwaldorf
96
6.9k
The B2B funnel & how to create a winning content strategy
katarinadahlin
PRO
1
620
Exploring the relationship between traditional SERPs and Gen AI search
raygrieselhuber
PRO
4
4.4k
What's in a price? How to price your products and services
michaelherold
247
13k