Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Introduction to works of Data Scientist in LY C...
Search
LINEヤフー株式会社 採用情報
November 24, 2024
Technology
0
140
Introduction to works of Data Scientist in LY Corporation
LINEヤフー株式会社 採用情報
November 24, 2024
Tweet
Share
More Decks by LINEヤフー株式会社 採用情報
See All by LINEヤフー株式会社 採用情報
LINEヤフー バックエンド組織・体制の紹介
lycorp_recruit_jp
0
28
Working as a Server-side Engineer at LY Corporation
lycorp_recruit_jp
0
720
Server-Side Engineer of LINE Sukimani
lycorp_recruit_jp
1
700
LINEヤフーのフロントエンド組織・体制の紹介【24年12月】
lycorp_recruit_jp
0
610
Work as an App Engineer
lycorp_recruit_jp
0
660
Introduction to works of Cloud Platform Engineer in LY Corporation
lycorp_recruit_jp
0
92
Introduction to works of Security Engineer in LY Corporation
lycorp_recruit_jp
0
53
Introduction to works of Front-end Engineer in LY Corporation
lycorp_recruit_jp
0
45
Introduction to works of Server-Side Engineer in LY Corporation
lycorp_recruit_jp
0
63
Other Decks in Technology
See All in Technology
入門 PEAK Threat Hunting @SECCON
odorusatoshi
0
150
AI Agent時代なのでAWSのLLMs.txtが欲しい!
watany
2
220
RayでPHPのデバッグをちょっと快適にする
muno92
PRO
0
190
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
18k
OCI Success Journey OCIの何が評価されてる?疑問に答える事例セミナー(2025年2月実施)
oracle4engineer
PRO
2
130
いまからでも遅くない!コンテナでWebアプリを動かしてみよう!コンテナハンズオン編
nomu
0
150
【内製開発Summit 2025】イオンスマートテクノロジーの内製化組織の作り方/In-house-development-summit-AST
aeonpeople
2
610
AIエージェント元年
shukob
0
150
クラウド食堂とは?
hiyanger
0
110
CDKでカスタムランタイムを作成して、Lambdaをnode.js23+TypeScriptで動かしてみた
smt7174
2
110
役員・マネージャー・著者・エンジニアそれぞれの立場から見たAWS認定資格
nrinetcom
PRO
3
5.8k
NFV基盤のOpenStack更新 ~9世代バージョンアップへの挑戦~
vtj
0
350
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Why Our Code Smells
bkeepers
PRO
336
57k
Build The Right Thing And Hit Your Dates
maggiecrowley
34
2.5k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
4
430
Large-scale JavaScript Application Architecture
addyosmani
511
110k
Code Reviewing Like a Champion
maltzj
521
39k
Building an army of robots
kneath
303
45k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.1k
Producing Creativity
orderedlist
PRO
344
40k
Writing Fast Ruby
sferik
628
61k
The Art of Programming - Codeland 2020
erikaheidi
53
13k
Designing for Performance
lara
604
68k
Transcript
© LY Corporation Introduction to works of Date Scientist in
LY Corporation DS統括本部 4本部 宗像 北斗 / Munakata Hokuto 1
© LY Corporation 宗像 北斗 (Munakata Hokuto) ~2023 : 大阪大学
工学研究科 駒谷研究室 - 音源分離の研究 2023~ : LINE株式会社 ASPチーム - 音楽情報処理の研究開発 2023/10~ : LINEヤフー株式会社 4本部 - 動画解析 / 音楽情報処理の研究開発 普段京都オフィスにいます 趣味: ・ギター,ライブ鑑賞 (ロック,パンク,メタル,シューゲイザー…) ・飲み会 (あんまり飲めない) ・良い紅茶 2 自己紹介 DCASE 2024(品川)にて
© LY Corporation 所属チームでの仕事 音楽情報処理 / 動画解析にまつわる研究開発 音楽情報処理:LINE MUSICなどの楽曲を扱うコンテンツのUX改善 ・歌唱者ダイアライゼーション
・動画を入力とした楽曲推薦 ・楽曲タギング 動画解析:スポーツナビなどの動画コンテンツの検索システムや動画広告の審査自動化 ・テキストクエリを用いたオーディオクリップ検索 ・テキストクエリを用いたオーディオの区間検索 ・マルチモーダル (Text, Image, Video, Audio) 基盤モデル 研究・開発どちらもやってます! 国際会議/論文誌投稿,OSSライブラリ開発,サービス向けツール開発
© LY Corporation 歌唱者ダイアライゼーション 複数人歌唱楽曲でどのタイミングで誰が歌っているか予測 応用先:LINE MUSICのUX向上 (歌詞表示,カラオケ機能) 従来:ボーカル抽出技術と話者(=対話音声)ダイアライゼーション技術の組み合わせ 課題:歌唱者ダイアライゼーションの学習データのアノテーションは高コスト
提案:大規模な楽曲データと音声変換モデルを組み合わせた合成データ生成法を提案! ☺ 企業ならではの大規模データ,音声合成チームとの連携 結果:大幅な性能改善 (ダイアライゼーション誤り率: 38.2% → 23.4%),国際会議採択! Diarization model Vocal extraction Singer labels Singer B A Time ♡~~~~~ ♧~~~~~
© LY Corporation テキストクエリを用いたオーディオの区間検索 長いオーディオから特定のイベントが含まれる区間を検索したい 応用先:スポーツ動画の自動ハイライト集生成,広告の自動審査 従来:事前に短く分割されたオーディオクリップの検索システムしかない 提案:コンピュータビジョンで扱われる動画に対する区間検索を応用,タスク整備 ☺ CVをバックグラウンドに持つメンバーと協力して新データセット,モデル提案
結果:単純なベースラインに比べて性能改善 (avg.mAP: 57.0→67.8),国際会議投稿中! Input long audio Input text query Freq.[kHz] 0 16 0 10 20 30 50 40 60 Time [second] 44s 16s Output audio moment Audio moment retrieval ”Spectators watch sports and cheer.” [16s, 44s]
© LY Corporation マルチモーダル基盤モデルの開発 日本語版Text-Image基盤モデルの拡張 目標:現状の基盤モデルに新たなモーダル(Video/Audioなど)を追加 (https://techblog.lycorp.co.jp/ja/20240514bにてText-image基盤モデルの詳細公開中!) 応用先:動画クリップに対する検索,自動タギング 現在進行中! ・日本語版の学習
/ 評価データ収集中 ・大規模学習に向けた環境構築 マルチモーダルなユーザクエリ マルチモーダルな出力 Audio Video Text Audio Video Text
© LY Corporation 1日の流れ ケース1 10:00-11:00 ミーティング 研究の進捗報告,アイデア出し 11:00-14:00 論文読み/資料作成/雑務
合間にお昼ご飯 14:00-15:00 全体定例 事業部との連携や 全社的な動きについて周知 15:00-18:45 論文読み/実験・実装/資料作成 日によってさまざま ミーティングが少ない夕方の方が コーディングに集中できる ケース2 10:00-15:00 論文執筆 締切前はとにかく書く 15:00-16:00 研究について1on1 行き詰まったらメンバーに相談 16:00-20:00 実験 論文を補強するための実験 集中モード
© LY Corporation