Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of album...
Search
MIXI ENGINEERS
PRO
January 15, 2025
Technology
2
270
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of albums by person
本スライドは、2025年1月15日に開催された「
エンジニアが語る プロダクトへの AI / ML 導入・活用事例
」のみてね木内の登壇資料です。
MIXI ENGINEERS
PRO
January 15, 2025
Tweet
Share
More Decks by MIXI ENGINEERS
See All by MIXI ENGINEERS
プロジェクトマネジメント実践論|現役エンジニアが語る!~チームでモノづくりをする時のコツとは?~
mixi_engineers
PRO
3
200
スクラムマスターなしでもいい感じにスクラム開発している話
mixi_engineers
PRO
1
210
組織のデータリテラシー向上に向けて ~ MIXI データ活用ガイドラインができるまで 〜
mixi_engineers
PRO
6
230
MIXI配信取り組み
mixi_engineers
PRO
2
78
MIXIにおけるWebRTC技術の活用/Use of WebRTC Technology in MIXI
mixi_engineers
PRO
2
150
「モンスターストライク」の運営を支えるデータ分析基盤の歴史と進化 / History and evolution of the data analysis infrastructure supporting “Monster Strike” operations
mixi_engineers
PRO
3
460
【全貌公開】 MIXI の Atlassian Cloud 移行の裏側 / Behind MIXI's Migration to Atlassian Cloud
mixi_engineers
PRO
0
790
MIXI TECH NOTE #12
mixi_engineers
PRO
2
93
運営11年目タイトルを守る最強の盾の有効性と活用法
mixi_engineers
PRO
2
480
Other Decks in Technology
See All in Technology
障害を回避するHttpClient再入門 / Avoiding Failures HttpClient Reintroduction
uskey512
1
450
Tenstorrent 開発者プログラム
tenstorrent_japan
0
200
Oracle Cloud Infrastructure IaaS 新機能アップデート 2025/03 - 2025/05
oracle4engineer
PRO
1
130
セキュリティSaaS企業が実践するCursor運用ルールと知見 / How a Security SaaS Company Runs Cursor: Rules & Insights
tetsuzawa
1
3k
Introduction to Sansan, inc / Sansan Global Development Center, Inc.
sansan33
PRO
0
2.6k
Tenstorrent HW/SW 概要説明
tenstorrent_japan
0
230
メルカリにおけるデータアナリティクス AI エージェント「Socrates」と ADK 活用事例
na0
15
7.4k
Generational ZGCのメモリ運用改善 - その物理メモリ使用量、本当に正しい?
tabatad
0
280
Kubernetesで作るAIプラットフォーム
oracle4engineer
PRO
2
180
libsyncrpcってなに?
uhyo
0
250
Javaアプリケーションの配布とパッケージング / Distribution and packaging of Java applications
hogelog
2
520
20250612_GitHubを使いこなすためにソニーの開発現場が取り組んでいるプラクティス.pdf
osakiy8
1
330
Featured
See All Featured
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
20
1.3k
Let's Do A Bunch of Simple Stuff to Make Websites Faster
chriscoyier
507
140k
Reflections from 52 weeks, 52 projects
jeffersonlam
349
20k
YesSQL, Process and Tooling at Scale
rocio
172
14k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
194
16k
Agile that works and the tools we love
rasmusluckow
329
21k
Visualization
eitanlees
146
16k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
30
2.1k
The Pragmatic Product Professional
lauravandoore
35
6.7k
VelocityConf: Rendering Performance Case Studies
addyosmani
329
24k
Building a Modern Day E-commerce SEO Strategy
aleyda
41
7.3k
RailsConf & Balkan Ruby 2019: The Past, Present, and Future of Rails at GitHub
eileencodes
137
34k
Transcript
1 ©MIXI 「⼈物ごとのアルバム」の精度改善の軌跡 エンジニアが語る プロダクトへの AI / ML 導⼊‧活⽤事例 2025/1/15
登壇資料 @kittchy
2 ©MIXI ⾃⼰紹介
©MIXI 3 ⽊内 貴浩 / きのうち たかひろ / kittchy 株式会社MIXI
Vantageスタジオ みてねプロダクト開発部 Data Engineeringグループ ⾃⼰紹介 2024年3⽉: 豊橋技術科学⼤学で⾳声認識の研究で修⼠号取得 2024年3⽉: ⾳声処理のスタートアップ/ML系受託開発会社で ⾳声処理MLモデル開発やMLOps業務 2024年4⽉: 株式会社MIXI新卒⼊社 2024年5⽉: みてねプロダクト開発部 Data Engineering Group に配属
©MIXI 4 家族アルバム みてねはスマホで撮った⼦どもの写真や動画を家族と共有し、 コミュニケーションして楽しむ家族アルバムサービスです。 家族アルバム みてねについて
©MIXI 5 本⽇話す内容 「⼈物ごとのアルバム」について • 「⼈物ごとのアルバム」とは? • 顔分類の⼿法 「⼈物ごとのアルバム」の改善 •
半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化 改善の結果
6 ©MIXI 「⼈物ごとのアルバム」について
©MIXI 7 「⼈物ごとのアルバム」とは? みてねにアップロードされた 写 真 や 動 画 を
プログラムで 判 別 し、お ⼦ さまの 顔 ごとに ⾃動分類する機能 できること 1. まとまりでアルバムを表⽰ • お⼦さま個⼈ • ⼦どもたち(兄弟や姉妹 ) • 家族みんな 2. ⽉齢ごとに成⻑メモを残すことで、 簡単に成⻑を振り返ることができる
©MIXI 8 顔分類の⼿法 詳細「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」 顔の経年変化の影響で 特徴量も変わってしまう ため、一定期間ごとに 区切ってクラスタリング
©MIXI 9 顔分類の⼿法 1月 2月 3月 4月 5月 顔特徴量 顔特徴量
顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 お子様A お子様B お子様A お子様B お子様A お子様B 同じクラスタにお子様を紐づけ 前の期間のセントロイド に近い クラスタのセントロイド を 計算し、クラスタを紐づける お子様の成長による顔の変化を 考慮して最大 2ヶ月以内の期間に 区切って処理 ご家族のアップロードした画像の撮影日 初回のみ年齢推定結果などを用いて クラスタとお子様と紐づけ お子様とクラスタを紐づける「名 寄せ」処理が走る
10 ©MIXI ⼈物ごとのアルバムの 課題 / 改善
©MIXI 11 • 半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化
⼈物ごとのアルバムの課題 / 解決策
©MIXI 12 半教師ありクラスタリングについて 課題 期間ごとにデータの偏りが発⽣することがわかり、セントロイドによる紐づけが失敗してしまう問題が発覚 - 期間内に撮影した写真に、特定のお⼦様の写真が少ない - 横顔やマスクの顔ばかり -
クラスタの位置が⼤きくズレる 改善 - セントロイドによる紐づけから、半教師ありクラスタリングに変更 - 過去の分類済みのクラスタリング結果(クラスタID)を正として擬似教師ラベルとして活⽤ - 半教師にする特徴量は、お⼦様を優先して、過去3ヶ⽉以内の顔からN個取得 半教師 半教師 詳細:「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」
©MIXI 13 制約付きクラスタリング 課題 双⼦のお⼦様や顔のよく似たお⼦様の場合、同じクラスタに属してしまう問題が発覚 クラスタリングのハイパラを⼿動調整すれば分類可能だが、すべてのご家族に⼿動対応するのは不可能 改善 「制約付きクラスタリング」として、同⼀写真に写っている顔は同じクラスタに属さないという 制約を設けて、お⼦様のクラスタが分裂するようにした 双子が同時に写った写真
Cannot-link お子様A お子様B ママ Cannot-link
©MIXI 14 名寄せの⼯夫 課題 名寄せが実⾏される条件は以下のとおり • ⼈物ごとのアルバムが新たに作成される時(プレミアム⼊会時) • お⼦様が⽣まれた時 ⼀⽅、それ以外はすべて過去のクラスタとの紐づけ処理によってお⼦様のアルバムを更新していく
クラスタの紐づけが⼀定期間以上失敗した場合、お⼦様のアルバムの更新が⽌まってしまう 改善 ひも付きが途切れたお⼦様を⾃動で再度紐づける「再名寄せ処理」を導⼊ ※ 3ヶ⽉以上途切れているご家族のみ対象 例)お⼦様が2⼈以上いるご家族の場合 お⼦様1⼈に対して 推定年齢、顔の数を⽤いて 再度⾃動名寄せ お子様A お子様B その他 みんな お子様A お子様B その他 みんな
©MIXI 15 初回クラスタリングの最適化 課題 初回クラスタリング対象になる期間は、「⼈物ごとのアルバム」新規作成時(プレミアム⼊会)の直近の期間 例:2025/1/15にプレミアム⼊会の場合、2024/12~2025/1のメディア クラスタリングが難しい期間で初回クラスタリングが⾛った場合、失敗しがち。 - 他のお⼦様の顔が多い期間:運動会、お正⽉、イベントなど -
お⼦様の顔が写った写真が少ない期間 改善 お⼦様が⽣まれている全期間でクラスタリングしやすい期間を探し、初回クラスタリング対象期間とする - 顔が多く検出された期間 - 写真1枚あたりの、顔の数が少ない期間 これにより、難しい期間を避けて、お⼦様のお顔単体でたくさん写っている期間が選ばれる
©MIXI 16 その他の改善 顔特徴量抽出モデルのUpgrade 海外のご家族に対しての顔分類精度の向上 顔分析MLモデルのUpgrade 顔の検出、年齢推定、顔の向き推定などの精度を向上させることで、名寄せ処理の精度が向上 すでに壊れているご家族の⼈物ごとのアルバムを強制リセット お⼦様のアルバムが作成されてないなどの「アルバムが壊れた家族」を対象に⼈物ごとのアルバムを強制し、作 り直す対応
17 ©MIXI 改善結果
©MIXI 18 ひも付き率:毎⽇のクラスタリングのうち、過去のクラスタからお⼦様が紐づいて作成された割合 (グラフは世界全体のご家族の⼈物ごとのアルバムのひも付き率を⽰す) 2022年から⽐較すると、約15〜20 pts 改善 改善結果 条件付き クラスタリング導入
半教師顔の数を増やす 半教師あり クラスタリング 初回クラスタリングの 最適化 再名寄せ機能の 全家族導入
19 ©MIXI Data Engineering Groupについて
©MIXI 20 グループのミッション AI/MLとデータを活かし、「世界⼀愛されるサービス」 と「圧倒的収益」の実現を加速させる 主な業務 • みてねが提供する商材のレコメンド • 画像解析パイプラインの整備
• みてねに組み込むML技術の研究開発 募集中の職種 • (iOS/Android/Ruby on Rails)エンジニア Data Engineering Groupについて エンジニア 採用 グループ 紹介
21 ©MIXI