Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of album...
Search
MIXI ENGINEERS
PRO
January 15, 2025
Technology
2
190
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of albums by person
本スライドは、2025年1月15日に開催された「
エンジニアが語る プロダクトへの AI / ML 導入・活用事例
」のみてね木内の登壇資料です。
MIXI ENGINEERS
PRO
January 15, 2025
Tweet
Share
More Decks by MIXI ENGINEERS
See All by MIXI ENGINEERS
組織のデータリテラシー向上に向けて ~ MIXI データ活用ガイドラインができるまで 〜
mixi_engineers
PRO
5
34
MIXIにおけるWebRTC技術の活用/Use of WebRTC Technology in MIXI
mixi_engineers
PRO
2
49
「モンスターストライク」の運営を支えるデータ分析基盤の歴史と進化 / History and evolution of the data analysis infrastructure supporting “Monster Strike” operations
mixi_engineers
PRO
3
240
【全貌公開】 MIXI の Atlassian Cloud 移行の裏側 / Behind MIXI's Migration to Atlassian Cloud
mixi_engineers
PRO
0
300
MIXI TECH NOTE #12
mixi_engineers
PRO
2
44
運営11年目タイトルを守る最強の盾の有効性と活用法
mixi_engineers
PRO
2
340
MIXI における技術広報とその役割
mixi_engineers
PRO
2
330
セキュリティ監視の内製化 効率とリスク
mixi_engineers
PRO
8
2.6k
IT企業でロボットを作った話 / A story about building a robot in an IT company
mixi_engineers
PRO
2
130
Other Decks in Technology
See All in Technology
トレードオフスライダーにおける品質について考えてみた
suzuki_tada
3
200
CNAPPから考えるAWSガバナンスの実践と最適化
nrinetcom
PRO
1
380
事業継続を支える自動テストの考え方
tsuemura
0
160
パフォーマンスとコスト改善のために法人データ分析基盤をBigQueryに移行した話
seiya303
1
110
Enhancing SRE Using AI
yoshiiryo1
1
420
自動と手動の両輪で開発するデータクレンジング
estie
2
130
依存関係があるコンポーネントは Barrel ファイルでまとめよう
azukiazusa1
1
410
君はPostScriptなウィンドウシステム 「NeWS」をご存知か?/sunnews
koyhoge
0
570
日本語プログラミングとSpring Bootアプリケーション開発 #kanjava
yusuke
2
370
private spaceについてあれこれ調べてみた
operando
1
210
CloudWatch Container Insightsを使ったAmazon ECSのリソース監視
umekou
1
140
ソフトウェアアーキテクトのための意思決定術: Software Architecture and Decision-Making
snoozer05
PRO
18
4.2k
Featured
See All Featured
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Responsive Adventures: Dirty Tricks From The Dark Corners of Front-End
smashingmag
251
21k
ReactJS: Keep Simple. Everything can be a component!
pedronauck
666
120k
A designer walks into a library…
pauljervisheath
205
24k
Six Lessons from altMBA
skipperchong
27
3.6k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Evolution of real-time – Irina Nazarova, EuRuKo, 2024
irinanazarova
6
520
"I'm Feeling Lucky" - Building Great Search Experiences for Today's Users (#IAC19)
danielanewman
226
22k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
193
16k
実際に使うSQLの書き方 徹底解説 / pgcon21j-tutorial
soudai
175
51k
How to train your dragon (web standard)
notwaldorf
90
5.8k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
Transcript
1 ©MIXI 「⼈物ごとのアルバム」の精度改善の軌跡 エンジニアが語る プロダクトへの AI / ML 導⼊‧活⽤事例 2025/1/15
登壇資料 @kittchy
2 ©MIXI ⾃⼰紹介
©MIXI 3 ⽊内 貴浩 / きのうち たかひろ / kittchy 株式会社MIXI
Vantageスタジオ みてねプロダクト開発部 Data Engineeringグループ ⾃⼰紹介 2024年3⽉: 豊橋技術科学⼤学で⾳声認識の研究で修⼠号取得 2024年3⽉: ⾳声処理のスタートアップ/ML系受託開発会社で ⾳声処理MLモデル開発やMLOps業務 2024年4⽉: 株式会社MIXI新卒⼊社 2024年5⽉: みてねプロダクト開発部 Data Engineering Group に配属
©MIXI 4 家族アルバム みてねはスマホで撮った⼦どもの写真や動画を家族と共有し、 コミュニケーションして楽しむ家族アルバムサービスです。 家族アルバム みてねについて
©MIXI 5 本⽇話す内容 「⼈物ごとのアルバム」について • 「⼈物ごとのアルバム」とは? • 顔分類の⼿法 「⼈物ごとのアルバム」の改善 •
半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化 改善の結果
6 ©MIXI 「⼈物ごとのアルバム」について
©MIXI 7 「⼈物ごとのアルバム」とは? みてねにアップロードされた 写 真 や 動 画 を
プログラムで 判 別 し、お ⼦ さまの 顔 ごとに ⾃動分類する機能 できること 1. まとまりでアルバムを表⽰ • お⼦さま個⼈ • ⼦どもたち(兄弟や姉妹 ) • 家族みんな 2. ⽉齢ごとに成⻑メモを残すことで、 簡単に成⻑を振り返ることができる
©MIXI 8 顔分類の⼿法 詳細「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」 顔の経年変化の影響で 特徴量も変わってしまう ため、一定期間ごとに 区切ってクラスタリング
©MIXI 9 顔分類の⼿法 1月 2月 3月 4月 5月 顔特徴量 顔特徴量
顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 お子様A お子様B お子様A お子様B お子様A お子様B 同じクラスタにお子様を紐づけ 前の期間のセントロイド に近い クラスタのセントロイド を 計算し、クラスタを紐づける お子様の成長による顔の変化を 考慮して最大 2ヶ月以内の期間に 区切って処理 ご家族のアップロードした画像の撮影日 初回のみ年齢推定結果などを用いて クラスタとお子様と紐づけ お子様とクラスタを紐づける「名 寄せ」処理が走る
10 ©MIXI ⼈物ごとのアルバムの 課題 / 改善
©MIXI 11 • 半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化
⼈物ごとのアルバムの課題 / 解決策
©MIXI 12 半教師ありクラスタリングについて 課題 期間ごとにデータの偏りが発⽣することがわかり、セントロイドによる紐づけが失敗してしまう問題が発覚 - 期間内に撮影した写真に、特定のお⼦様の写真が少ない - 横顔やマスクの顔ばかり -
クラスタの位置が⼤きくズレる 改善 - セントロイドによる紐づけから、半教師ありクラスタリングに変更 - 過去の分類済みのクラスタリング結果(クラスタID)を正として擬似教師ラベルとして活⽤ - 半教師にする特徴量は、お⼦様を優先して、過去3ヶ⽉以内の顔からN個取得 半教師 半教師 詳細:「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」
©MIXI 13 制約付きクラスタリング 課題 双⼦のお⼦様や顔のよく似たお⼦様の場合、同じクラスタに属してしまう問題が発覚 クラスタリングのハイパラを⼿動調整すれば分類可能だが、すべてのご家族に⼿動対応するのは不可能 改善 「制約付きクラスタリング」として、同⼀写真に写っている顔は同じクラスタに属さないという 制約を設けて、お⼦様のクラスタが分裂するようにした 双子が同時に写った写真
Cannot-link お子様A お子様B ママ Cannot-link
©MIXI 14 名寄せの⼯夫 課題 名寄せが実⾏される条件は以下のとおり • ⼈物ごとのアルバムが新たに作成される時(プレミアム⼊会時) • お⼦様が⽣まれた時 ⼀⽅、それ以外はすべて過去のクラスタとの紐づけ処理によってお⼦様のアルバムを更新していく
クラスタの紐づけが⼀定期間以上失敗した場合、お⼦様のアルバムの更新が⽌まってしまう 改善 ひも付きが途切れたお⼦様を⾃動で再度紐づける「再名寄せ処理」を導⼊ ※ 3ヶ⽉以上途切れているご家族のみ対象 例)お⼦様が2⼈以上いるご家族の場合 お⼦様1⼈に対して 推定年齢、顔の数を⽤いて 再度⾃動名寄せ お子様A お子様B その他 みんな お子様A お子様B その他 みんな
©MIXI 15 初回クラスタリングの最適化 課題 初回クラスタリング対象になる期間は、「⼈物ごとのアルバム」新規作成時(プレミアム⼊会)の直近の期間 例:2025/1/15にプレミアム⼊会の場合、2024/12~2025/1のメディア クラスタリングが難しい期間で初回クラスタリングが⾛った場合、失敗しがち。 - 他のお⼦様の顔が多い期間:運動会、お正⽉、イベントなど -
お⼦様の顔が写った写真が少ない期間 改善 お⼦様が⽣まれている全期間でクラスタリングしやすい期間を探し、初回クラスタリング対象期間とする - 顔が多く検出された期間 - 写真1枚あたりの、顔の数が少ない期間 これにより、難しい期間を避けて、お⼦様のお顔単体でたくさん写っている期間が選ばれる
©MIXI 16 その他の改善 顔特徴量抽出モデルのUpgrade 海外のご家族に対しての顔分類精度の向上 顔分析MLモデルのUpgrade 顔の検出、年齢推定、顔の向き推定などの精度を向上させることで、名寄せ処理の精度が向上 すでに壊れているご家族の⼈物ごとのアルバムを強制リセット お⼦様のアルバムが作成されてないなどの「アルバムが壊れた家族」を対象に⼈物ごとのアルバムを強制し、作 り直す対応
17 ©MIXI 改善結果
©MIXI 18 ひも付き率:毎⽇のクラスタリングのうち、過去のクラスタからお⼦様が紐づいて作成された割合 (グラフは世界全体のご家族の⼈物ごとのアルバムのひも付き率を⽰す) 2022年から⽐較すると、約15〜20 pts 改善 改善結果 条件付き クラスタリング導入
半教師顔の数を増やす 半教師あり クラスタリング 初回クラスタリングの 最適化 再名寄せ機能の 全家族導入
19 ©MIXI Data Engineering Groupについて
©MIXI 20 グループのミッション AI/MLとデータを活かし、「世界⼀愛されるサービス」 と「圧倒的収益」の実現を加速させる 主な業務 • みてねが提供する商材のレコメンド • 画像解析パイプラインの整備
• みてねに組み込むML技術の研究開発 募集中の職種 • (iOS/Android/Ruby on Rails)エンジニア Data Engineering Groupについて エンジニア 採用 グループ 紹介
21 ©MIXI