Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of album...
Search
MIXI ENGINEERS
PRO
January 15, 2025
Technology
2
310
「人物ごとのアルバム」の精度改善の軌跡/Improving accuracy of albums by person
本スライドは、2025年1月15日に開催された「
エンジニアが語る プロダクトへの AI / ML 導入・活用事例
」のみてね木内の登壇資料です。
MIXI ENGINEERS
PRO
January 15, 2025
Tweet
Share
More Decks by MIXI ENGINEERS
See All by MIXI ENGINEERS
Google Agentspaceを実際に導入した効果と今後の展望
mixi_engineers
PRO
4
1.5k
プロジェクトマネジメント実践論|現役エンジニアが語る!~チームでモノづくりをする時のコツとは?~
mixi_engineers
PRO
5
410
セキュリティ研修【MIXI 25新卒技術研修】
mixi_engineers
PRO
4
1.8k
QA・ソフトウェアテスト研修【MIXI 25新卒技術研修】
mixi_engineers
PRO
3
1.4k
AI研修【MIXI 25新卒技術研修】
mixi_engineers
PRO
5
2.4k
ソフトウェアアーキテクチャ研修【MIXI 25新卒技術研修】
mixi_engineers
PRO
31
14k
Writing with AI【MIXI 25新卒技術研修】
mixi_engineers
PRO
3
690
Flutter研修【MIXI 25新卒技術研修】
mixi_engineers
PRO
3
720
WEBフロントエンド研修【MIXI 25新卒技術研修】
mixi_engineers
PRO
2
570
Other Decks in Technology
See All in Technology
Product Management Conference -AI時代に進化するPdM-
kojima111
0
220
我々は雰囲気で仕事をしている / How can we do vibe coding as well
naospon
2
220
実践アプリケーション設計 ③ドメイン駆動設計
recruitengineers
PRO
3
210
フルカイテン株式会社 エンジニア向け採用資料
fullkaiten
0
8.6k
Postman MCP 関連機能アップデート / Postman MCP feature updates
yokawasa
0
150
コスト削減の基本の「キ」~ コスト消費3大リソースへの対策 ~
smt7174
2
150
つくって納得、つかって実感! 大規模言語モデルことはじめ
recruitengineers
PRO
24
6.1k
JavaScript 研修
recruitengineers
PRO
3
180
新規案件の立ち上げ専門チームから見たAI駆動開発の始め方
shuyakinjo
0
130
Goss: New Production-Ready Go Binding for Faiss #coefl_go_jp
bengo4com
0
1.1k
生成AI利用プログラミング:誰でもプログラムが書けると 世の中どうなる?/opencampus202508
okana2ki
0
190
VPC Latticeのサービスエンドポイント機能を使用した複数VPCアクセス
duelist2020jp
0
250
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1370
200k
Documentation Writing (for coders)
carmenintech
73
5k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
31
2.2k
Unsuck your backbone
ammeep
671
58k
Fireside Chat
paigeccino
39
3.6k
Become a Pro
speakerdeck
PRO
29
5.5k
Agile that works and the tools we love
rasmusluckow
329
21k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3k
Done Done
chrislema
185
16k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.6k
Transcript
1 ©MIXI 「⼈物ごとのアルバム」の精度改善の軌跡 エンジニアが語る プロダクトへの AI / ML 導⼊‧活⽤事例 2025/1/15
登壇資料 @kittchy
2 ©MIXI ⾃⼰紹介
©MIXI 3 ⽊内 貴浩 / きのうち たかひろ / kittchy 株式会社MIXI
Vantageスタジオ みてねプロダクト開発部 Data Engineeringグループ ⾃⼰紹介 2024年3⽉: 豊橋技術科学⼤学で⾳声認識の研究で修⼠号取得 2024年3⽉: ⾳声処理のスタートアップ/ML系受託開発会社で ⾳声処理MLモデル開発やMLOps業務 2024年4⽉: 株式会社MIXI新卒⼊社 2024年5⽉: みてねプロダクト開発部 Data Engineering Group に配属
©MIXI 4 家族アルバム みてねはスマホで撮った⼦どもの写真や動画を家族と共有し、 コミュニケーションして楽しむ家族アルバムサービスです。 家族アルバム みてねについて
©MIXI 5 本⽇話す内容 「⼈物ごとのアルバム」について • 「⼈物ごとのアルバム」とは? • 顔分類の⼿法 「⼈物ごとのアルバム」の改善 •
半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化 改善の結果
6 ©MIXI 「⼈物ごとのアルバム」について
©MIXI 7 「⼈物ごとのアルバム」とは? みてねにアップロードされた 写 真 や 動 画 を
プログラムで 判 別 し、お ⼦ さまの 顔 ごとに ⾃動分類する機能 できること 1. まとまりでアルバムを表⽰ • お⼦さま個⼈ • ⼦どもたち(兄弟や姉妹 ) • 家族みんな 2. ⽉齢ごとに成⻑メモを残すことで、 簡単に成⻑を振り返ることができる
©MIXI 8 顔分類の⼿法 詳細「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」 顔の経年変化の影響で 特徴量も変わってしまう ため、一定期間ごとに 区切ってクラスタリング
©MIXI 9 顔分類の⼿法 1月 2月 3月 4月 5月 顔特徴量 顔特徴量
顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 お子様A お子様B お子様A お子様B お子様A お子様B 同じクラスタにお子様を紐づけ 前の期間のセントロイド に近い クラスタのセントロイド を 計算し、クラスタを紐づける お子様の成長による顔の変化を 考慮して最大 2ヶ月以内の期間に 区切って処理 ご家族のアップロードした画像の撮影日 初回のみ年齢推定結果などを用いて クラスタとお子様と紐づけ お子様とクラスタを紐づける「名 寄せ」処理が走る
10 ©MIXI ⼈物ごとのアルバムの 課題 / 改善
©MIXI 11 • 半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化
⼈物ごとのアルバムの課題 / 解決策
©MIXI 12 半教師ありクラスタリングについて 課題 期間ごとにデータの偏りが発⽣することがわかり、セントロイドによる紐づけが失敗してしまう問題が発覚 - 期間内に撮影した写真に、特定のお⼦様の写真が少ない - 横顔やマスクの顔ばかり -
クラスタの位置が⼤きくズレる 改善 - セントロイドによる紐づけから、半教師ありクラスタリングに変更 - 過去の分類済みのクラスタリング結果(クラスタID)を正として擬似教師ラベルとして活⽤ - 半教師にする特徴量は、お⼦様を優先して、過去3ヶ⽉以内の顔からN個取得 半教師 半教師 詳細:「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」
©MIXI 13 制約付きクラスタリング 課題 双⼦のお⼦様や顔のよく似たお⼦様の場合、同じクラスタに属してしまう問題が発覚 クラスタリングのハイパラを⼿動調整すれば分類可能だが、すべてのご家族に⼿動対応するのは不可能 改善 「制約付きクラスタリング」として、同⼀写真に写っている顔は同じクラスタに属さないという 制約を設けて、お⼦様のクラスタが分裂するようにした 双子が同時に写った写真
Cannot-link お子様A お子様B ママ Cannot-link
©MIXI 14 名寄せの⼯夫 課題 名寄せが実⾏される条件は以下のとおり • ⼈物ごとのアルバムが新たに作成される時(プレミアム⼊会時) • お⼦様が⽣まれた時 ⼀⽅、それ以外はすべて過去のクラスタとの紐づけ処理によってお⼦様のアルバムを更新していく
クラスタの紐づけが⼀定期間以上失敗した場合、お⼦様のアルバムの更新が⽌まってしまう 改善 ひも付きが途切れたお⼦様を⾃動で再度紐づける「再名寄せ処理」を導⼊ ※ 3ヶ⽉以上途切れているご家族のみ対象 例)お⼦様が2⼈以上いるご家族の場合 お⼦様1⼈に対して 推定年齢、顔の数を⽤いて 再度⾃動名寄せ お子様A お子様B その他 みんな お子様A お子様B その他 みんな
©MIXI 15 初回クラスタリングの最適化 課題 初回クラスタリング対象になる期間は、「⼈物ごとのアルバム」新規作成時(プレミアム⼊会)の直近の期間 例:2025/1/15にプレミアム⼊会の場合、2024/12~2025/1のメディア クラスタリングが難しい期間で初回クラスタリングが⾛った場合、失敗しがち。 - 他のお⼦様の顔が多い期間:運動会、お正⽉、イベントなど -
お⼦様の顔が写った写真が少ない期間 改善 お⼦様が⽣まれている全期間でクラスタリングしやすい期間を探し、初回クラスタリング対象期間とする - 顔が多く検出された期間 - 写真1枚あたりの、顔の数が少ない期間 これにより、難しい期間を避けて、お⼦様のお顔単体でたくさん写っている期間が選ばれる
©MIXI 16 その他の改善 顔特徴量抽出モデルのUpgrade 海外のご家族に対しての顔分類精度の向上 顔分析MLモデルのUpgrade 顔の検出、年齢推定、顔の向き推定などの精度を向上させることで、名寄せ処理の精度が向上 すでに壊れているご家族の⼈物ごとのアルバムを強制リセット お⼦様のアルバムが作成されてないなどの「アルバムが壊れた家族」を対象に⼈物ごとのアルバムを強制し、作 り直す対応
17 ©MIXI 改善結果
©MIXI 18 ひも付き率:毎⽇のクラスタリングのうち、過去のクラスタからお⼦様が紐づいて作成された割合 (グラフは世界全体のご家族の⼈物ごとのアルバムのひも付き率を⽰す) 2022年から⽐較すると、約15〜20 pts 改善 改善結果 条件付き クラスタリング導入
半教師顔の数を増やす 半教師あり クラスタリング 初回クラスタリングの 最適化 再名寄せ機能の 全家族導入
19 ©MIXI Data Engineering Groupについて
©MIXI 20 グループのミッション AI/MLとデータを活かし、「世界⼀愛されるサービス」 と「圧倒的収益」の実現を加速させる 主な業務 • みてねが提供する商材のレコメンド • 画像解析パイプラインの整備
• みてねに組み込むML技術の研究開発 募集中の職種 • (iOS/Android/Ruby on Rails)エンジニア Data Engineering Groupについて エンジニア 採用 グループ 紹介
21 ©MIXI