1 ©MIXI 「⼈物ごとのアルバム」の精度改善の軌跡 エンジニアが語る プロダクトへの AI / ML 導⼊‧活⽤事例 2025/1/15 登壇資料 @kittchy

2 ©MIXI ⾃⼰紹介

©MIXI 3 ⽊内 貴浩 / きのうち たかひろ / kittchy 株式会社MIXI Vantageスタジオ みてねプロダクト開発部 Data Engineeringグループ ⾃⼰紹介 2024年3⽉： 豊橋技術科学⼤学で⾳声認識の研究で修⼠号取得 2024年3⽉： ⾳声処理のスタートアップ/ML系受託開発会社で ⾳声処理MLモデル開発やMLOps業務 2024年4⽉： 株式会社MIXI新卒⼊社 2024年5⽉： みてねプロダクト開発部 Data Engineering Group に配属

©MIXI 4 家族アルバム みてねはスマホで撮った⼦どもの写真や動画を家族と共有し、 コミュニケーションして楽しむ家族アルバムサービスです。 家族アルバム みてねについて

©MIXI 5 本⽇話す内容 「⼈物ごとのアルバム」について • 「⼈物ごとのアルバム」とは？ • 顔分類の⼿法 「⼈物ごとのアルバム」の改善 • 半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化 改善の結果

6 ©MIXI 「⼈物ごとのアルバム」について

©MIXI 7 「⼈物ごとのアルバム」とは？ みてねにアップロードされた 写 真 や 動 画 を プログラムで 判 別 し、お ⼦ さまの 顔 ごとに ⾃動分類する機能 できること 1. まとまりでアルバムを表⽰ ● お⼦さま個⼈ ● ⼦どもたち（兄弟や姉妹 ） ● 家族みんな 2. ⽉齢ごとに成⻑メモを残すことで、 簡単に成⻑を振り返ることができる

©MIXI 8 顔分類の⼿法 詳細「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」 顔の経年変化の影響で 特徴量も変わってしまう ため、一定期間ごとに 区切ってクラスタリング

©MIXI 9 顔分類の⼿法 1月 2月 3月 4月 5月 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 顔特徴量 お子様A お子様B お子様A お子様B お子様A お子様B 同じクラスタにお子様を紐づけ 前の期間のセントロイド　に近い クラスタのセントロイド　を 計算し、クラスタを紐づける お子様の成長による顔の変化を 考慮して最大 2ヶ月以内の期間に 区切って処理 ご家族のアップロードした画像の撮影日 初回のみ年齢推定結果などを用いて クラスタとお子様と紐づけ お子様とクラスタを紐づける「名 寄せ」処理が走る

10 ©MIXI ⼈物ごとのアルバムの 課題 / 改善

©MIXI 11 • 半教師ありクラスタリング • 制約付きクラスタリング • 名寄せの⼯夫 • 初回クラスタリングの最適化 ⼈物ごとのアルバムの課題 / 解決策

©MIXI 12 半教師ありクラスタリングについて 課題 期間ごとにデータの偏りが発⽣することがわかり、セントロイドによる紐づけが失敗してしまう問題が発覚 - 期間内に撮影した写真に、特定のお⼦様の写真が少ない - 横顔やマスクの顔ばかり - クラスタの位置が⼤きくズレる 改善 - セントロイドによる紐づけから、半教師ありクラスタリングに変更 - 過去の分類済みのクラスタリング結果（クラスタID）を正として擬似教師ラベルとして活⽤ - 半教師にする特徴量は、お⼦様を優先して、過去3ヶ⽉以内の顔からN個取得 半教師 半教師 詳細：「写真 ・動画を自動分類し続ける「人物ごとのアルバム」機能の仕組み」

©MIXI 13 制約付きクラスタリング 課題 双⼦のお⼦様や顔のよく似たお⼦様の場合、同じクラスタに属してしまう問題が発覚 クラスタリングのハイパラを⼿動調整すれば分類可能だが、すべてのご家族に⼿動対応するのは不可能 改善 「制約付きクラスタリング」として、同⼀写真に写っている顔は同じクラスタに属さないという 制約を設けて、お⼦様のクラスタが分裂するようにした 双子が同時に写った写真 Cannot-link お子様A お子様B ママ Cannot-link

©MIXI 14 名寄せの⼯夫 課題 名寄せが実⾏される条件は以下のとおり ● ⼈物ごとのアルバムが新たに作成される時（プレミアム⼊会時） ● お⼦様が⽣まれた時 ⼀⽅、それ以外はすべて過去のクラスタとの紐づけ処理によってお⼦様のアルバムを更新していく クラスタの紐づけが⼀定期間以上失敗した場合、お⼦様のアルバムの更新が⽌まってしまう 改善 ひも付きが途切れたお⼦様を⾃動で再度紐づける「再名寄せ処理」を導⼊ ※ 3ヶ⽉以上途切れているご家族のみ対象 例）お⼦様が2⼈以上いるご家族の場合 お⼦様1⼈に対して 推定年齢、顔の数を⽤いて 再度⾃動名寄せ お子様A お子様B その他 みんな お子様A お子様B その他 みんな

©MIXI 15 初回クラスタリングの最適化 課題 初回クラスタリング対象になる期間は、「⼈物ごとのアルバム」新規作成時（プレミアム⼊会）の直近の期間 例：2025/1/15にプレミアム⼊会の場合、2024/12~2025/1のメディア クラスタリングが難しい期間で初回クラスタリングが⾛った場合、失敗しがち。 - 他のお⼦様の顔が多い期間：運動会、お正⽉、イベントなど - お⼦様の顔が写った写真が少ない期間 改善 お⼦様が⽣まれている全期間でクラスタリングしやすい期間を探し、初回クラスタリング対象期間とする - 顔が多く検出された期間 - 写真1枚あたりの、顔の数が少ない期間 これにより、難しい期間を避けて、お⼦様のお顔単体でたくさん写っている期間が選ばれる

©MIXI 16 その他の改善 顔特徴量抽出モデルのUpgrade 海外のご家族に対しての顔分類精度の向上 顔分析MLモデルのUpgrade 顔の検出、年齢推定、顔の向き推定などの精度を向上させることで、名寄せ処理の精度が向上 すでに壊れているご家族の⼈物ごとのアルバムを強制リセット お⼦様のアルバムが作成されてないなどの「アルバムが壊れた家族」を対象に⼈物ごとのアルバムを強制し、作 り直す対応

17 ©MIXI 改善結果

©MIXI 18 ひも付き率：毎⽇のクラスタリングのうち、過去のクラスタからお⼦様が紐づいて作成された割合 （グラフは世界全体のご家族の⼈物ごとのアルバムのひも付き率を⽰す） 2022年から⽐較すると、約15〜20 pts 改善 改善結果 条件付き クラスタリング導入 半教師顔の数を増やす 半教師あり クラスタリング 初回クラスタリングの 最適化 再名寄せ機能の 全家族導入

19 ©MIXI Data Engineering Groupについて

©MIXI 20 グループのミッション AI/MLとデータを活かし、「世界⼀愛されるサービス」 と「圧倒的収益」の実現を加速させる 主な業務 • みてねが提供する商材のレコメンド • 画像解析パイプラインの整備 • みてねに組み込むML技術の研究開発 募集中の職種 • （iOS/Android/Ruby on Rails）エンジニア Data Engineering Groupについて エンジニア 採用 グループ 紹介

21 ©MIXI