グノシーを支える ML業務プロセス YOSHIFUMI SEKI 2014.06.06 MACHINE LEARNING CASUAL TALK

自己紹介 •  関 喜史 •  Gunosy Inc. 共同創業者 •  東京大学博士後期課程在籍中 •  推薦システム／コンテンツ評価／ユーザ行動分析 •  グノシー •  最適な情報を最適な人にお届けするニュースアプリ •  絶賛CM放送中 •  DL数 300万超え

今日の話 機械学習を用いたサービスを どのようにユーザに届けるか？

基本方針 過去データからユーザ体験の予測はできない 優劣はユーザに出してはじめて明らかになる

グノシーの機械学習タスク たくさんのURL 同一記事判定 カテゴリ推定 クオリティ予測 ユーザCTR予測 etc… 少数のURL

リリース前 •  仮説を起案 •  「もっといま流行っている情報を届けやすくする」 •  「新鮮なコンテンツを届けやすくする」 •  このときそれによって向上をねらうKPIも設計する •  仮説に適合するモデルやfeatureを決めて実装 •  現状のデータと比較 •  Ex. 配信量が変化するコンテンツがあるか？その変化量は想 定通りか？ •  Ex. ユーザが見ていたコンテンツがそのユーザに配信されなく ならないか？その割合はどの程度か？ •  詳しい精度とかを出すとか、既存に比べて勝っているとかは見 ない．どのような変化が起こるかだけを観測しておく．

A/Bテスト •  事前に調査した影響に応じて適用する範囲を設定 •  まずは新規ユーザの一部に適用 •  既存ユーザは”これまでとの変化”という要因がはいる •  向上を狙ったKPIにどのような影響がでるか？ •  ある程度の期間をみる •  定常的なKPIに悪影響が出ていないか？ •  KPIの変化に応じてテスト範囲の拡大や，テストの中止を行う． •  想定と違った場合 •  どのようなユーザがKPIを悪化させたのか，それが変更による ものかを調査 •  そのユーザの特性からモデルを改善しまたテスト

まとめ •  サービスとして提供しているのでモデルの優劣はユーザが決める •  数値は神より正しい •  ユーザがすべてを知っている •  迷ったら挑戦しよう (Gunosy Wayより) •  どこが良くなるか、というよりもアウトプットとして何が変わるかを認 識しておくことが重要 •  ユーザ体験としてなにが変わるのか？ •  KPIが変わったときに手がかりになる •  まず仮説が大事 •  何が課題で、どのKPIが目的なのか •  ユーザのどのような課題を解決するのか

宣伝 データマイニングの勉強会を行っています 「Gunosy研究会」 日時： 毎週火曜19:00 グノシーオフィス 内容： 書籍の輪読 (約30分) 論文の紹介 (約30分) 興味ある方はこのあとお声掛けください