Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
『何を作る』から一緒に考えて、事業の 武器になる機能をつくるまで
Search
CyberAgent
PRO
September 25, 2023
0
950
『何を作る』から一緒に考えて、事業の 武器になる機能をつくるまで
メディア統括本部 Data Science Center 松田和己
CyberAgent
PRO
September 25, 2023
Tweet
Share
More Decks by CyberAgent
See All by CyberAgent
ジャンプTOONにおけるサイトマップの自動生成手法について
cyberagentdevelopers
PRO
0
32
ABEMA スマートテレビアプリケーションのパフォーマンス改善: 業界トップクラスを目指して / Muddy Web #10 ~Special Edition~ 【ゲスト: pixiv】
cyberagentdevelopers
PRO
0
22
未来のテレビを形づくる ABEMAのグロース戦略:ユーザー体験と品質向上のアプローチ
cyberagentdevelopers
PRO
1
440
IBC 2024 動画技術関連レポート / IBC 2024 Report
cyberagentdevelopers
PRO
1
230
生成AIは安心・安全に貢献できるのか
cyberagentdevelopers
PRO
0
41
AIの血肉となるアノテーションデータのために大事にしている事
cyberagentdevelopers
PRO
2
52
ABEMA NEWSにおける映像データを活用した記事生成AI 〜記事制作者に寄り添ったソリューションにするまで〜
cyberagentdevelopers
PRO
0
83
ACL 2024 参加報告
cyberagentdevelopers
PRO
0
120
生成AIの強みと弱みを理解して、生成AIがもたらすパワーをプロダクトの価値へ繋げるために実践したこと / advance-ai-generating
cyberagentdevelopers
PRO
1
370
Featured
See All Featured
Speed Design
sergeychernyshev
25
720
Understanding Cognitive Biases in Performance Measurement
bluesmoon
27
1.5k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
59k
Bash Introduction
62gerente
609
210k
Learning to Love Humans: Emotional Interface Design
aarron
274
40k
Mobile First: as difficult as doing things right
swwweet
222
9k
Embracing the Ebb and Flow
colly
84
4.5k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
232
17k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
2
160
Automating Front-end Workflow
addyosmani
1366
200k
StorybookのUI Testing Handbookを読んだ
zakiyama
28
5.4k
[RailsConf 2023] Rails as a piece of cake
palkan
53
5.1k
Transcript
『何を作る』から一緒に考えて、事業の 武器になる機能をつくるまで メディアサービスにおけるデータ・AIの活用事例#3 メディア統括本部 > Data Science Center (DSC) 松田和己
松田 和己(まつだ かずき) 2015年新卒入社:データサイエンティスト メディア統括本部 > DSC (Data Science Center,
旧秋葉原ラボ) 担当 2022〜 WINTICKET(ココの話をします) 趣味 ゲーム(FPS, SRPG, DCG などなど) 麻雀、将棋、バスケットボール 2
概要 - 『何を作る』から一緒に考えて、事業の武器になる機能をつくるまで メディア事業の各サービスにデータ活用の観点 から支援するDSCにおいて、 これまで誰も担当していなかったネット投票 サービス「WINTICKET」に新たに参画し、 サービスのメンバーと何を作るか作れるのかと いう議論や、データの分析・機械学習モデルの 構築を通して、
1つの新機能(サービスの武器)をリリース (実検証)するまでのお話をします。 3
おことわり インターネット投票サービスの業界は現在競合ひしめくこともあり、 全体的に情報が小出しになっている気があります。 4
DSC(Data Science Center) メディア事業のサービスをデータ活用 を通して支援する横軸組織で、 職種としては、主に、 • データサイエンティスト(DS) • 機械学習エンジニア(ML)
が所属しています。 源流は、去年まで秋葉原にオフィスが あった秋葉原ラボです。 5
DSC と サービス ADC(Abema Data Center)と協業し、各メディアサービスと連携しています 6 初連携
WINTICKET(ウィンチケット) 2019年4月より開始したインターネット投票サービスで、 競輪・オートレースを取り扱う。 直近のネット投票シェアが 42 %。 7
きっかけ WINTICKETより、 「競輪を予想するときに役立つ究極のデータ を作りたい。」 ↓ 「競輪を予想する上で重要だがまだ存在して いない、どのラインが一番強いのか、という データを作りたい。」 ↓ ヒアリング・アサイン
(DSC x WINTICKET 連携のはじまり) 8
競輪とは 9 公営ギャンブルの1つ 売上規模は、 中央競馬>ボートレース>競輪=地方競馬 >オートレース 人間の力を動力とする唯一の種目 その人間味・奥深さから「ギャンブルの終 着点」とも言われる
ラインとは 10 競輪では各選手が個々の脚質に応じ、 全力を発揮して勝利を得るために、他 の選手と連携します (競輪公式 - KEIRIN.JP) 4周以上する中で、ざっくりと •
最後の直線前まで団体戦 • 最後の直線から個人戦 とも言われる
① ヒアリング・アサイン ② プロジェクト設計 ③ キックオフ ④ 要件整理(仕様・コンセプト策定):3month ⑤ 機械学習モデルの構築:2month
⑥ 開発(つなぎ込み):3month ⑦ リリース・効果検証(ABテスト):1month ⑧ 振り返り・ネクストアクション 流れ 11 ⬅ ④⑤のサイクルに時間を要した
プロジェクト設計 データに関わる部分を中心に大まかな設計を実施し、整理しておく。 特に • ビジネス目的とその背景 • 問題設定のシンプル化とアウトプットイメージの明瞭化 • やることとやらないこと、ゴール(中間地点)の設定 •
ロードマップと関わるメンバーの役割 実際は、このあとの仕様策定で試行錯誤していて、 何をやるのか、作るのか、という部分は定期的に見直しながら進みます。 12
キックオフ 顔合わせ、プロジェクト設計の内容の 中でも特に抑えておきたい項目につい て認識を揃えておく • 組織やメンバーの役割分担 • ロードマップ 仕様・要件については、特に新機能で 容易に変わりうるため変わることには
柔軟に、ただし認識の齟齬が極力ない ように、という意識で取り組む 13
「何を作る」- 議論と意思決定支援 いわゆる要件整理ではあるが、 サービスの方が意思決定できるような データの抽出・分析・機械学習モデル (後述)のPoCを実施する。 このとき、 • データについて、相手に合わせたコ ミュニケーション・説明の仕方
• ビジネスの課題や状況の理解と議論 のリード に重点を置きました。 14
「何を作る」- コンセプトの着地 • 競輪はギャンブルとしてハードルが高い • 的中確率が高い、というアピールがしたい • 登録しても何もしないで離脱する層がいて アプローチしたい といった観点から、初心者にとにかく的中して
もらいたい、というコンセプトに着地。 実際は、このあとの機械学習モデルの精度がコ ンセプトの意思決定にもつながっているため、 機械学習モデル⇆意思決定支援(議論)のサイ クルに時間を要した。 15
機械学習モデルの構築 いわゆるAI予想のようなタスクですが、 ラインの強さを定義し、それを定量化するための 機械学習モデルを構築する。 実際は、コンセプトに連動して問題設定が変わる ため、プロジェクトを通して様々なモデルを作成 していました。 (モデルの精度と議論のバランスが重要でした) 16
機械学習モデルの構築 最終的には、とにかく当たる、というコンセプト になったため、以下のような問題設定に ① 個々のラインを定量化 ② 当たりやすいレース=1つのラインが飛び 抜けているレースはどれか 特徴量としては、AI予想のタスクで一般的な
• 選手の過去の成績 • レースの情報 を中心に • ラインの情報 • 同じレースのラインの相対関係 17
開発(サービスへのつなぎこみ) サービスのエンジニアの方と連携し構成を検討、 GCP(Google Cloud Platform)のサービスで完結する ような以下の構成に着地 • Data Source :
BigQuery • ML : BigQuery ML • Workflow : Vertex AI Pipelines 実装は、サービスのエンジニアの方に担当いただいたが、 こちらもゼロベースのため苦戦。機械学習モデルを作り込 む前に始められたかもと思う。 (並行して進められる部分の議論リードが必要だった) 18
仕様FIX コンセプト 「競輪初心者ユーザに的中体験を」 + ラインの存在や重要性を伝えられる アウトプット ①個々のラインの強さ(を定量化したもの) ②レースで最も有力なラインの2車複的中確率 仕様 ・上記②が高いレースについて①②をユーザへ提示
・提示するページから投票ができるようにし、 最初の投票(100円分)をユーザ目線無料に 19
デザイン 20 デザイナーの方 が担当。効果検 証のためにユー ザ体験を理解し ておく。
番外編 - ABEMA競輪チャンネル 21 ABEMAで放送されて いる競輪番組の制作 チームとも連携し、活 用につながっていま す。
これについてはシンプルにABテストを実施した。 新規登録ユーザに対して、 • 対象群:これまで通り • 介入群:新機能を適用 の2群で、 以下を検証 • 新機能の狙いが実現できているか
• ネガティブな事象が起きていないか (例えば、他の施策を邪魔していないか) 効果検証 - 方法 22
効果検証 - 結果 初心者に的中体験を、のコンセプトに沿った効果を確認できた。 以下、対象群比で、 • 登録初日の投票経験率:103 % へ向上 ◦
投票しない層の引き上げ • 登録初日の的中経験率:138 % へ向上 ◦ 投票するけどハズレてしまう層の引き上げ • 登録7日後の継続率:109 % へ向上 • 登録7日後の累計5,000pt以上投票率:105 % へ向上 23
振り返り、ネクストアクション 24 振り返り • 初心者に的中体験を、のコンセプトに沿った結果を得ることができた • 中級者以上には大きな効果はない、というある意味想定通りの結果も確認 ネクストアクション • 的中体験の次を念頭においた議論&拡張
• コアな競輪ファンにも使ってもらえるようなものづくり • (番外編)番組制作観点に沿った議論&拡張
まとめ - うまく意識できていたこと 横軸のデータ組織から、これまで未開拓だったネット投票サービスに新たに参画 し、一緒に考えて機能がリリースされるまでの取り組みをご紹介しました。 うまくいったこと、こうしておいて良かったこと • 初連携の中で、齟齬解消を意識し、信頼関係につなげられたこと • キックオフ時に役割を明確化できたこと
• 担当者に沿ったコミュニケーションと必要に応じたリード 25
まとめ - 次は良くしたいこと うまくいかなかったこと、もっとこうしておけば良かったこと • 仕様策定では、特に機能のコンセプトをどこに置くのか、について着地する のに時間を要してしまった。①データを含む論点を整理し効率的な議論の リード、②機械学習モデルの精度について現実的な範囲を伝えることによる 議論の効率化(初連携の難しさもありつつ) •
開発(つなぎ込み)において、サービスのエンジニアの方のリソースを事前 に握れていたのは良かったが、丸投げ気味になりスケジュール的にも苦戦し てしまっていた。①データの領域についてはよりデータ側からサポートす る、②並行して進められる部分を整理し効率的に進められるように議論を リードする 26
さいごに 現在は、チームメンバーも増え、様々なビジネス課題に取り組んでいます。 ご興味がありましたら、そのあたりのお話もできればと思います。 27