DevLead by DMM #4

Transcript

1. ビッグデータ活用の実態 〜DMM.comのデータの挑戦〜 Copyright © since 1998 DMM All Rights Reserved.
2. • データ分析の最適な環境（千葉） • データマート構築（椋林） Copyright © since 1998 DMM All Rights Reserved. 2
3. 千葉 健太（Kenta Chiba） DMM.com｜Data Planner DMM.comマーケティング本部統合戦略部。 2014年DMM.comに入社。 現在は、データ活用支援をミッションとした データプランナーとして各所支援 （データ取得〜可視化｜分析｜データ活用支援） Copyright © since 1998 DMM All Rights Reserved. 3 自己紹介 @ckenta045
4. Copyright © since 1998 DMM All Rights Reserved. 4 挑戦してますか？
5. Copyright © since 1998 DMM All Rights Reserved. 5 失敗（学び）してますか？
6. Copyright © since 1998 DMM All Rights Reserved. 6 今回のテーマの「“Scientific”への挑戦と失敗 編」 失敗（挑戦）を肯定するとは？ 失敗（挑戦）を肯定するとは？
7. Copyright © since 1998 DMM All Rights Reserved. 7 今回のテーマの「“Scientific”への挑戦と失敗 編」 失敗（挑戦）を肯定するとは？ 失敗（挑戦）を肯定するとは？ 肯定すべき失敗 ＝ 学びのある失敗 失敗から学ぶことで人は成長し成功に近づく 失敗で挫折するのではなく、失敗を否定されることにより挫折する
8. Copyright © since 1998 DMM All Rights Reserved. 8 データ分析の最適な環境を 　　　　　　構築するために挑戦したお話 本日の内容
9. 本日のアジェンダ Copyright © since 1998 DMM All Rights Reserved. 9 • どんなアクションしたか（挑戦） • 結果どうなったか（失敗｜学び） • 次のアクション（失敗を経て）
10. アクション（挑戦） Copyright © since 1998 DMM All Rights Reserved. 10 まず、最適な環境とは？ 誰でもビッグデータを集計でき、分析ができる環境 専門知識（SQL）がなくともデータ集計できる
11. アクション（挑戦） Copyright © since 1998 DMM All Rights Reserved. 11 最適な環境を作る手段として、BIツールの導入を採用 専門知識（SQL）がなくともデータ集計できる ・データの抽出｜加工 ・レポート｜ダッシュボード BIツール
12. アクション（挑戦） Copyright © since 1998 DMM All Rights Reserved. 12 ①BIツールの導入の検討 ②テスト的にいくつかのBIツールを部内で導入 ③BIツールを使ってビッグデータの整理を実施 下記アクションを実施
13. 結果どうなったか（失敗｜学び） Copyright © since 1998 DMM All Rights Reserved. 13 結果として、 　BIツールをフルで活用することができず、 　　　　　　　　　　　　本導入できなかった
14. 結果どうなったか（失敗｜学び） Copyright © since 1998 DMM All Rights Reserved. 14 • 大量のデータが複数のテーブルに散らばっているため、 　BIツールのみでのデータの整理に限界があった 失敗の要因
15. 結果どうなったか（失敗｜学び） Copyright © since 1998 DMM All Rights Reserved. 15 BIツール 大量のテーブル データの加工に限界があった
16. 結果どうなったか（失敗｜学び） Copyright © since 1998 DMM All Rights Reserved. 16 • 大量のデータが複数のテーブルに散らばっているため、 　BIツールのみでのデータの整理に限界があった 　→BI用に1次テーブルを整形したデータマートが必要であった 失敗の要因
17. 結果どうなったか（失敗｜学び） Copyright © since 1998 DMM All Rights Reserved. 17 BIツール 大量のテーブル データマート
18. 次のアクション（失敗を経て） Copyright © since 1998 DMM All Rights Reserved. 18 価値ある失敗は肯定される文化がDMMにはあり、 最適な環境構築に挑戦したことにより周囲に認知され 異なる組織職能のメンバーを巻き込んだ大きなプロジェクトとして再始 動し最適な環境を構築すべくプロジェクトは進行中
19. ご清聴ありがとうございました 次は椋林さん
20. 椋林 淳一（Mukubayashi Junichi） DMM.com｜Data Analyst 世の中に20人くらいしかいない苗字。 DMM.comマーケティング本部統合戦略部。 2019年DMM.comに入社。 現在はプラットフォーム全体の収益最大化をミッション としてデータを活用した意思決定のお手伝いをメイン 業務として行なっている。 Copyright © since 1998 DMM All Rights Reserved. 20 自己紹介 @mukku_analyst
21. Copyright © since 1998 DMM All Rights Reserved. 21 • 失敗（挑戦）を肯定するとは何か • どんなことをしようとして失敗したか • 現場（自分）がどう感じてどう対応したか • 失敗（挑戦）を経て、今どうしているのか おしながき
22. Copyright © since 1998 DMM All Rights Reserved. 22 失敗（挑戦）を肯定するとは何か 仕事において成功する確率のほうが低いはずなので、 失敗も肯定すべきである もちろん、成功も肯定すべきである ただし、肯定すべきでない失敗もある それは知見が生まれなかったり、 そこから何かが進まない失敗である
23. Copyright © since 1998 DMM All Rights Reserved. 23 どんなことをしようとして失敗したか 売上の定義の異なる事業の売上を一括で抽出できる 分析用データマートつくりをして失敗した
24. Copyright © since 1998 DMM All Rights Reserved. 24 どんなことをしようとして失敗したか 例えるなら、EU統合
25. Copyright © since 1998 DMM All Rights Reserved. 25 どんなことをしようとして失敗したか 国によって使う通貨も違うので、揃えないといけない
26. Copyright © since 1998 DMM All Rights Reserved. 26 どんなことをしようとして失敗したか つくりたいデータマートイメージ 日付 会員id 購買id 事業 支払い方法 商品id 購買額 2021/10/07 aaa 12345 A事業 クレジット AAAAA 500 2021/10/07 aaa 12346 B事業 DMMポイント BBBBB 2,000 2021/10/07 bbb 12347 C事業 DMMカード CCCCC 4,000
27. Copyright © since 1998 DMM All Rights Reserved. 27 どんなことをしようとして失敗したか 過去の状況　事業ごとにテーブル管理をしているケースがあった C事業 A事業 B事業
28. Copyright © since 1998 DMM All Rights Reserved. 28 どんなことをしようとして失敗したか 過去の状況　事業ごとに決済手段が違うケースがあった C事業 A事業 B事業
29. Copyright © since 1998 DMM All Rights Reserved. 29 どんなことをしようとして失敗したか 複数の売上テーブルを統合してデータマート化 C事業 売上データ A事業 売上データ B事業 売上データ A,B,C事業の売上抽出用 データマート
30. Copyright © since 1998 DMM All Rights Reserved. 30 どんなことをしようとして失敗したか 事業ごとのテーブル管理は適切なのかどうか • 事業ごとのデータ分析においては最適な環境である ◦ おそらく、Webビジネスにおいてはこの環境が一般的なのかもしれない • ただし、複数事業を跨いだデータ分析においては工夫が必要である ◦ 今回はその工夫をして苦労してうまくいかなった話である ◦ 複数事業に限らず、複数の情報をまとめたデータマート作成は容易ではない
31. Copyright © since 1998 DMM All Rights Reserved. 31 現場（自分）がどう感じてどう対応したか 以下の流れでデータマートを完成させると決意 • データマートでほしいカラムの整理 • データマート作成で必要なテーブルの整理と中身の確認 • 必死にクエリをかく • レビューしてもらう • 完成！！
32. Copyright © since 1998 DMM All Rights Reserved. 32 現場（自分）がどう感じてどう対応したか ここまでは苦労しなかった。次から苦行が始まる。 • データマートでほしいカラムの整理
33. Copyright © since 1998 DMM All Rights Reserved. 33 現場（自分）がどう感じてどう対応したか 苦行その1　必要データの埋め込み データマートで 必要なカラム 購買id 会員id 必要なカラム 12345 aaa 111 12346 bbb 222 購買id 会員id 商品id 12347 aaa AAAAA 12348 bbb BBBBB 購買id 会員id 必要なカラム 12349 aaa 111 12350 bbb 222 C事業 あり A事業 あり B事業 なし
34. Copyright © since 1998 DMM All Rights Reserved. 34 現場（自分）がどう感じてどう対応したか 苦行その1　必要データの埋め込み 購買id 会員id 商品id 必要なカラム 12347 aaa AAAAA 111 12348 bbb BBBBB 222 購買id 会員id 商品id 12347 aaa AAAAA 12348 bbb BBBBB 購買id 会員id 必要なカラム 12347 aaa 111 12348 bbb 222 B事業テーブル1 B事業テーブル2 ・このテーブルがあるのか ・あるとしたらどこにあるのか ・結合できるようにクエリ作成 結合後B事業テーブル
35. Copyright © since 1998 DMM All Rights Reserved. 35 現場（自分）がどう感じてどう対応したか 苦行その2　サービスアップデートによる表記揺れを統一 日付 会員id 購買id 事業 支払い方法 商品id 購買額 2006/10/07 aaa 12345 A事業 クレジット AAAAA 500 2011/10/07 aaa 123456 新A事業 DMMポイント BBBBB 2,000 2021/10/07 aaa 1234567 最新A事業 DMMカード CCCCC 4,000
36. Copyright © since 1998 DMM All Rights Reserved. 36 現場（自分）がどう感じてどう対応したか 細かいチューニングのループ
37. 失敗（挑戦）を経て、今どうしているのか Copyright © since 1998 DMM All Rights Reserved. 37 結果として、完成はしなかった 一致させたいデータとの整合性がとれなかったためである ただし、型をつくったことで このデータマートの必要性も認知された 今はいろんな人を巻き込んで誠意対応中である
38. 失敗（挑戦）を経て、今どうしているのか Copyright © since 1998 DMM All Rights Reserved. 38 多くの挑戦を行い、新しい価値の企画と提案をしたうえでの 失敗は肯定される文化がDMMにはある 失敗したが0→1をやったことで新しい価値の企画が動き始めた 1があるおかげで議論やFBがあって仕事が前に進む なので、完成した0→1を厳しくフィードバックする人より 0→1作った人のほうが偉いはず
39. ご清聴ありがとうございました 椋林 淳一 @mukku_analyst 千葉 健太 @ckenta045