組織にデータビジュアライゼーションを浸透させる

CA SQSQ Data Meet up!! #02で登壇した資料です
https://casqsq.connpass.com/event/166730/

Transcript

1. CA SQSQ Data MEETUP #2 組織に データビジュアライゼーション を浸透させる 株式会社 AI Shift 友松祐太
2. 友松 祐太 • 2018年度新卒⼊社(3年⽬) • 所属: AI事業本部/株式会社AI Shift - データサイエンティスト - ボード • 兼務: - Data Science Center • 主な仕事内容 - カスタマーサポート向けチャットボットAI Messengerのロ ジック開発 - データビジュアライゼーション - 東北⼤学, 東京都⽴⼤学との共同研究 @tomomatsu_yuta otamot
3. AI Shiftにおけるデータの可視化 AI Shiftでは主に以下の⽬的でデータビジュアライゼーションを⾏います 1. チャットボットのKPI 2. チャットボットのロジック/会話内容の分析 3. 有⼈対応の対応品質の可視化 4. ビジネス的な意思決定 5. etc… ⽇々のレポーティングや分析⽤途で使⽤します
4. AI Shiftで使⽤する可視化ツール Tableau Desktop / Tableau Server - 様々なデータソースに接続可能/クロスDB結合 - データソース更新のスケジューリング - 直感的な操作で可視化を実現
5. 今⽇話すこと 主にビジネスメンバー向けに 「組織にデータビジュアライゼーションを浸透させる」 ために⾏った試⾏錯誤についてお話します 発表の中で失敗した点(しくじり)についても話せたらと思います
6. 「⾃分たちのデータ」 に関⼼を持ってもらう
7. AI Messengerでの可視化 ※わざと画像はぼかしてあります
8. 「⾃分たちのデータ」に興味を持ってもらう • 「⾃分たちのデータ」でなにが⾒れるのか, どういう数字に注⽬するのかをデータサイ エンティストの視点で可視化を⾏う
9. データ可視化依頼の増加 →爆発
10. 依頼フォーマットの作成 これまで個別のメッセージで依頼が来ていたのを 統⼀フォーマット化 1. スプレッドシートに記⼊+Slackで通知 2. 以降Slackのスレッドでやり取り すべての依頼がオープンになるため依頼数が可視 化される
11. 依頼が爆発する わずか３ヶ⽉で100件 の依頼数に
12. 依頼が爆発すると… • 本来Data Scientistとして⾏うべき職務を全うできなくなる • SQL発⾏職⼈, 可視化職⼈になってしまう (DSがやるべき仕事ではなく、他にできる⼈がいないためそうなってしまっている状態)
13. 依頼が爆発すると… • 本来Data Scientistとして⾏うべき職務を全うできなくなる • SQL発⾏職⼈, 可視化職⼈になってしまう (DSがやるべき仕事ではなく、他にできる⼈がいないためそうなってしまっている状態) Þ データを⾒るべき⼈が⾃分で可視化を⾏えるようにすることこそが健全な状態
14. 依頼が爆発すると… • 本来Data Scientistとして⾏うべき職務を全うできなくなる • SQL発⾏職⼈, 可視化職⼈になってしまう (DSがやるべき仕事ではなく、他にできる⼈がいないためそうなってしまっている状態) Þ データを⾒るべき⼈が⾃分で可視化を⾏えるようにすることこそが健全な状態 ÞTableauで可視化できる状態にする
15. 良かった点も • 依頼が爆発している=多くの⼈がデータに興味を持っている, 数値を⾃分で出したい この頃にあった例として、Tableauで可視化されているデータをExcelでダウンロードして再加⼯
16. 良かった点も • 依頼が爆発している=多くの⼈がデータに興味を持っている, 数値を⾃分で出したい この頃にあった例として、Tableauで可視化されているデータをExcelでダウンロードして再加⼯ ⾃分たちで可視化できるようになることが⾃分たちにとってプラスとなる状況になった
17. 良かった点も • 依頼が爆発している=多くの⼈がデータに興味を持っている, 数値を⾃分で出したい この頃にあった例として、Tableauで可視化されているデータをExcelでダウンロードして再加⼯ ⾃分たちで可視化できるようになることが⾃分たちにとってプラスとなる状況になった また、この時期に根気よく依頼に答えた事によって、 - ⾃分たちのデータでどんな情報が取れていてこんな可視化ができる - この情報は取れていないので可視化できない - もっとこんな⾒⽅したらチャットボットの設計がよくなりそう
18. Tableauを体系⽴てて勉強
19. Tableau勉強会 • Tableauの使い⽅について体系⽴てて勉強 • Tableauにデフォルトで⽤意されているSample Superstoreというデータを⽤いて練習 • (時間の都合上お話できませんが、今後何かしらの形で公開できたらと思っています)
20. Tableau勉強会 • Tableauの使い⽅について体系⽴てて勉強 • Tableauにデフォルトで⽤意されているSample Superstoreというデータを⽤いて練習 • (時間の都合上お話できませんが、今後何かしらの形で公開できたらと思っています) ここでの失敗 Þ 教科書的には学ぶことができたが、いざ「⾃分たちのデータ」を可視化しようとした ときにSQLを書かなくては⾏けないというハードルが
21. SQL勉強会 • AI Shiftで利⽤しているBigQueryのSQLを学習 • 結構いろいろな組織で⾏われている取り組み︖
22. SQL勉強会 • AI Shiftで利⽤しているBigQueryのSQLを学習 • 結構いろいろな組織で⾏われている取り組み︖ ここでの失敗 Þ 1. 元データが難しい Þ 2. Tableauで扱う前に何処まで集計をかければいいのか分からない
23. 2つの失敗から得た気づき • Tableauでテーブルデータの扱いを徹底的に学んだ後にいかに早く「⾃分たちのデー タ」に適⽤させるかが重要 • そのためにはSQLをこちら側で⽤意する必要がある • SQLを学ぶのは⼀番最後
24. 汎⽤テーブルの作成
25. 汎⽤テーブルの作成 あらゆるlogをJoinして必要な事前集計を⾏ったテーブルを⽤意 TableauのデータソースとしてTableau Serverにパブリッシュ
26. 汎⽤テーブルの作成 メリット • 可視化を⾏う⼈はSQLを考えなくて良い • 可視化を教える⼈も常に同じテーブルを参照す ればいいのでコストが低い • Tableau Server上のすべてのViewがこのテーブル から作られているので管理が楽 • データソースの更新が1つで済む デメリット • データソースが肥⼤化する (広告データなど⼤規模データでは厳しい) あらゆるlogをJoinして必要な事前集計を⾏ったテーブルを⽤意 TableauのデータソースとしてTableau Serverにパブリッシュ
27. 汎⽤テーブルの作成 このテーブルをもとに、これまで可視化されてい たビューを再現したり、その場で要望をもらった ライブコーディング的に可視化を⾏ったりして、 徹底的にこのテーブルの理解を進めた あらゆるlogをJoinして必要な事前集計を⾏ったテーブルを⽤意 TableauのデータソースとしてTableau Serverにパブリッシュ
28. 依頼の収束へ • ⼀時期爆発していたTableauの可視化依頼 も⼀気に減りました。 • 同時に、依頼内容も「どうやったら実現 できるか」という内容が増えてきて1件あ たりにかかる⼯数も減っていった
29. 可視化を勉強する 循環が⽣まれる
30. 可視化を勉強する循環が⽣まれる • これまでのところを⽴てつけられたことによって、新しく⼊ってきたメンバーにそれ まで教えていたメンバーが教える循環が⽣まれた • 勉強環境が整えられていき、より短時間で習得できるような座組が完成した
31. まとめ
32. 感想/後⽇談 この⼀連の取り組みはとある飲み会で雑談的に始まったものでした 試みを始めてから実際にワークするまでは1年近くかかりました。 (正直、最初の時点では完全に切り離せるとは思っていませんでした) • 組織の中にデータ分析のPDCAを回せる⼈が多くいることは組織にとって⾮常に強みに • １年前にここを⽴てつけられたことによって、組織として新たな挑戦をすることがで きた
33. まとめ • ⾃分が重要だったと思う5つのポイント 1. 可視化の重要性を認識してもらう 2. 「⾃分たちのデータ」に興味を持ってもらう 3. データビジュアライゼーションツールの使い⽅を徹底的に覚えてもらうための⽀援 を⾏う 4. 「⾃分たちのデータ」で可視化を⾏なってもらう 5. 気軽にデータにアクセスできる仕組みを作る
34. 宣伝 • AI Shiftでは現在Tech Blogに⼒を⼊れています。 • https://www.ai-shift.jp/techblog • Twitterでも流しているのでフォローお願いします︕ @tomomatsu_yuta
35. ご清聴ありがとうございました