Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
組織にデータビジュアライゼーションを浸透させる
Search
tomomatsu_yuta
May 27, 2020
Technology
0
420
組織にデータビジュアライゼーションを浸透させる
CA SQSQ Data Meet up!! #02で登壇した資料です
https://casqsq.connpass.com/event/166730/
tomomatsu_yuta
May 27, 2020
Tweet
Share
More Decks by tomomatsu_yuta
See All by tomomatsu_yuta
〜LLM活用のリアルを語る〜 AI ShiftにおけるLLM活用
tomo_otamot
0
180
AIチャットボットのためのチューニング支援システム
tomo_otamot
0
780
チャットボットプロダクトにおけるリアルなNLP課題
tomo_otamot
0
2.4k
Other Decks in Technology
See All in Technology
Datadog APM におけるトレース収集の流れ及び Retention Filters のはなし / datadog-apm-trace-retention-filters
k6s4i53rx
0
320
偶然 × 行動で人生の可能性を広げよう / Serendipity × Action: Discover Your Possibilities
ar_tama
1
740
Tech Blogを書きやすい環境づくり
lycorptech_jp
PRO
0
120
CZII - CryoET Object Identification 参加振り返り・解法共有
tattaka
0
240
WAF に頼りすぎない AWS WAF 運用術 meguro sec #1
izzii
0
460
Datadogとともにオブザーバビリティを布教しよう
mego2221
0
130
『AWS Distinguished Engineerに学ぶ リトライの技術』 #ARC403/Marc Brooker on Try again: The tools and techniques behind resilient systems
quiver
0
130
第13回 Data-Centric AI勉強会, 画像認識におけるData-centric AI
ksaito_osx
0
360
「海外登壇」という 選択肢を与えるために 〜Gophers EX
logica0419
0
500
これからSREになる人と、これからもSREをやっていく人へ
masayoshi
6
4.1k
生成AIの利活用を加速させるための取り組み「prAIrie-dog」/ Shibuya_AI_1
visional_engineering_and_design
1
140
現場で役立つAPIデザイン
nagix
29
10k
Featured
See All Featured
Fantastic passwords and where to find them - at NoRuKo
philnash
51
3k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.6k
Facilitating Awesome Meetings
lara
51
6.2k
Why You Should Never Use an ORM
jnunemaker
PRO
55
9.2k
Exploring the Power of Turbo Streams & Action Cable | RailsConf2023
kevinliebholz
29
4.6k
Typedesign – Prime Four
hannesfritz
40
2.5k
Six Lessons from altMBA
skipperchong
27
3.6k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
49k
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
47
5.2k
Embracing the Ebb and Flow
colly
84
4.6k
Reflections from 52 weeks, 52 projects
jeffersonlam
348
20k
Imperfection Machines: The Place of Print at Facebook
scottboms
267
13k
Transcript
CA SQSQ Data MEETUP #2 組織に データビジュアライゼーション を浸透させる 株式会社 AI
Shift 友松祐太
友松 祐太 • 2018年度新卒⼊社(3年⽬) • 所属: AI事業本部/株式会社AI Shift - データサイエンティスト
- ボード • 兼務: - Data Science Center • 主な仕事内容 - カスタマーサポート向けチャットボットAI Messengerのロ ジック開発 - データビジュアライゼーション - 東北⼤学, 東京都⽴⼤学との共同研究 @tomomatsu_yuta otamot
AI Shiftにおけるデータの可視化 AI Shiftでは主に以下の⽬的でデータビジュアライゼーションを⾏います 1. チャットボットのKPI 2. チャットボットのロジック/会話内容の分析 3. 有⼈対応の対応品質の可視化
4. ビジネス的な意思決定 5. etc… ⽇々のレポーティングや分析⽤途で使⽤します
AI Shiftで使⽤する可視化ツール Tableau Desktop / Tableau Server - 様々なデータソースに接続可能/クロスDB結合 -
データソース更新のスケジューリング - 直感的な操作で可視化を実現
今⽇話すこと 主にビジネスメンバー向けに 「組織にデータビジュアライゼーションを浸透させる」 ために⾏った試⾏錯誤についてお話します 発表の中で失敗した点(しくじり)についても話せたらと思います
「⾃分たちのデータ」 に関⼼を持ってもらう
AI Messengerでの可視化 ※わざと画像はぼかしてあります
「⾃分たちのデータ」に興味を持ってもらう • 「⾃分たちのデータ」でなにが⾒れるのか, どういう数字に注⽬するのかをデータサイ エンティストの視点で可視化を⾏う
データ可視化依頼の増加 →爆発
依頼フォーマットの作成 これまで個別のメッセージで依頼が来ていたのを 統⼀フォーマット化 1. スプレッドシートに記⼊+Slackで通知 2. 以降Slackのスレッドでやり取り すべての依頼がオープンになるため依頼数が可視 化される
依頼が爆発する わずか3ヶ⽉で100件 の依頼数に
依頼が爆発すると… • 本来Data Scientistとして⾏うべき職務を全うできなくなる • SQL発⾏職⼈, 可視化職⼈になってしまう (DSがやるべき仕事ではなく、他にできる⼈がいないためそうなってしまっている状態)
依頼が爆発すると… • 本来Data Scientistとして⾏うべき職務を全うできなくなる • SQL発⾏職⼈, 可視化職⼈になってしまう (DSがやるべき仕事ではなく、他にできる⼈がいないためそうなってしまっている状態) Þ データを⾒るべき⼈が⾃分で可視化を⾏えるようにすることこそが健全な状態
依頼が爆発すると… • 本来Data Scientistとして⾏うべき職務を全うできなくなる • SQL発⾏職⼈, 可視化職⼈になってしまう (DSがやるべき仕事ではなく、他にできる⼈がいないためそうなってしまっている状態) Þ データを⾒るべき⼈が⾃分で可視化を⾏えるようにすることこそが健全な状態
ÞTableauで可視化できる状態にする
良かった点も • 依頼が爆発している=多くの⼈がデータに興味を持っている, 数値を⾃分で出したい この頃にあった例として、Tableauで可視化されているデータをExcelでダウンロードして再加⼯
良かった点も • 依頼が爆発している=多くの⼈がデータに興味を持っている, 数値を⾃分で出したい この頃にあった例として、Tableauで可視化されているデータをExcelでダウンロードして再加⼯ ⾃分たちで可視化できるようになることが⾃分たちにとってプラスとなる状況になった
良かった点も • 依頼が爆発している=多くの⼈がデータに興味を持っている, 数値を⾃分で出したい この頃にあった例として、Tableauで可視化されているデータをExcelでダウンロードして再加⼯ ⾃分たちで可視化できるようになることが⾃分たちにとってプラスとなる状況になった また、この時期に根気よく依頼に答えた事によって、 - ⾃分たちのデータでどんな情報が取れていてこんな可視化ができる -
この情報は取れていないので可視化できない - もっとこんな⾒⽅したらチャットボットの設計がよくなりそう
Tableauを体系⽴てて勉強
Tableau勉強会 • Tableauの使い⽅について体系⽴てて勉強 • Tableauにデフォルトで⽤意されているSample Superstoreというデータを⽤いて練習 • (時間の都合上お話できませんが、今後何かしらの形で公開できたらと思っています)
Tableau勉強会 • Tableauの使い⽅について体系⽴てて勉強 • Tableauにデフォルトで⽤意されているSample Superstoreというデータを⽤いて練習 • (時間の都合上お話できませんが、今後何かしらの形で公開できたらと思っています) ここでの失敗 Þ
教科書的には学ぶことができたが、いざ「⾃分たちのデータ」を可視化しようとした ときにSQLを書かなくては⾏けないというハードルが
SQL勉強会 • AI Shiftで利⽤しているBigQueryのSQLを学習 • 結構いろいろな組織で⾏われている取り組み︖
SQL勉強会 • AI Shiftで利⽤しているBigQueryのSQLを学習 • 結構いろいろな組織で⾏われている取り組み︖ ここでの失敗 Þ 1. 元データが難しい
Þ 2. Tableauで扱う前に何処まで集計をかければいいのか分からない
2つの失敗から得た気づき • Tableauでテーブルデータの扱いを徹底的に学んだ後にいかに早く「⾃分たちのデー タ」に適⽤させるかが重要 • そのためにはSQLをこちら側で⽤意する必要がある • SQLを学ぶのは⼀番最後
汎⽤テーブルの作成
汎⽤テーブルの作成 あらゆるlogをJoinして必要な事前集計を⾏ったテーブルを⽤意 TableauのデータソースとしてTableau Serverにパブリッシュ
汎⽤テーブルの作成 メリット • 可視化を⾏う⼈はSQLを考えなくて良い • 可視化を教える⼈も常に同じテーブルを参照す ればいいのでコストが低い • Tableau Server上のすべてのViewがこのテーブル
から作られているので管理が楽 • データソースの更新が1つで済む デメリット • データソースが肥⼤化する (広告データなど⼤規模データでは厳しい) あらゆるlogをJoinして必要な事前集計を⾏ったテーブルを⽤意 TableauのデータソースとしてTableau Serverにパブリッシュ
汎⽤テーブルの作成 このテーブルをもとに、これまで可視化されてい たビューを再現したり、その場で要望をもらった ライブコーディング的に可視化を⾏ったりして、 徹底的にこのテーブルの理解を進めた あらゆるlogをJoinして必要な事前集計を⾏ったテーブルを⽤意 TableauのデータソースとしてTableau Serverにパブリッシュ
依頼の収束へ • ⼀時期爆発していたTableauの可視化依頼 も⼀気に減りました。 • 同時に、依頼内容も「どうやったら実現 できるか」という内容が増えてきて1件あ たりにかかる⼯数も減っていった
可視化を勉強する 循環が⽣まれる
可視化を勉強する循環が⽣まれる • これまでのところを⽴てつけられたことによって、新しく⼊ってきたメンバーにそれ まで教えていたメンバーが教える循環が⽣まれた • 勉強環境が整えられていき、より短時間で習得できるような座組が完成した
まとめ
感想/後⽇談 この⼀連の取り組みはとある飲み会で雑談的に始まったものでした 試みを始めてから実際にワークするまでは1年近くかかりました。 (正直、最初の時点では完全に切り離せるとは思っていませんでした) • 組織の中にデータ分析のPDCAを回せる⼈が多くいることは組織にとって⾮常に強みに • 1年前にここを⽴てつけられたことによって、組織として新たな挑戦をすることがで きた
まとめ • ⾃分が重要だったと思う5つのポイント 1. 可視化の重要性を認識してもらう 2. 「⾃分たちのデータ」に興味を持ってもらう 3. データビジュアライゼーションツールの使い⽅を徹底的に覚えてもらうための⽀援 を⾏う
4. 「⾃分たちのデータ」で可視化を⾏なってもらう 5. 気軽にデータにアクセスできる仕組みを作る
宣伝 • AI Shiftでは現在Tech Blogに⼒を⼊れています。 • https://www.ai-shift.jp/techblog • Twitterでも流しているのでフォローお願いします︕ @tomomatsu_yuta
ご清聴ありがとうございました