最低限これだけは整備しておいた方がいいこと / maemuki-data-seibinin03

by ShinU

Slide 1

Slide 1 text

最低限これだけは整備しておいた方がいいことしんゆう＠データ分析とインテリジェンス 2020/05/14 第3回データアーキテクト（データ整備人）を”前向きに”考える会 #前向きデータ整備人

Slide 2

Slide 2 text

• 本日の資料は https://speakerdeck.com/shinu/maemuki-data-seibinin03 に公開済み。ブログ・Twitterからもリンクあり • 〇 SNSで話題にすること #前向きデータ整備人 • × 録画・録音 • アーカイブの配信はありません資料・SNS・写真撮影などについて

Slide 3

Slide 3 text

• 特にプロダクトの初期には整備のためだけに人を置くどころか時間をかけるメリットはあまりない • だからといって余裕が出たらやればいいと整備を全て後回しにすると、気づいたら時すでに遅しで重要な指標ですらまともに共有することが出来なくなってしまう • また後になればなるほど整備を始めようにも膨大なリソースを取られてしまい、分析に時間をさけなくなる • そこでとにかくこれだけは整備しておけ、と考える３つの項目についてまとめた前置き

Slide 4

Slide 4 text

• 自己紹介 • 最低限これだけは整備しておいた方がいいこと 1.重要な指標を簡単に取れるようにすること 2.個人情報の隔離 3.重要事項の記録 • まとめ目次

Slide 5

Slide 5 text

自己紹介

Slide 6

Slide 6 text

• しんゆう（ Twitter : @data_analyst_ ） • ブログ「データ分析とインテリジェンス」を書いてる人 https://analytics-and-intelligence.net/ • フリーランスでデータに関する仕事をあれこれ • 仕事でやりたいこと：意思決定のための情報分析をする人 • 仕事でやってること：データをうまく使えるようにする人自己紹介

Slide 7

Slide 7 text

最低限これだけは整備しておいた方がいいこと

Slide 8

Slide 8 text

• 以下の３点についてはプロダクトの初期であろうとできるように取り組んでおくことが望ましい 1. 重要な指標を簡単に取れるようにすること 2. 個人情報の隔離 3. 重要事項の記録その理由について、各項目ごとに説明する最低限これだけは整備しておいた方がいいこと

Slide 9

Slide 9 text

最低限これだけは整備しておいた方がいいこと１．重要な指標を簡単に取れるようにすること

Slide 10

Slide 10 text

早い段階でデータを整備しておかないと起きる事 • データを扱うのが１人あるいはごく少数である初期の場合は問題にはならない。間違っていても気づかないデータレイク集計できるAさん売上１１０万円

Slide 11

Slide 11 text

早い段階でデータを整備しておかないと起きる事データレイク別のエンジニアにお願いしたCさん１００万円集計できるAさん定義を変更したので１０５万円 Aさんに以前のクエリをもらったBさん１１０万円 • データを触る人数が増えるとすぐに概ね同じだが集計方法の微妙な違いが出て合わなくなってくる

Slide 12

Slide 12 text

早い段階でデータを整備しておかないと起きる事データレイク POSの売上を集計してるから税抜きだ１００万円キャンセル分を引くようにしたから１０５万円消費税も加味したかったから１１０万円 • 何かの拍子でずれに気づくと答えあわせ大会が始まる • ずれの原因がわかって一安心するがその時はそれで終わる

Slide 13

Slide 13 text

早い段階でデータを整備しておかないと起きる事データレイク違うことをみんなわかっていればいいじゃんクライアントと共有しているから先方に話を先に通さないとうちのチームはずっと税込みで見てるから困る • 揃えようにもそれぞれがそれぞれの理由で使い慣れており簡単ではない。全社レベルで方向合わせは大変

Slide 14

Slide 14 text

早い段階でデータを整備しておかないと起きる事データレイクロジックに若干の変更が必要になったのを聞いて「了解！」 → やらないロジックに若干の変更が必要になったけれどできない → エンジニア稼働数字がすごくずれて大騒ぎ → 長いSQLの中で 1つだけ変更し忘れ • その他にもいろいろな問題が頻発

Slide 15

Slide 15 text

早い段階でデータを整備しておかないと起きる事データレイクずっと前からいるF さん「忘れた」異動してきたEさん「前の部署では・・」新しく入ってきたD さん「この数値はどういう意味ですか」 • といったことが、あらゆるレベルのあらゆるデータで起き、定期的に繰り返される

Slide 16

Slide 16 text

• なので整備はしておくべきなのは誰も反対しないはず • しかし、特に初期の段階では整備にリソースを振り分ける余裕も意味もあまりない • 使う人が少ないのに整備に時間をかけてもしょうがない • いくら整備しても完璧にはできないので、トラブルは必ず起きる • だからといって放置すると、事態は悪化するばかりどうしたらいいのか

Slide 17

Slide 17 text

• そこで、重要な指標を簡単に取れるようにすることだけはやっておくことを強くお勧めする • ではその重要な指標とは何かどうしたらいいのか

Slide 18

Slide 18 text

• そこで、重要な指標を簡単に取れるようにすることだけはやっておくことを強くお勧めする • ではその重要な指標とは何か • 「全社レベルで共有しておくべきKPI」どうしたらいいのか

Slide 19

Slide 19 text

• そこで、重要な指標を簡単に取れるようにすることだけはやっておくことを強くお勧めする • ではその重要な指標とは何か • 「全社レベルで共有しておくべきKPI」 • みんなの目線を合わせるためであり、売上かもしれないし、会員数かもしれない • 部署単位とか言い出すときりがないのでまずは全社レベルを必須とし、本当に必要なら増やせばいいどうしたらいいのか

Slide 20

Slide 20 text

どのように整備するかデータレイク • 整備したデータマートから重要指標がごく簡単に、定義がぶれないように取れるようにしておくデータマート複雑なクエリは全部ここで吸収

Slide 21

Slide 21 text

どのように整備するかデータレイク • 整備したデータマートから重要指標がごく簡単に、定義がぶれないように取れるようにしておくデータマート売上１００万円売上１００万円売上１００万円日付などごく簡単な指定のみ

Slide 22

Slide 22 text

どのように整備するかデータレイク • 各部署でのカスタマイズは当然必要になるが、基礎の数字を共有しておくことでぶれを抑えられるデータマート売上１００万円うちはそれでOK 売上１００万円＋うちはキャンセルは無視したいので１０５万円売上１００万円＋うちは税込みで見たいから１１０万円

Slide 23

Slide 23 text

最低限これだけは整備しておいた方がいいこと２．個人情報の隔離

Slide 24

Slide 24 text

• 個人情報の隔離はなぜ必要かといえば ✓ 漏れるリスク ✓ 目の前にあったらつい悪さをしないとも限らない ✓ 何かあった時に余計な疑いをかけたりかけられたり • そのままにしておくことにメリットはない個人情報の隔離はなぜ必要か

Slide 25

Slide 25 text

どうやって個人情報を隔離するかデータレイク • 分析用のデータマートを作る際に消すなりフラグなどに変換してしまうのが手っ取り早いデータマート数値が見られればOK 営業ここで個人情報のデータを消すか変換する

Slide 26

Slide 26 text

どうやって個人情報を隔離するかデータレイク • 同時に個人情報が含まれている場所へのアクセスも必要な人以外には制限をかける。とりあえずこれで隔離できるデータマート数値が見られればOK 営業

Slide 27

Slide 27 text

どうやって個人情報を隔離するかデータレイク • しかし、問い合わせからの調査などで個人情報が必要になった場合に整備されていないデータを使うのは大変データマート問い合わせがあって調査する役目のアナリストまったく整備されていない状態のデータを扱う

Slide 28

Slide 28 text

どうやって個人情報を隔離するかデータレイク • 例：人を特定してその人の購買の詳細を見たい → 購買が整備しないとまともに使えない状態だと大変データマート問い合わせがあって調査する役目のアナリストまったく整備されていない状態のデータを扱う

Slide 29

Slide 29 text

どうやって個人情報を隔離するかデータレイク • 解決策：個人情報を含んだ形で整備をしておくデータマート不正かどうかを調べる役割のアナリストデータマート個人情報を消さずに整備

Slide 30

Slide 30 text

どうやって個人情報を隔離するかデータレイク • 個人情報以外は同じデータマートをもう１つ作るデータマート不正かどうかを調べる役割のアナリストデータマートここで個人情報を削除

Slide 31

Slide 31 text

どうやって個人情報を隔離するかデータレイク • 個人情報が含まれている部分をアクセス制限して使わない人には触らせないデータマート不正かどうかを調べる役割のアナリストデータマート通常は使わない

Slide 32

Slide 32 text

どうやって個人情報を隔離するかデータレイク • 必要になってもデータの体系などが同じように扱えるのでゼロから整備のロジックを入れなくて済むデータマート不正かどうかを調べる役割のアナリストデータマートもし必要な場合でも通常データと同じに扱える

Slide 33

Slide 33 text

• 保管のためのコストとかバッチ処理の時間といった問題もあるので必要なことだけやるか、手っ取り早く削除だけするなど総合的な判断になる • なお削除するとはカラムを落とすだけでなく ✓ 暗号化・マスク ✓ フラグやコード化（電話番号登録あり／なし） ✓ 一部情報のみ（住所→都道府県） • なども含む併せて考える必要があること

Slide 34

Slide 34 text

最低限これだけは整備しておいた方がいいこと３．重要事項の記録

Slide 35

Slide 35 text

記録が無いと・・・ • 初期のころは少人数の作った当人達がデータも扱うので知っている、すぐ聞けるためやはり困らない初期からいるエンジニア

Slide 36

Slide 36 text

記録が無いと・・・このデータの仕様は？ • プロダクトや人が増えたり分析や整備など、エンジニアではなくデータを使う人は問い合わせが必要後から入った整備・分析担当

Slide 37

Slide 37 text

記録が無いと・・・調べるのでしばらく待って → 数日待ち • 全てを正確にぱっと答えることは難しいし、よく忘れてるので調べなおしで返答に時間がかかる

Slide 38

Slide 38 text

記録が無いと・・・ • 詳しかった人がすでにいないので１から調べなおしになって大変。正確にわからないこともしばしばこのデータの仕様は？わかる人がいないのでゼロからしらべないと・・・

Slide 39

Slide 39 text

記録が無いと・・・ • 記録を残そうとすると知っている人に聞く→聞いた人が書くの流れで後から入った人が全部やるはめになる記録を残そう！〇〇だからそっちで書いておいて

Slide 40

Slide 40 text

記録が無いと・・・ • はっきりいって面倒だし、無くても聞けばいいし、いままで誰もやってないからいいやとなって、振出しに戻る面倒だし他に使う人いないし、もういいか・・・

Slide 41

Slide 41 text

記録が無いと・・・ • はっきりいって面倒だし、無くても聞けばいいし、いままで誰もやってないからいいやとなって、振出しに戻るこのデータの仕様は？次に入った人が言うこと

Slide 42

Slide 42 text

• 人の記憶に頼るのはやめて、記録するべき • 特に記録しておきたい項目 1. データの仕様 2. データの変更記録 3. 特殊な抽出ロジック記録しよう

Slide 43

Slide 43 text

• いつどこで誰が何をしたら／おきたらどういった値が入ってくるかについての正確な仕様 • 作った時に全て記録し、かつエラーチェックの仕組みまで作っておくのが理想ではあるが実現性は低い • 仕様が固まるまでの試行錯誤期間においては頻繁に変わったり無くなるのは当然なので程度の問題は残るが、数か月前のデータがきちんと取れない、はやはりまずい１．データの仕様

Slide 44

Slide 44 text

• 途中でデータの変更がされた場合、いつどの時点で何がどう変わったかも併せて記録する • よくあるのが区分値の追加、廃止、統合 • データが存在していない場合、区分が追加でも廃止でも「本当にその区分のデータが存在しない状況なのか、本来はあるべきなのにないのか」の区別がつかない２．データの変更記録

Slide 45

Slide 45 text

• 抽出するのに複雑なロジックはそれ単体で記録しておく • 顧客の状態を見るために複数のテーブルをつなげて複雑に場合分けをするとか、クライアントごとに微妙に条件が異なるといったケースは特に必要 • 通常はデータマートを作る際に全て吸収しておくにしても、修正やロジックの確認が必要になった場合にクエリだけから読み取るのは大変。非常時であればなおさら早くミスなくが求められる３．特殊な抽出ロジック

Slide 46

Slide 46 text

• 必ず忘れるのでとにかく人の記憶に頼ることはやめる • メモレベルでもとにかくどこかに記録を残しておく • テキストに殴り書きでもあれば全然違う • 初期段階から記録することを始めて、文化として定着させておかないと途中からだと厳しい記録することを文化とする

Slide 47

Slide 47 text

全てに共通すること

Slide 48

Slide 48 text

• 共通して言えることは ✓ 遅かれ早かれやることになるので、整備担当がとかではなく最初にやっておくべきことに含むのが良い ✓ 一方、整備に時間をかけすぎてサービスの開発が進まないのは本末転倒 ✓ 全て完璧にしていたらきりがないので本当に主要なことに絞る共通すること

Slide 49

Slide 49 text

まとめ

Slide 50

Slide 50 text

• まったく整備されないままで時間が経ってから整備を始めようとすると簡単なことでも膨大な時間をかけないとできなくなることがある • データ整備の担当を後から入れるにもパフォーマンスを出すには必要なことは先にやっておいてもらうのがよいのでまずはこれだけはやっておいた方がいいことをまとめた • まだやっていないことがあったらすぐに取り掛かってみませんかまとめ

Slide 51

Slide 51 text

宣伝

Slide 52

Slide 52 text

• データ整備関連のニュースや記事がまとまっていないので、あったらいいなと思ってたけど誰もやってくれないので自分で始めた • 適当に見つけたのが溜まったら都度発行する形式 • ブログか「データ整備人ニュース（仮）」で検索してください。そのうちまとめページを作る予定データ整備人ニュース（仮）

Slide 53

Slide 53 text

• データ分析やその周辺にまつわる色々なイベントを開催中 • Compassで「データ分析とインテリジェンス」というグループがあるので興味があれば登録しておくと新しいイベントの登録や募集開始時に連絡がいきます https://analytics-and-intelligence.connpass.com/ Compassグループ

Slide 54

Slide 54 text

ご清聴ありがとうございましたしんゆう＠データ分析とインテリジェンス https://analytics-and-intelligence.net/ Twitter：@data_analyst_