データアーキテクト（データ整備人）の概観とこれからの展望と課題 / maemuki_data_seibinin01

by ShinU

Slide 1

Slide 1 text

データアーキテクト（データ整備人）の概観とこれからの展望と課題しんゆう＠データ分析とインテリジェンス 2019/11/27 データアーキテクト（データ整備人）を ”前向きに”考える会

Slide 2

Slide 2 text

Slide 3

Slide 3 text

• 本日の資料は https://speakerdeck.com/shinu/maemuki-data-seibinin01 に公開済み。ブログ・Twitterからもリンクあり • 〇 SNSで話題にすること • × 写真撮影資料・SNS・写真撮影などについて

Slide 4

Slide 4 text

• 本資料を読むにあたり特に注意してほしいこと • 本資料の作成者は、資料の中で提唱する「データアーキテクト（データ整備人）」を業務で行ったり案件の提案に使っており役割が認知され評価されることへの直接の利害関係者である • 従って、中立性はできる限り保持するよう考察し、資料を作成してはいるものの、どこかにバイアスが残っている（ポジショントークになっている）可能性は捨てきれないことは留意すること前置きのさらに前置き

Slide 5

Slide 5 text

• エンジニアとアナリストの間には、データを抽出したりそのためにデータを整理したりする仕事がある • この「誰かがやらないと他の誰かが困るのに誰もやりたがらない役割」については名前すらなく、何となく誰かがやっているが、それでは良くないと考えた • 今回はこの役割をまずはきちんと整理し、概要をまとめることを試みるのが中心 • スキルとかノウハウとかキャリアとかまでは話す時間がないので最後におまけとして追加しておく前置き

Slide 6

Slide 6 text

• データの流れと役割分担 • エンジニアとアナリストの間にある役割 • その役割は誰がやるのがいいのか？ • 主張：別の役割として認識するべき • 役割の名称について • 一言で表現すると • もしデータアーキテクト（データ整備人）が完璧に機能したら • うまくミッションを遂行するために考えないといけないテーマ • 将来に向けて考えるべきこと • まとめ＆宣伝＆おまけ＆参考URL 目次

Slide 7

Slide 7 text

自己紹介

Slide 8

Slide 8 text

• しんゆう（ Twitter : @data_analyst_ ） • ブログ「データ分析とインテリジェンス」を書いてる人 https://analytics-and-intelligence.net/ • 仕事でやりたいこと：意思決定のための情報分析をする人 • 仕事でやってること：データをうまく使えるようにする人自己紹介

Slide 9

Slide 9 text

データの流れと役割分担

Slide 10

Slide 10 text

データレイクデータウェアハウスデータマートデータはどこにある？ • 企業によって違いは当然あるが、概ねこの３つにまとめられるデータの流れデータの流れと役割分担

Slide 11

Slide 11 text

データレイクデータウェアハウスデータマート集計分析データの流れ前後の流れを考える • さらに前後を考えると、データレイクまでの流れと、データマートから先への流れがあるデータの流れと役割分担

Slide 12

Slide 12 text

データレイクデータウェアハウスデータマート集計分析マーケターなどデータの流れ集計されてもまだデータ • 集計されたデータはマーケターなどの非分析者に渡り、そこで分析されるデータの流れと役割分担

Slide 13

Slide 13 text

データレイクデータウェアハウスデータマート集計分析意思決定者マーケターなどデータの流れ分析結果の流れ分析は意思決定者へ • 最後にデータは分析・洞察を経て意思決定者に渡らないと意味をなさないデータの流れと役割分担

Slide 14

Slide 14 text

データの流れと役割分担 • ちょっと補足 • 「分析結果」というのは「インテリジェンス」のこと。つまり「意思決定のために分析・洞察された情報・データ」 • DWHやデータマートは存在しない場合もある • マーケターなど（コンサル・企画・営業とか）と意思決定者は同じであることもよくある

Slide 15

Slide 15 text

データレイクデータウェアハウスデータマートデータの流れと役割分担集計分析意思決定者マーケターなど誰がどこを担っているのか • どういった職名の人がどのあたりを担当しているのかを見てみる

Slide 16

Slide 16 text

データレイクデータウェアハウスデータマートデータの流れと役割分担集計分析マーケターなどデータエンジニア • 様々なデータを集めてデータレイクに入れる人（あんまりいないので別のエンジニアが兼任） • ログ、バッチ処理、ETL 意思決定者

Slide 17

Slide 17 text

データレイクデータウェアハウスデータマートデータの流れと役割分担集計分析マーケターなどデータアナリスト • データから次に何が起きるかを分析・予測しようとする人 • モデリング、洞察意思決定者

Slide 18

Slide 18 text

データレイクデータウェアハウスデータマートデータの流れと役割分担集計分析マーケターなど？？？？？？？？ • エンジニアとアナリストの間にあるこのあたりの役割をしている人には名前が無い • そもそも何をしているのか？意思決定者

Slide 19

Slide 19 text

エンジニアとアナリストの間にある役割

Slide 20

Slide 20 text

データレイクデータウェアハウスデータマートエンジニアとアナリストの間にある役割集計分析マーケターなどどんな役割があるのか • エンジニアとアナリストの間にはどういった役割があるのかをまず考えてみる意思決定者

Slide 21

Slide 21 text

データレイクデータウェアハウスデータマート集計分析マーケターなど１．抽出 • 分析が主業務でない人達からの依頼を受けてデータを抽出 • アウトプットはExcel・CSV・ダッシュボード（可視化）意思決定者１エンジニアとアナリストの間にある役割

Slide 22

Slide 22 text

データレイクデータウェアハウスデータマート集計分析マーケターなど２．整理 • 集められたデータはそのままだとまず使えないので整理が必要 • DWHやマートの設計や作成・イレギュラーなデータへの対応意思決定者２エンジニアとアナリストの間にある役割

Slide 23

Slide 23 text

データレイクデータウェアハウスデータマート集計分析マーケターなど３．管理 • 仕様変更への対応、おかしなデータが無いかを監視、入ってきた場合へのリカバリー • 正確性の担保意思決定者３エンジニアとアナリストの間にある役割

Slide 24

Slide 24 text

その役割は誰がやるのがいいのか？

Slide 25

Slide 25 text

データレイクデータウェアハウスデータマートその役割は誰がやるのがいいのか？集計分析マーケターなど現状はどうなっているのか • 現状このあたりの役割を誰が担っているのか様子を見てみると意思決定者

Slide 26

Slide 26 text

データレイクデータウェアハウスデータマート集計分析マーケターなどよく見聞きするケース１ • データエンジニアが（他に誰もできないので）やっている • 特に抽出でコミュニケーションギャップが発生意思決定者その役割は誰がやるのがいいのか？

Slide 27

Slide 27 text

データレイクデータウェアハウスデータマート集計分析マーケターなど意思決定者よく見聞きするケース２ • データアナリストが（やらないと仕事にならないので）やっている • 分析できずに整理と抽出ばかり。管理は手が付かないその役割は誰がやるのがいいのか？

Slide 28

Slide 28 text

データレイクデータウェアハウスデータマート集計分析意思決定者マーケターなどよく見聞きするケース３ • エンジニアもアナリストもいないので非分析者がやるしかない • 簡単なことでも無駄に時間を取られたり、整備されていないとそもそもできないその役割は誰がやるのがいいのか？

Slide 29

Slide 29 text

データレイクデータウェアハウスデータマート集計分析意思決定者マーケターなどちょっとわかりづらい・・・？ • これだけだと抽象的なので、料理に例えてみるその役割は誰がやるのがいいのか？

Slide 30

Slide 30 text

市場倉庫加工工場小売業レストラン消費者一般家庭料理に例えてみるとこんな感じ • 野菜であれば加工工場を通さないこともあるし、シェフが直接市場に行くこともあるが概ねこんな感じになりそうその役割は誰がやるのがいいのか？

Slide 31

Slide 31 text

市場倉庫加工工場小売業レストラン消費者一般家庭データエンジニアがやるべき？ • データエンジニアが加工までやるのは生産者としての農家や漁師が加工して自分で売るみたいなものその役割は誰がやるのがいいのか？

Slide 32

Slide 32 text

市場倉庫加工工場小売業レストラン消費者一般家庭データアナリストがやるべき？ • データアナリストが抽出したり整理したりするのはレストランが他の店や消費者のための加工工場を経営して料理人をそこで使うようなことその役割は誰がやるのがいいのか？

Slide 33

Slide 33 text

市場倉庫加工工場小売業レストラン消費者一般家庭マーケターなどがやるべき？ • マーケターなどが抽出しようとするのは自宅で使うために自分で店を経営するようなものだし整理は無理その役割は誰がやるのがいいのか？

Slide 34

Slide 34 text

データレイクデータウェアハウスデータマート集計分析マーケターなどどれか１つを選べと言われても • やはりどれもあるべき姿としては違うような気がする意思決定者その役割は誰がやるのがいいのか？

Slide 35

Slide 35 text

主張：別の役割として認識するべき

Slide 36

Slide 36 text

• この役割はある程度の技術は必要だが何かを作るよりはうまく組み合わせて技術を使う側なのでエンジニアとは違う • 一方で分析の経験がないと利用者とのコミュニケーション、特に提案することが難しくなるが、分析するわけではない • 営業と総務を兼任している人が自然な状態であるとはだれも認識しないのと同じように、この役割を兼務しているのは不自然な状態なのではないか主張：別の役割として認識するべき

Slide 37

Slide 37 text

• 被るところは多くあれど、エンジニアともアナリストともスキルも違うし片手間で出来る分量ではないのでやはり別の役割であると認識するべきでは • 当然企業の規模や状況によっては複数の役割を兼務することは当然あるし、明確な線引きもできないがエンジニアやアナリストと一体化させるのも無理がある主張：別の役割として認識するべき

Slide 38

Slide 38 text

役割の名称について

Slide 39

Slide 39 text

• 「この役割」とかではどうにも説明しづらいので名前を付けようと考えた • そこでとりあえず「データ整備人（仮）」としてブログに記事を書いたところ、バズる • しかし整備だけでは済まないのとこれだと雑用っぽい気がして「データアーキテクト」を考えたがいまいち浸透してない気がする＆整備人の方がわかりやすい • アンケート取ってどちらがいいか聞いてみよう！役割の名称について

Slide 40

Slide 40 text

役割の名称について

Slide 41

Slide 41 text

• まさかの同率でさらに悩む • しょうがないので当面はデータアーキテクト（データ整備人）と両方併記 • あとは成り行きに任せる役割の名称について

Slide 42

Slide 42 text

一言で表現すると

Slide 43

Slide 43 text

データレイクデータウェアハウスデータマート一言で表現すると集計分析意思決定者マーケターなどもっとわかりやすい説明が欲しい • 直接関わっていない人にも伝わりやすいようにそれぞれの役割をごく簡潔に表現してみる

Slide 44

Slide 44 text

データレイクデータウェアハウスデータマート集計分析マーケターなどデータエンジニアとは • 「データを集める人」意思決定者一言で表現すると

Slide 45

Slide 45 text

データレイクデータウェアハウスデータマート集計分析マーケターなどデータアナリストとは • 「データを扱う人」と表現するならば意思決定者一言で表現すると

Slide 46

Slide 46 text

データレイクデータウェアハウスデータマート集計分析マーケターなどデータアーキテクト（データ整備人）とは • 「データを使いやすくする人」と言えるだろう意思決定者一言で表現すると

Slide 47

Slide 47 text

もしデータアーキテクト（データ整備人）が完璧に機能したら

Slide 48

Slide 48 text

• ここまででデータアーキテクト（データ整備人）の役割については一通り（具体性は欠きつつも）整理した • しかしこれだけでは単に区別をしただけであえて役割としてわざわざ作るメリットがあるかは見えにくい • では、もしこの役割が存在して完璧に機能したらどうなるのだろうか？もしもこの役割が完璧に機能したら

Slide 49

Slide 49 text

• あらゆる人が望んだデータを望む形で望んだ時に簡単に得られるし、困った時にもすぐ相談することが出来る • データは常に最新かつ正確に整えられている • 欠損や重複などが起きたら即座に事象を捉えあるべき形に修正される • 求人募集にはデータエンジニア・データアーキテクト（データ整備人）・データアナリストがどれぐらいの割合で求められるかが書かれて名前と実態の乖離が少なくなるもしもこの役割が完璧に機能したら

Slide 50

Slide 50 text

うまくミッションを遂行するために考えないといけないテーマ

Slide 51

Slide 51 text

• つまり「データを使いやすくする人」である「データアーキテクト（データ整備人）」のミッションを定義するならば • 「次にデータを使う人が速やかに業務を遂行できるように事前に対策を行うこと」ということになるだろう • ではミッションを遂行するためには何が必要かミッションを遂行するために必要なこと

Slide 52

Slide 52 text

• どのようなスキルセットがあるとうまくやれるか • 成功失敗のノウハウは何か • どのようなキャリアに繋がるのか • 上司や外部へのアピールをどうやればいいのか • 組織の中での立ち回り方 • といったことを自分の経験や妄想でまとめてみたミッションを遂行するために必要なこと

Slide 53

Slide 53 text

• どのようなスキルセットがあるとうまくやれるか • 成功失敗のノウハウは何か • どのようなキャリアに繋がるのか • 上司や外部へのアピールをどうやればいいのか • 組織の中での立ち回り方 • といったことを自分の経験や妄想でまとめてみたが、話す時間がないので最後におまけとして追加しておくミッションを遂行するために必要なこと

Slide 54

Slide 54 text

将来に向けて考えるべきこと

Slide 55

Slide 55 text

• 概要や何をしているかは整理してみたが、では実際にこの役割分担にどう取り掛かるか • 新人やオペレーターレベルに任せてもダメのは経験済み • データアナリストやデータエンジニアからシフトさせるのは本人が納得するか？ • たまにいる偶然はまる人を期待するだけでは心もとない • 最初から前提にするのは現状ではキャリアが不透明で誰にとってもリスク要因将来に向けて考えるべきこと

Slide 56

Slide 56 text

• さしあたりはエンジニアとアナリストの間でできる人がいいように案分する形が増え続けるのだろう • しかし、企業がきちんと評価しないと押し付け合いになったり外部に丸投げするなどして今と変わらないままになる • 現場だけでなく経営者やマネージャーを交えてどうあるべきかを考えていくことが必要将来に向けて考えるべきこと

Slide 57

Slide 57 text

• より根本的には、もしかしたら本当に雑用に過ぎないので今でも役割そのものがいらないのかもしれない • 今は必要だったとしても今後民主化（というか自動化）が進んで抽出や整備への負担が大きく減るなら別の役割の１部分として吸収するほうがよいのかも • もし必要ないとなったらどうするかは常に考えておく • 役割として認識することが自分への利益に繋がる人はバイアスに気を付けよう（自戒）将来に向けて考えるべきこと

Slide 58

Slide 58 text

まとめ

Slide 59

Slide 59 text

• エンジニアとアナリストの間にある「データアーキテクト（データ整備人）」についてどういった役割なのかをまとめ、それは１つの役割として認識するべきだという主張を行った • データの活用自体が広まったのはこの数年でありとにかく「使う」ことから「よりうまく使う」ためにどうするかの動きはこれからが本番 • 名前も守備範囲も変わるかもしれないが、その仕事は消えることは無いので準備しておこうまとめ

Slide 60

Slide 60 text

宣伝

Slide 61

Slide 61 text

• データアーキテクト（データ整備人）について興味のある企業での講演・意見交換会を開催します • 基本は講演（３０分）＋意見交換会 • 無料、地方対応可（交通費のみお願いします） • 高層階不可（ごめんなさい） • 詳しいことはお問合せくださいこんな人や企業を募集中

Slide 62

Slide 62 text

• データアーキテクト（データ整備人）について“前向きに” 考える会は今後も継続していきたい • こんな話がしたい、5分とかのLTならやってみたい人 • あんなテーマでやって欲しいというリクエスト • 場所貸すよ＆スポンサーやるよという企業 • DMでもメールでもお気軽にご連絡くださいこんな人や企業を募集中

Slide 63

Slide 63 text

ご清聴ありがとうございましたしんゆう＠データ分析とインテリジェンス https://analytics-and-intelligence.net/ Twitter：@data_analyst_

Slide 64

Slide 64 text

おまけ

Slide 65

Slide 65 text

うまくミッションを遂行するために考えないといけないテーマ

Slide 66

Slide 66 text

• どのようなスキルセットがあるとうまくやれるか • 成功失敗のノウハウは何か • どのようなキャリアに繋がるのか • 上司や外部へのアピールをどうやればいいのか • 組織の中での立ち回り方 • などいろいろ考えないといけないことはあるので自分の経験＆思いついたことを書けるだけ書いておく（言い訳）今回のテーマは概観なので、ここにはあまり時間がさけなかった分は今後のブログ記事とかでちゃんと書きます考えないといけないテーマ

Slide 67

Slide 67 text

どのようなスキルがあるとうまくやれるか

Slide 68

Slide 68 text

• 技術はなんといってもSQL。ただしSQLそのものは難易度はさほど高くなく、いかにうまく組み合わせるか • Excelも何かと必要。自社では使わなくても外部からのデータは・・・ • 各社で使っているそれぞれの環境についての理解。基盤、 ETL、DWH、BIなど • その中でもやはり特に重要なのはデータそのもの。くせや例外の把握どのようなスキルがあるとうまくやれるか

Slide 69

Slide 69 text

• 抽出は本当に社内外のあちこちの部署の様々レベルの人から多種多様な依頼があるのでそれをうまくさばけないとすぐに仕事が滞る • 依頼通りにデータを返すだけなら難易度はかなり下がるので、依頼を鵜呑みにせず整理してより良いアウトプットを返す提案をできるかどうかが差別化の鍵 • 他にもコードをうまく書く、優先順位の調整、先回りして手戻りを減らすなどどのようなスキルがあるとうまくやれるか

Slide 70

Slide 70 text

どのようなスキルがあるとうまくやれるか • 次に使う人のためなので当然次の人の業務が理解できないと良いアウトプットを作るのは難しい • 当人すら何をどうしたらいいのかわかっていないことも多々あるので何を知りたいのか、何がしたいかを引き出すためには依頼者以上に分析に知見があるとなお良い

Slide 71

Slide 71 text

• 整理もこの後誰がどう使うかが想像できないと一見すると整っているが実務に使えないということが起きる • システムエラー、新機能実装、新しいページ追加とデータがおかしくなる要因は数多いため、エラーを早期に察知して対応することが求められる • 一方ありとあらゆることに対応することもできないので、どこをやらないかを考えることも重要 • この時実際の利用者とはもちろん実現可能性をエンジニアにも説明や交渉が必要になるどのようなスキルがあるとうまくやれるか

Slide 72

Slide 72 text

• 管理はさらに事前にエラーそのものを極力減らすために対策を考える • データべースにあるデジタルデータだけではなくありとあらゆる調査、論文、非デジタルなども全て「データ」であり対象に含まれる（将来は） • 特に管理は権限が無いと厳しくなるので組織として守ってもらう必要性の認識どのようなスキルがあるとうまくやれるか

Slide 73

Slide 73 text

成功失敗のノウハウは何か

Slide 74

Slide 74 text

• SQLそのものではなくいかにうまく組み合わせて使うかが求められる。SQLの入門書だけでは身につかないのでいろいろなパターンの経験を積む • 例えば抽出の依頼も依頼内容をそのまま抽出だけでも仕事にはなるだろうが、本当は何がやりたいのか聞聞き出して適切なアウトプットを提案できるようになれる • 知識は深さよりも広さの方が多分有効成功失敗のノウハウは何か

Slide 75

Slide 75 text

どのようなキャリアに繋がるのか

Slide 76

Slide 76 text

• 役割そのものがまだあいまいとしているので長期的にはどうなるかは見通しがたっていない • データアーキテクト（データ整備人）の認識が無いのでデータエンジニアかデータアナリストなどとりあえずできる人が間を埋めている状態であるが、それらのキャリアもまだ不透明 • データマネジメント、セキュリティ、法務といった分野と合わせて企業におけるデータを統括するポジションへのルートはありえるかもどのようなキャリアに繋がるのか

Slide 77

Slide 77 text

• 規模が大きい、サービスの種類がたくさんある企業であれば仕事はいくらでも発生する反面、そうでない企業ではやることがすぐに頭打ちになる可能性もある • 抽出とデータアナリストやマーケターなど、整備や管理とデータマネジメントの組み合わせは視野に入れておく • かなりポータブルな技能ではあるので、データ整備の専門家としてのコンサルタント・実務家として動きやすいかもしれないどのようなキャリアに繋がるのか

Slide 78

Slide 78 text

上司や外部へのアピールをどうやればいいのか

Slide 79

Slide 79 text

上司や外部へのアピールをどうやればいいのか • 何をしている人かわからないから脱却するためにまずは言語化して概要を説明する、が第一歩でそれはこの資料である程度できた？ • と言いたいところだがまだ現場向けで外向けの説明には冗長すぎるのでもっと簡潔にしないといけない • データに関わっている人が圧倒的に少ないので概要が伝わらないとアピールも何もできない • 実務経験者から経営者やマネージャーになった人には伝わりやすいと思うのでまずはそこから？

Slide 80

Slide 80 text

組織の中での立ち回り方

Slide 81

Slide 81 text

• 最初は何でもやりますでいいかもしれない • ただし度が過ぎるとそれこそ雑用になる • 個人的関係で解決させるのではなく、組織としての取り決めで誰がどこまでやるかを決めた方がいい • 特に管理は何の権限もないといくら仕組みを作っても各部署各人が勝手に動くのを止められないので会社全体の問題として捉えてもらう必要がある（が、そのためのアピールはどうしたらいいのか？）組織の中での立ち回り方

Slide 82

Slide 82 text

参考URL

Slide 83

Slide 83 text

• 本資料の話の基になったブログの記事を紹介しておく。資料に書いていない話などもあるので参考にどうぞ • 「データ整備人（仮）」という、「データベースからSQLを書いて抽出する」という仕事についての考察というか「なにこれ？」という話 https://analytics-and-intelligence.net/archives/5826 • 続・「データ整備人（仮）」という「関わっている人が多くて、誰かがやらないといけないということは共通認識だけれども名前すらない役割」に関する雑多な話 https://analytics-and-intelligence.net/archives/5879 • エンジニアとアナリストの間で兵站を担う「データアーキテクト」は1つの役割として確立しておいた方が良いと思うので整理してみた https://analytics-and-intelligence.net/archives/6009 参考URL