抽出の仕事をうまくやるために必要なこと / maemuki-data-seibinin05

by ShinU

Slide 1

Slide 1 text

抽出の仕事をうまくやるために必要なことしんゆう＠データ分析とインテリジェンス 2020/07/14 第5回データアーキテクト（データ整備人）を”前向きに”考える会 #前向きデータ整備人

Slide 2

Slide 2 text

資料・SNS・写真撮影などについて • 本日の資料は https://speakerdeck.com/shinu/maemuki-data-seibinin05 に公開済み。note・Twitterからもリンクあり • 〇 SNSで話題にすること • × 録画・録音 • アーカイブの公開はありません

Slide 3

Slide 3 text

前置き • 抽出は役割としても認知されていないので何となく誰かがやっていることも多く、各自でなんとかしている状態が続いている • いかに抽出の役割をうまくやるかについて、いままで経験して考えてきたことをまとめてみようと試みた（が、時間の都合で全部は無理だった） • 今回は分析者自身がやる場合ではなく、経営者やマネージャー、あるいはマーケターなど自分でできない人の代わりにやる場合を主に想定している

Slide 4

Slide 4 text

目次 • 自己紹介 • データ分析プロセスとデータ抽出 • データ抽出を行うために必要なスキル • データ抽出をもっとうまくやるために必要な事 • ヒアリングでどこまで踏み込みこむか • 雑用扱いされる問題への対処 • まとめ

Slide 5

Slide 5 text

自己紹介

Slide 6

Slide 6 text

自己紹介 • しんゆう（ Twitter : @data_analyst_ ） • ブログ「データ分析とインテリジェンス」を書いてる人 noteに移行しました → https://note.com/shinu • フリーランスでデータに関する仕事をあれこれ • 仕事でやってること：データをうまく使えるようにする人 • 仕事でやりたいこと：意思決定のための情報分析をする人

Slide 7

Slide 7 text

データ分析プロセスとデータ抽出

Slide 8

Slide 8 text

抽出をデータ分析全体の中で位置づける • データ抽出というと、とにかく言われたことをやるだけとか雑用といった考えの人は少なくないらしいがそれではモチベーションは上がらない • その原因の１つにデータ分析の全体像を捉えずに抽出の作業だけを考えているから、があるのではないか • そこで最初に、データ抽出がデータ分析プロセス全体においてどのような位置づけにあるかを見てみる

Slide 9

Slide 9 text

• データ分析は目的の決定から始まる一連のプロセスデータ分析はプロセスである目的の決定要求収集処理洞察伝達決定と実行フィードバック

Slide 10

Slide 10 text

「収集」は必要なデータを集める • データ分析は目的の決定から始まる一連のプロセス • そのうち「収集」は分析者がデータを集めるフェーズ目的の決定要求収集処理洞察伝達決定と実行フィードバック

Slide 11

Slide 11 text

抽出は「収集」を担うこと • データ分析は目的の決定から始まる一連のプロセス • そのうち「収集」は分析者がデータを集めるフェーズ • 抽出は収集の中で分析者が自分で時間や技術の問題で出来ない場合にその部分を分担する目的の決定要求処理洞察伝達決定と実行フィードバック収集

Slide 12

Slide 12 text

抽出は分析者に適切なパスを送る役割 • データ分析は目的の決定から始まる一連のプロセス • そのうち「収集」は分析者がデータを集めるフェーズ • 抽出は収集の中で分析者が自分で時間や技術の問題で出来ない場合にその部分を分担する • 分析者が速やかに次のフェーズに移行できるよう適切にパスを送る役目目的の決定要求処理洞察伝達決定と実行フィードバック収集

Slide 13

Slide 13 text

抽出は収集の一部であり雑用にはなりえない • つまり、抽出はデータ分析プロセスの一部なのでここでつまづくと先に進めないかそのデータをあきらめるか • データの価値が高くても使えないのでは何の意味もない • 事前に集めて整備をしておくことと同時に、欲しい時に欲しい人が使えるように提供する役割が必要 • このように捉えると、決して雑用などにはなりえない

Slide 14

Slide 14 text

データ抽出を行うために必要なスキル

Slide 15

Slide 15 text

• 位置づけがわかるとやる気になれるが意識が高いだけではあまり役に立たない • 抽出の役割で最も重要なことは「依頼により早く正確に対応する」こと • ではこの「依頼により早く正確に対応する」をうまくやるために必要なスキルは何で、それらをうまくやるにはどうしたらいいのだろう気持ちもスキルも両方大事

Slide 16

Slide 16 text

• 正しくヒアリングする • 抽出を実現するための技術力 • 多種多様な依頼をさばく • アウトプットを相手に合わせる • 追加変更を見越しておく • データへの理解を深めておく • データを整備しておくデータ抽出に必要なスキル

Slide 17

Slide 17 text

• 「正しくヒアリングする」とは依頼者が求めていることと、依頼として出てくることにはギャップがあるのでその部分をヒアリングして埋めること • 聞き取るのは優先度順に「欲しいデータ、納期、アウトプットの形」 • 欲しいデータは鵜呑みにすると全員不幸になるので“ヒアリングでどこまで踏み込むか”は重要な論点 • 後半でちょっとだけ触れるヒアリングはギャップを埋める

Slide 18

Slide 18 text

• 「抽出を実現するための技術力」はSQLでDBからデータを取ってくるのが中心 • それ以外にもExcelかもしれないし環境によってはPython でやるかもしれない • エンジニアのようにプログラミングできる必要はなくてもその企業の環境で扱う必要があれば身に着けていく柔軟性を持って臨機応変な対応が出来た方が成果は出しやすい SQLが中心だがそれだけではない

Slide 19

Slide 19 text

• 「多種多様な依頼をさばく」ことがなぜ必要かというと、データが扱える人は少数派なので話を聞きつけた様々な部署から多種多様な依頼が来る。それをうまくさばけないとすぐにパンクする • 重要度と納期を併せて優先順位を決める＋各依頼者と内容や納期の調整を密に行う • 当初の予定に間に合わなそうな場合はとにかく早く連絡する。間に合わなくなるかもしれない、ぐらいのうちからやっておいた方がいい優先順位決めと納期の調整が鍵

Slide 20

Slide 20 text

• 「アウトプットを相手に合わせる」には次に使う人がどうしたら使いやすいかをヒアリング時に聞いておく • 自分が使う場合には無意識にそうしていても人に渡す場合はあえて意識しておかないと「自分はこれで使えるから他の人も大丈夫だろう」になりがち • ただし「苦手だから集計も」に毎回答えているときりがないのでやり方を教える。覚えてくれない人は放置アウトプットは次の人が使いやすいように

Slide 21

Slide 21 text

• どこかで抜け漏れは起きる可能性は残るので「追加変更を見越しておく」と後で楽（仕事だけでなく精神衛生上も） • いくらヒアリングしても漏れたり後で思いついたりさらにその向こうの上司やクライアントからの追加注文が発生したりするので全部は吸収できない • 例えば依頼の期間より長く、細かい粒度を準備しておきアウトプットの際には依頼分だけ出せばあとで簡単に対応できるしこれもヒアリング段階で「こういうのもあるよ」が出せると話が早い追加変更はあると思っておく

Slide 22

Slide 22 text

• 「データへの理解を深めておく」のは対応の速さや正確性を高める • 必要になってから調べ始めても詳しくわからない、調べる時間がない、作った当人がもういないなどで間に合わなくなることもあるので重要性が高そうなものを優先して早めに調べておく • ただしメタデータの作成のようにエンジニアがやった方が良いかもしれないことまで全て受ける必要は無い早めに調べてデータを理解しておく

Slide 23

Slide 23 text

• いくら技術力があっても整備していないデータを毎回相手にしていると時間を無駄にするので「データを整備しておく」 • エンジニア側だけに任せてしまうと抽出や分析への意識が向かないことも多々あるので一緒にやる • なので抽出だけではなく整備とセットで取り組む方がいい、というのが個人的な考えデータ整備にも積極的に関わる

Slide 24

Slide 24 text

データ抽出をもっとうまくやるために必要な事

Slide 25

Slide 25 text

• ここまでで基本的なスキルについては話した。これらがちゃんとできればかなり仕事はできると思う（が自分でも全部できていないのでまだまだ足りないかもしれない • さらにもっとうまくやるためには他にも考えなければならないことがある基本ができたらもっとできるようになるには

Slide 26

Slide 26 text

• ヒアリングでどこまで踏み込みこむか • データ何でも屋になりがちなのをどう止めるか • 無駄に思える依頼を断るべきか • 自動化orクエリだけ渡すことの功罪 • 雑用扱いされる問題にどう対処するか抽出をもっとうまくやるために必要な事

Slide 27

Slide 27 text

• ヒアリングでどこまで踏み込みこむか • データ何でも屋になりがちなのをどう止めるか • 無駄に思える依頼を断るべきか • 自動化orクエリだけ渡すことの功罪 • 雑用扱いされる問題にどう対処するか時間の都合でこの２つにちょっとだけ触れる。詳しくは別の機会（次回以降にするかnoteにまとめるか・・・）にする今日は重要度の高い２つの話をちょっとだけ

Slide 28

Slide 28 text

ヒアリングでどこまで踏み込みこむか

Slide 29

Slide 29 text

依頼となる前には問いがある問い（課題・目的）知るべきこと必要なデータ依頼 • 抽出はデータ分析プロセスの一環なので、先に問いや目的、あるいは課題や仮説があり、それを解決するためにどんなデータが必要になるかという流れがあって依頼になる抽出

Slide 30

Slide 30 text

依頼の前のどこで間違えていても無駄になる • なので問いや知るべきこと、必要なデータ、そして依頼が間違えていれば抽出をしても無駄にしかならない問い（課題・目的）知るべきこと必要なデータ依頼抽出問いを間違えていればどんなデータも役に立たない

Slide 31

Slide 31 text

正しく依頼を出すのは依頼者の責任 • 本来は依頼してくる側が考えてきちんとした依頼を出し、抽出側はそれを受けてできることや納期を調整する問い（課題・目的）知るべきこと必要なデータ依頼抽出ここまでは依頼する側がやるべきこと

Slide 32

Slide 32 text

データについてなら踏み込んでもよい • 依頼が間違えている、必要なデータはもっとあるぐらいならばデータに詳しい側から介入するのはよいと思う • 「こういうデータが必要ならこんな値も取れるけど」問い（課題・目的）知るべきこと必要なデータ依頼抽出ここまでなら抽出が踏み込んでもよいと思う

Slide 33

Slide 33 text

何が知りたいかを毎回聞くべきかは疑問 • 問題は、問いや知るべきことが正しくないと思った際にどこまで踏み込むのがよいのか問い（課題・目的）知るべきこと必要なデータ依頼抽出

Slide 34

Slide 34 text

• もし自分がデータを依頼する側になった時のことを考えてみることで「問いに踏み込む」とはどういうことかをみてみる • 明日のランチを決めるのに今日のランチ、懐具合、一緒に行く人などいろいろ考えた上で「明日のランチは近くで安くしたい」と考えて“場所と予算”で探すことにした場所と予算を入力して合うデータが欲しい

Slide 35

Slide 35 text

• グルメサイトに「このあたりで８００円まで」と入力したところ「１２００円出せばもっと栄養のあるものが食べられます」とか「あなたは料理に何を求めますか」とか聞かれたら「いいからまず指定したデータをよこせ」と思うだろう • ましてや背景を無視した「これがお勧め」は大抵的外れ • 抽出の依頼に対してむやみに問いや知るべきことに踏み込むのはもしかしたらこれと同じかもしれない背景を知らない外野の指摘は大抵的外れ

Slide 36

Slide 36 text

• 依頼してくる側と同じ背景を共有しているのであればよいかもしれないが規模が小さい企業や特定のチーム内や親しい個人間では成立しても仕組みとしては難しいのでは • なのでデータ、目的と段階を経て聞いていくのがよいのだが、そんなことを毎回やっている余裕はまずない • この件は明確な答えは出ていないが、ただ「背景から全部聞けばいい」という話では済まないだろう常に「背景から全部聞く」は正解ではない

Slide 37

Slide 37 text

雑用扱いされる問題にどう対処するか

Slide 38

Slide 38 text

• サッカーでもシュートを決める人が目立つのは当然だがパスを送る人を雑用などと一流のプロにそんなことを言う人はいない。データ分析も同様 • たとえ思っていたとしても声に出して周りの士気を下げても自分の首を絞めるだけ • うまくやれないことは責められてしかるべきだが、一緒くたにして「雑用」という人とは適度な距離を置く。会社の方針ならばデータを活用することの未来は暗いパスする人を雑用扱いする人に一流はいない

Slide 39

Slide 39 text

まとめ

Slide 40

Slide 40 text

• データ抽出はパスする役目。うまくやれないとシュートを打つ人が困るしシュートを打てないと試合に勝てない • うまくやるためには技術だけでなく段取りとかコミュニケーションも必要で幅広いスキルが要求される • データ抽出も１つの役割として堂々とやっていきましょう本日のまとめ質問・疑問などお気軽にご連絡くださいしんゆう@データ分析とインテリジェンス Twitter：data_analyst_