抽出の仕事をうまくやるために必要なこと / maemuki-data-seibinin05

29e4aa4e265e478995df09ca52d62103?s=47 ShinU
July 14, 2020

抽出の仕事をうまくやるために必要なこと / maemuki-data-seibinin05

第5回 データアーキテクト(データ整備人)を”前向きに”考える会
https://analytics-and-intelligence.connpass.com/event/180202/

作成者 :しんゆう@データ分析とインテリジェンス
Twitter:https://twitter.com/data_analyst_
note:https://note.com/shinu

29e4aa4e265e478995df09ca52d62103?s=128

ShinU

July 14, 2020
Tweet

Transcript

  1. 抽出の仕事をうまくやるために必要なこと しんゆう@データ分析とインテリジェンス 2020/07/14 第5回 データアーキテクト(データ整備人)を”前向きに”考える会 #前向きデータ整備人

  2. 資料・SNS・写真撮影などについて • 本日の資料は https://speakerdeck.com/shinu/maemuki-data-seibinin05 に公開済み。note・Twitterからもリンクあり • 〇 SNSで話題にすること • ×

    録画・録音 • アーカイブの公開はありません
  3. 前置き • 抽出は役割としても認知されていないので何となく誰かが やっていることも多く、各自でなんとかしている状態が続 いている • いかに抽出の役割をうまくやるかについて、いままで経験 して考えてきたことをまとめてみようと試みた(が、時間 の都合で全部は無理だった) •

    今回は分析者自身がやる場合ではなく、経営者やマネージ ャー、あるいはマーケターなど自分でできない人の代わり にやる場合を主に想定している
  4. 目次 • 自己紹介 • データ分析プロセスとデータ抽出 • データ抽出を行うために必要なスキル • データ抽出をもっとうまくやるために必要な事 •

    ヒアリングでどこまで踏み込みこむか • 雑用扱いされる問題への対処 • まとめ
  5. 自己紹介

  6. 自己紹介 • しんゆう( Twitter : @data_analyst_ ) • ブログ「データ分析とインテリジェンス」を書いてる人 noteに移行しました

    → https://note.com/shinu • フリーランスでデータに関する仕事をあれこれ • 仕事でやってること:データをうまく使えるようにする人 • 仕事でやりたいこと:意思決定のための情報分析をする人
  7. データ分析プロセスとデータ抽出

  8. 抽出をデータ分析全体の中で位置づける • データ抽出というと、とにかく言われたことをやるだけと か雑用といった考えの人は少なくないらしいがそれではモ チベーションは上がらない • その原因の1つにデータ分析の全体像を捉えずに抽出の作 業だけを考えているから、があるのではないか • そこで最初に、データ抽出がデータ分析プロセス全体にお

    いてどのような位置づけにあるかを見てみる
  9. • データ分析は目的の決定から始まる一連のプロセス データ分析はプロセスである 目的の 決定 要求 収集 処理 洞察 伝達

    決定と 実行 フィード バック
  10. 「収集」は必要なデータを集める • データ分析は目的の決定から始まる一連のプロセス • そのうち「収集」は分析者がデータを集めるフェーズ 目的の 決定 要求 収集 処理

    洞察 伝達 決定と 実行 フィード バック
  11. 抽出は「収集」を担うこと • データ分析は目的の決定から始まる一連のプロセス • そのうち「収集」は分析者がデータを集めるフェーズ • 抽出は収集の中で分析者が自分で時間や技術の問題で出来 ない場合にその部分を分担する 目的の 決定

    要求 処理 洞察 伝達 決定と 実行 フィード バック 収集
  12. 抽出は分析者に適切なパスを送る役割 • データ分析は目的の決定から始まる一連のプロセス • そのうち「収集」は分析者がデータを集めるフェーズ • 抽出は収集の中で分析者が自分で時間や技術の問題で出来 ない場合にその部分を分担する • 分析者が速やかに次のフェーズに移行できるよう適切にパ

    スを送る役目 目的の 決定 要求 処理 洞察 伝達 決定と 実行 フィード バック 収集
  13. 抽出は収集の一部であり雑用にはなりえない • つまり、抽出はデータ分析プロセスの一部なのでここでつ まづくと先に進めないかそのデータをあきらめるか • データの価値が高くても使えないのでは何の意味もない • 事前に集めて整備をしておくことと同時に、欲しい時に欲 しい人が使えるように提供する役割が必要 •

    このように捉えると、決して雑用などにはなりえない
  14. データ抽出を行うために必要なスキル

  15. • 位置づけがわかるとやる気になれるが意識が高いだけでは あまり役に立たない • 抽出の役割で最も重要なことは「依頼により早く正確に対 応する」こと • ではこの「依頼により早く正確に対応する」をうまくやる ために必要なスキルは何で、それらをうまくやるにはどう したらいいのだろう

    気持ちもスキルも両方大事
  16. • 正しくヒアリングする • 抽出を実現するための技術力 • 多種多様な依頼をさばく • アウトプットを相手に合わせる • 追加変更を見越しておく

    • データへの理解を深めておく • データを整備しておく データ抽出に必要なスキル
  17. • 「正しくヒアリングする」とは依頼者が求めていることと、 依頼として出てくることにはギャップがあるのでその部分 をヒアリングして埋めること • 聞き取るのは優先度順に「欲しいデータ、納期、アウトプ ットの形」 • 欲しいデータは鵜呑みにすると全員不幸になるので“ヒアリ ングでどこまで踏み込むか”は重要な論点

    • 後半でちょっとだけ触れる ヒアリングはギャップを埋める
  18. • 「抽出を実現するための技術力」はSQLでDBからデータを 取ってくるのが中心 • それ以外にもExcelかもしれないし環境によってはPython でやるかもしれない • エンジニアのようにプログラミングできる必要はなくても その企業の環境で扱う必要があれば身に着けていく柔軟性 を持って臨機応変な対応が出来た方が成果は出しやすい

    SQLが中心だがそれだけではない
  19. • 「多種多様な依頼をさばく」ことがなぜ必要かというと、 データが扱える人は少数派なので話を聞きつけた様々な部 署から多種多様な依頼が来る。それをうまくさばけないと すぐにパンクする • 重要度と納期を併せて優先順位を決める+各依頼者と内容 や納期の調整を密に行う • 当初の予定に間に合わなそうな場合はとにかく早く連絡す

    る。間に合わなくなるかもしれない、ぐらいのうちからや っておいた方がいい 優先順位決めと納期の調整が鍵
  20. • 「アウトプットを相手に合わせる」には次に使う人がどう したら使いやすいかをヒアリング時に聞いておく • 自分が使う場合には無意識にそうしていても人に渡す場合 はあえて意識しておかないと「自分はこれで使えるから他 の人も大丈夫だろう」になりがち • ただし「苦手だから集計も」に毎回答えているときりがな いのでやり方を教える。覚えてくれない人は放置

    アウトプットは次の人が使いやすいように
  21. • どこかで抜け漏れは起きる可能性は残るので「追加変更を 見越しておく」と後で楽(仕事だけでなく精神衛生上も) • いくらヒアリングしても漏れたり後で思いついたりさらに その向こうの上司やクライアントからの追加注文が発生し たりするので全部は吸収できない • 例えば依頼の期間より長く、細かい粒度を準備しておきア ウトプットの際には依頼分だけ出せばあとで簡単に対応で

    きるしこれもヒアリング段階で「こういうのもあるよ」が 出せると話が早い 追加変更はあると思っておく
  22. • 「データへの理解を深めておく」のは対応の速さや正確性 を高める • 必要になってから調べ始めても詳しくわからない、調べる 時間がない、作った当人がもういないなどで間に合わなく なることもあるので重要性が高そうなものを優先して早め に調べておく • ただしメタデータの作成のようにエンジニアがやった方が

    良いかもしれないことまで全て受ける必要は無い 早めに調べてデータを理解しておく
  23. • いくら技術力があっても整備していないデータを毎回相手 にしていると時間を無駄にするので「データを整備してお く」 • エンジニア側だけに任せてしまうと抽出や分析への意識が 向かないことも多々あるので一緒にやる • なので抽出だけではなく整備とセットで取り組む方がいい、 というのが個人的な考え

    データ整備にも積極的に関わる
  24. データ抽出をもっとうまくやるために必要な事

  25. • ここまでで基本的なスキルについては話した。これらがち ゃんとできればかなり仕事はできると思う(が自分でも全 部できていないのでまだまだ足りないかもしれない • さらにもっとうまくやるためには他にも考えなければなら ないことがある 基本ができたらもっとできるようになるには

  26. • ヒアリングでどこまで踏み込みこむか • データ何でも屋になりがちなのをどう止めるか • 無駄に思える依頼を断るべきか • 自動化orクエリだけ渡すことの功罪 • 雑用扱いされる問題にどう対処するか

    抽出をもっとうまくやるために必要な事
  27. • ヒアリングでどこまで踏み込みこむか • データ何でも屋になりがちなのをどう止めるか • 無駄に思える依頼を断るべきか • 自動化orクエリだけ渡すことの功罪 • 雑用扱いされる問題にどう対処するか

    時間の都合でこの2つにちょっとだけ触れる。詳しくは別の 機会(次回以降にするかnoteにまとめるか・・・)にする 今日は重要度の高い2つの話をちょっとだけ
  28. ヒアリングでどこまで踏み込みこむか

  29. 依頼となる前には問いがある 問い(課題・目的) 知るべきこと 必要なデータ 依頼 • 抽出はデータ分析プロセスの一環なので、 先に問いや目的、あるいは課題や仮説が あり、それを解決するためにどんなデー タが必要になるかという流れがあって依

    頼になる 抽出
  30. 依頼の前のどこで間違えていても無駄になる • なので問いや知るべきこと、必要なデー タ、そして依頼が間違えていれば抽出を しても無駄にしかならない 問い(課題・目的) 知るべきこと 必要なデータ 依頼 抽出

    問いを間違えていればどんなデータも役に立たない
  31. 正しく依頼を出すのは依頼者の責任 • 本来は依頼してくる側が考えてきちんと した依頼を出し、抽出側はそれを受けて できることや納期を調整する 問い(課題・目的) 知るべきこと 必要なデータ 依頼 抽出

    ここまでは依頼する側がやるべきこと
  32. データについてなら踏み込んでもよい • 依頼が間違えている、必要なデータはも っとあるぐらいならばデータに詳しい側 から介入するのはよいと思う • 「こういうデータが必要ならこんな値も 取れるけど」 問い(課題・目的) 知るべきこと

    必要なデータ 依頼 抽出 ここまでなら抽出が踏み込んでもよいと思う
  33. 何が知りたいかを毎回聞くべきかは疑問 • 問題は、問いや知るべきことが正しくな いと思った際にどこまで踏み込むのがよ いのか 問い(課題・目的) 知るべきこと 必要なデータ 依頼 抽出

  34. • もし自分がデータを依頼する側になった時のことを考えて みることで「問いに踏み込む」とはどういうことかをみて みる • 明日のランチを決めるのに今日のランチ、懐具合、一緒に 行く人などいろいろ考えた上で「明日のランチは近くで安 くしたい」と考えて“場所と予算”で探すことにした 場所と予算を入力して合うデータが欲しい

  35. • グルメサイトに「このあたりで800円まで」と入力した ところ「1200円出せばもっと栄養のあるものが食べら れます」とか「あなたは料理に何を求めますか」とか聞か れたら「いいからまず指定したデータをよこせ」と思うだ ろう • ましてや背景を無視した「これがお勧め」は大抵的外れ • 抽出の依頼に対してむやみに問いや知るべきことに踏み込

    むのはもしかしたらこれと同じかもしれない 背景を知らない外野の指摘は大抵的外れ
  36. • 依頼してくる側と同じ背景を共有しているのであればよい かもしれないが規模が小さい企業や特定のチーム内や親し い個人間では成立しても仕組みとしては難しいのでは • なのでデータ、目的と段階を経て聞いていくのがよいのだ が、そんなことを毎回やっている余裕はまずない • この件は明確な答えは出ていないが、ただ「背景から全部 聞けばいい」という話では済まないだろう

    常に「背景から全部聞く」は正解ではない
  37. 雑用扱いされる問題にどう対処するか

  38. • サッカーでもシュートを決める人が目立つのは当然だがパ スを送る人を雑用などと一流のプロにそんなことを言う人 はいない。データ分析も同様 • たとえ思っていたとしても声に出して周りの士気を下げて も自分の首を絞めるだけ • うまくやれないことは責められてしかるべきだが、一緒く たにして「雑用」という人とは適度な距離を置く。会社の

    方針ならばデータを活用することの未来は暗い パスする人を雑用扱いする人に一流はいない
  39. まとめ

  40. • データ抽出はパスする役目。うまくやれないとシュートを 打つ人が困るしシュートを打てないと試合に勝てない • うまくやるためには技術だけでなく段取りとかコミュニケ ーションも必要で幅広いスキルが要求される • データ抽出も1つの役割として堂々とやっていきましょう 本日のまとめ 質問・疑問などお気軽にご連絡ください

    しんゆう@データ分析とインテリジェンス Twitter:data_analyst_