Upgrade to Pro — share decks privately, control downloads, hide ads and more …

抽出の仕事をうまくやるために必要なこと / maemuki-data-seibinin05

ShinU
July 14, 2020

抽出の仕事をうまくやるために必要なこと / maemuki-data-seibinin05

第5回 データアーキテクト(データ整備人)を”前向きに”考える会
https://analytics-and-intelligence.connpass.com/event/180202/

作成者 :しんゆう@データ分析とインテリジェンス
Twitter:https://twitter.com/data_analyst_
note:https://note.com/shinu

ShinU

July 14, 2020
Tweet

More Decks by ShinU

Other Decks in Business

Transcript

  1. 抽出の仕事をうまくやるために必要なこと
    しんゆう@データ分析とインテリジェンス
    2020/07/14 第5回 データアーキテクト(データ整備人)を”前向きに”考える会
    #前向きデータ整備人

    View Slide

  2. 資料・SNS・写真撮影などについて
    • 本日の資料は
    https://speakerdeck.com/shinu/maemuki-data-seibinin05
    に公開済み。note・Twitterからもリンクあり
    • 〇 SNSで話題にすること
    • × 録画・録音
    • アーカイブの公開はありません

    View Slide

  3. 前置き
    • 抽出は役割としても認知されていないので何となく誰かが
    やっていることも多く、各自でなんとかしている状態が続
    いている
    • いかに抽出の役割をうまくやるかについて、いままで経験
    して考えてきたことをまとめてみようと試みた(が、時間
    の都合で全部は無理だった)
    • 今回は分析者自身がやる場合ではなく、経営者やマネージ
    ャー、あるいはマーケターなど自分でできない人の代わり
    にやる場合を主に想定している

    View Slide

  4. 目次
    • 自己紹介
    • データ分析プロセスとデータ抽出
    • データ抽出を行うために必要なスキル
    • データ抽出をもっとうまくやるために必要な事
    • ヒアリングでどこまで踏み込みこむか
    • 雑用扱いされる問題への対処
    • まとめ

    View Slide

  5. 自己紹介

    View Slide

  6. 自己紹介
    • しんゆう( Twitter : @data_analyst_ )
    • ブログ「データ分析とインテリジェンス」を書いてる人
    noteに移行しました → https://note.com/shinu
    • フリーランスでデータに関する仕事をあれこれ
    • 仕事でやってること:データをうまく使えるようにする人
    • 仕事でやりたいこと:意思決定のための情報分析をする人

    View Slide

  7. データ分析プロセスとデータ抽出

    View Slide

  8. 抽出をデータ分析全体の中で位置づける
    • データ抽出というと、とにかく言われたことをやるだけと
    か雑用といった考えの人は少なくないらしいがそれではモ
    チベーションは上がらない
    • その原因の1つにデータ分析の全体像を捉えずに抽出の作
    業だけを考えているから、があるのではないか
    • そこで最初に、データ抽出がデータ分析プロセス全体にお
    いてどのような位置づけにあるかを見てみる

    View Slide

  9. • データ分析は目的の決定から始まる一連のプロセス
    データ分析はプロセスである
    目的の
    決定
    要求 収集 処理 洞察 伝達
    決定と
    実行
    フィード
    バック

    View Slide

  10. 「収集」は必要なデータを集める
    • データ分析は目的の決定から始まる一連のプロセス
    • そのうち「収集」は分析者がデータを集めるフェーズ
    目的の
    決定
    要求 収集 処理 洞察 伝達
    決定と
    実行
    フィード
    バック

    View Slide

  11. 抽出は「収集」を担うこと
    • データ分析は目的の決定から始まる一連のプロセス
    • そのうち「収集」は分析者がデータを集めるフェーズ
    • 抽出は収集の中で分析者が自分で時間や技術の問題で出来
    ない場合にその部分を分担する
    目的の
    決定
    要求 処理 洞察 伝達
    決定と
    実行
    フィード
    バック
    収集

    View Slide

  12. 抽出は分析者に適切なパスを送る役割
    • データ分析は目的の決定から始まる一連のプロセス
    • そのうち「収集」は分析者がデータを集めるフェーズ
    • 抽出は収集の中で分析者が自分で時間や技術の問題で出来
    ない場合にその部分を分担する
    • 分析者が速やかに次のフェーズに移行できるよう適切にパ
    スを送る役目
    目的の
    決定
    要求 処理 洞察 伝達
    決定と
    実行
    フィード
    バック
    収集

    View Slide

  13. 抽出は収集の一部であり雑用にはなりえない
    • つまり、抽出はデータ分析プロセスの一部なのでここでつ
    まづくと先に進めないかそのデータをあきらめるか
    • データの価値が高くても使えないのでは何の意味もない
    • 事前に集めて整備をしておくことと同時に、欲しい時に欲
    しい人が使えるように提供する役割が必要
    • このように捉えると、決して雑用などにはなりえない

    View Slide

  14. データ抽出を行うために必要なスキル

    View Slide

  15. • 位置づけがわかるとやる気になれるが意識が高いだけでは
    あまり役に立たない
    • 抽出の役割で最も重要なことは「依頼により早く正確に対
    応する」こと
    • ではこの「依頼により早く正確に対応する」をうまくやる
    ために必要なスキルは何で、それらをうまくやるにはどう
    したらいいのだろう
    気持ちもスキルも両方大事

    View Slide

  16. • 正しくヒアリングする
    • 抽出を実現するための技術力
    • 多種多様な依頼をさばく
    • アウトプットを相手に合わせる
    • 追加変更を見越しておく
    • データへの理解を深めておく
    • データを整備しておく
    データ抽出に必要なスキル

    View Slide

  17. • 「正しくヒアリングする」とは依頼者が求めていることと、
    依頼として出てくることにはギャップがあるのでその部分
    をヒアリングして埋めること
    • 聞き取るのは優先度順に「欲しいデータ、納期、アウトプ
    ットの形」
    • 欲しいデータは鵜呑みにすると全員不幸になるので“ヒアリ
    ングでどこまで踏み込むか”は重要な論点
    • 後半でちょっとだけ触れる
    ヒアリングはギャップを埋める

    View Slide

  18. • 「抽出を実現するための技術力」はSQLでDBからデータを
    取ってくるのが中心
    • それ以外にもExcelかもしれないし環境によってはPython
    でやるかもしれない
    • エンジニアのようにプログラミングできる必要はなくても
    その企業の環境で扱う必要があれば身に着けていく柔軟性
    を持って臨機応変な対応が出来た方が成果は出しやすい
    SQLが中心だがそれだけではない

    View Slide

  19. • 「多種多様な依頼をさばく」ことがなぜ必要かというと、
    データが扱える人は少数派なので話を聞きつけた様々な部
    署から多種多様な依頼が来る。それをうまくさばけないと
    すぐにパンクする
    • 重要度と納期を併せて優先順位を決める+各依頼者と内容
    や納期の調整を密に行う
    • 当初の予定に間に合わなそうな場合はとにかく早く連絡す
    る。間に合わなくなるかもしれない、ぐらいのうちからや
    っておいた方がいい
    優先順位決めと納期の調整が鍵

    View Slide

  20. • 「アウトプットを相手に合わせる」には次に使う人がどう
    したら使いやすいかをヒアリング時に聞いておく
    • 自分が使う場合には無意識にそうしていても人に渡す場合
    はあえて意識しておかないと「自分はこれで使えるから他
    の人も大丈夫だろう」になりがち
    • ただし「苦手だから集計も」に毎回答えているときりがな
    いのでやり方を教える。覚えてくれない人は放置
    アウトプットは次の人が使いやすいように

    View Slide

  21. • どこかで抜け漏れは起きる可能性は残るので「追加変更を
    見越しておく」と後で楽(仕事だけでなく精神衛生上も)
    • いくらヒアリングしても漏れたり後で思いついたりさらに
    その向こうの上司やクライアントからの追加注文が発生し
    たりするので全部は吸収できない
    • 例えば依頼の期間より長く、細かい粒度を準備しておきア
    ウトプットの際には依頼分だけ出せばあとで簡単に対応で
    きるしこれもヒアリング段階で「こういうのもあるよ」が
    出せると話が早い
    追加変更はあると思っておく

    View Slide

  22. • 「データへの理解を深めておく」のは対応の速さや正確性
    を高める
    • 必要になってから調べ始めても詳しくわからない、調べる
    時間がない、作った当人がもういないなどで間に合わなく
    なることもあるので重要性が高そうなものを優先して早め
    に調べておく
    • ただしメタデータの作成のようにエンジニアがやった方が
    良いかもしれないことまで全て受ける必要は無い
    早めに調べてデータを理解しておく

    View Slide

  23. • いくら技術力があっても整備していないデータを毎回相手
    にしていると時間を無駄にするので「データを整備してお
    く」
    • エンジニア側だけに任せてしまうと抽出や分析への意識が
    向かないことも多々あるので一緒にやる
    • なので抽出だけではなく整備とセットで取り組む方がいい、
    というのが個人的な考え
    データ整備にも積極的に関わる

    View Slide

  24. データ抽出をもっとうまくやるために必要な事

    View Slide

  25. • ここまでで基本的なスキルについては話した。これらがち
    ゃんとできればかなり仕事はできると思う(が自分でも全
    部できていないのでまだまだ足りないかもしれない
    • さらにもっとうまくやるためには他にも考えなければなら
    ないことがある
    基本ができたらもっとできるようになるには

    View Slide

  26. • ヒアリングでどこまで踏み込みこむか
    • データ何でも屋になりがちなのをどう止めるか
    • 無駄に思える依頼を断るべきか
    • 自動化orクエリだけ渡すことの功罪
    • 雑用扱いされる問題にどう対処するか
    抽出をもっとうまくやるために必要な事

    View Slide

  27. • ヒアリングでどこまで踏み込みこむか
    • データ何でも屋になりがちなのをどう止めるか
    • 無駄に思える依頼を断るべきか
    • 自動化orクエリだけ渡すことの功罪
    • 雑用扱いされる問題にどう対処するか
    時間の都合でこの2つにちょっとだけ触れる。詳しくは別の
    機会(次回以降にするかnoteにまとめるか・・・)にする
    今日は重要度の高い2つの話をちょっとだけ

    View Slide

  28. ヒアリングでどこまで踏み込みこむか

    View Slide

  29. 依頼となる前には問いがある
    問い(課題・目的)
    知るべきこと
    必要なデータ
    依頼
    • 抽出はデータ分析プロセスの一環なので、
    先に問いや目的、あるいは課題や仮説が
    あり、それを解決するためにどんなデー
    タが必要になるかという流れがあって依
    頼になる
    抽出

    View Slide

  30. 依頼の前のどこで間違えていても無駄になる
    • なので問いや知るべきこと、必要なデー
    タ、そして依頼が間違えていれば抽出を
    しても無駄にしかならない
    問い(課題・目的)
    知るべきこと
    必要なデータ
    依頼
    抽出 問いを間違えていればどんなデータも役に立たない

    View Slide

  31. 正しく依頼を出すのは依頼者の責任
    • 本来は依頼してくる側が考えてきちんと
    した依頼を出し、抽出側はそれを受けて
    できることや納期を調整する
    問い(課題・目的)
    知るべきこと
    必要なデータ
    依頼
    抽出
    ここまでは依頼する側がやるべきこと

    View Slide

  32. データについてなら踏み込んでもよい
    • 依頼が間違えている、必要なデータはも
    っとあるぐらいならばデータに詳しい側
    から介入するのはよいと思う
    • 「こういうデータが必要ならこんな値も
    取れるけど」
    問い(課題・目的)
    知るべきこと
    必要なデータ
    依頼
    抽出
    ここまでなら抽出が踏み込んでもよいと思う

    View Slide

  33. 何が知りたいかを毎回聞くべきかは疑問
    • 問題は、問いや知るべきことが正しくな
    いと思った際にどこまで踏み込むのがよ
    いのか
    問い(課題・目的)
    知るべきこと
    必要なデータ
    依頼
    抽出

    View Slide

  34. • もし自分がデータを依頼する側になった時のことを考えて
    みることで「問いに踏み込む」とはどういうことかをみて
    みる
    • 明日のランチを決めるのに今日のランチ、懐具合、一緒に
    行く人などいろいろ考えた上で「明日のランチは近くで安
    くしたい」と考えて“場所と予算”で探すことにした
    場所と予算を入力して合うデータが欲しい

    View Slide

  35. • グルメサイトに「このあたりで800円まで」と入力した
    ところ「1200円出せばもっと栄養のあるものが食べら
    れます」とか「あなたは料理に何を求めますか」とか聞か
    れたら「いいからまず指定したデータをよこせ」と思うだ
    ろう
    • ましてや背景を無視した「これがお勧め」は大抵的外れ
    • 抽出の依頼に対してむやみに問いや知るべきことに踏み込
    むのはもしかしたらこれと同じかもしれない
    背景を知らない外野の指摘は大抵的外れ

    View Slide

  36. • 依頼してくる側と同じ背景を共有しているのであればよい
    かもしれないが規模が小さい企業や特定のチーム内や親し
    い個人間では成立しても仕組みとしては難しいのでは
    • なのでデータ、目的と段階を経て聞いていくのがよいのだ
    が、そんなことを毎回やっている余裕はまずない
    • この件は明確な答えは出ていないが、ただ「背景から全部
    聞けばいい」という話では済まないだろう
    常に「背景から全部聞く」は正解ではない

    View Slide

  37. 雑用扱いされる問題にどう対処するか

    View Slide

  38. • サッカーでもシュートを決める人が目立つのは当然だがパ
    スを送る人を雑用などと一流のプロにそんなことを言う人
    はいない。データ分析も同様
    • たとえ思っていたとしても声に出して周りの士気を下げて
    も自分の首を絞めるだけ
    • うまくやれないことは責められてしかるべきだが、一緒く
    たにして「雑用」という人とは適度な距離を置く。会社の
    方針ならばデータを活用することの未来は暗い
    パスする人を雑用扱いする人に一流はいない

    View Slide

  39. まとめ

    View Slide

  40. • データ抽出はパスする役目。うまくやれないとシュートを
    打つ人が困るしシュートを打てないと試合に勝てない
    • うまくやるためには技術だけでなく段取りとかコミュニケ
    ーションも必要で幅広いスキルが要求される
    • データ抽出も1つの役割として堂々とやっていきましょう
    本日のまとめ
    質問・疑問などお気軽にご連絡ください
    しんゆう@データ分析とインテリジェンス
    Twitter:data_analyst_

    View Slide