Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20210715_第14回意思決定のための_意思決定プロセスと分析技術を俯瞰してみる

 20210715_第14回意思決定のための_意思決定プロセスと分析技術を俯瞰してみる

7月16日
第14回 意思決定のためのデータ分析勉強会 online
https://ishikettei.connpass.com/event/216885/

NobuakiOshiro

July 16, 2021
Tweet

More Decks by NobuakiOshiro

Other Decks in Technology

Transcript

  1. 導⼊セッション
    意思決定のプロセスと
    分析技術を俯瞰してみる
    第14回 意思決定のためのデータ分析勉強会 online
    NOB DATA株式会社
    代表取締役社⻑
    ⼤城 信晃 (@doradora09)

    View Slide

  2. アジェンダ
    • はじめに (3min)
    • 「意思決定」のモチベーションとプロセス (10min)
    • 「意思決定のためのデータ分析勉強会」を俯瞰してみる (7min)
    • 「分析技術」について少し整理してみる (10min)

    View Slide

  3. アジェンダ
    • はじめに
    • 「意思決定」のモチベーションとプロセス
    • 「意思決定のためのデータ分析勉強会」を俯瞰してみる
    • 「分析技術」について少し整理してみる

    View Slide

  4. ⾃⼰紹介
    • NOB DATA株式会社 代表の⼤城と申します
    • 本イベントの主催者です
    • Twitter : doradora09
    • 沖縄 à 東京 à 福岡
    • ヤフー -> DATUM STUDIO -> LINE Fukuoka -> 起業
    • Tokyo.R(2010-2016), PyData.Fukuoka, 意思決定のた
    めのデータ分析勉強会, fukuoka.R
    • データサイエンティスト協会九州⽀部 委員⻑
    • 著書︓「AI・データ分析プロジェクトのすべて」、他

    View Slide

  5. 導⼊セッションの⽬的
    • 「個々の発表テーマの繋がり」がよくわからない、
    というアンケートを受けてのセッション
    • 対象
    • これから意思決定にデータ分析を使いたい⽅
    • 対象外
    • すでにバリバリ活⽤されている⽅

    View Slide

  6. アジェンダ
    • はじめに
    • 「意思決定」のモチベーションとプロセス
    • 「意思決定のためのデータ分析勉強会」を俯瞰してみる
    • 「分析技術」について少し整理してみる

    View Slide

  7. ⾊々な意思決定を⽀援するためのデータ分析
    • その1 個⼈での意思決定
    • 朝ごはんに何を⾷べるか
    • ⼟⽇を何をして過ごすか
    • 就職先の企業をどこにするか
    etc..
    • その2 組織としての意思決定
    • 営業先企業をどこにするか
    • キャンペーンのターゲットをどう設定するか
    • どこに出店するか / 内装・品揃えをどうするか
    etc..
    基本的に
    より良い選択をしたい
    武器の⼀つとしての
    データ分析

    View Slide

  8. 数表を⼀⼿間(1分)かけてヒートマップにするだけでも
    意思決定に役⽴つ(データ可視化)
    • 福岡 ⽇平均気温の⽉平均値(℃)(過去10年くらい)

    View Slide

  9. 各種バイアスを考慮しないと意思決定が180度
    変わってしまうのもデータ分析の醍醐味
    (統計学的視点)
    • 帰還した爆撃機のどこを補強
    するか、という話
    • 何も考えないと点が多い場所
    だが実は逆というオチ
    (帰還していない爆撃機の
    データは観測できない)
    https://ja.wikipedia.org/wiki/⽣存者バイアス より

    View Slide

  10. 過去の発表等だと
    • 個⼈的なモチベーションの内容は多め
    (社外なので、当然と⾔えば当然)
    • 福岡県の交通事故の状況をマッピング
    • うどんマップを⾃作
    • 過去の偉⼈(戦国武将等)の傾向から起業経営の
    意思決定⽀援(株式会社コテンの皆さん)
    • もやし価格のA/Bテスト(値付けの意思決定)
    • その他、昔運営していた勉強会(Tokyo.R)だと
    • お⼦さんのお名前を決めるためにRを活⽤(最適画数)
    • 賃貸の不動産屋でモデル式に条件を⼊⼒し、
    借りる部屋をスコアリングし、契約
    なども事例として上がっていました

    View Slide

  11. 参考︓もちろん「意思決定」以外を
    主⽬的としたデータ分析もある
    データ分析
    意思決定への活⽤ (最後は多くは⼈依存)
    ざっくりも役に⽴つのが
    特徴の⼀つ(明⽇から使える)
    新たな知⾒・法則の発⾒(新規性重視)
    ノーベル賞等を狙う⽅々。
    多くは数⼗年の研究が必要
    サーベイ調査・モニタリング
    定期的な調査が主⽬的。
    国の統計情報や気象情報等。
    予測モデル等の精度改善(いわゆるAI開発)、他
    精度を重視するが、中⾝が
    ブラックボックスになりがち

    View Slide

  12. ⾊々な意思決定とプロセス①
    • その1 個⼈での意思決定
    • 朝ごはんに何を⾷べるか .. ⼩さな意思決定 (ルーチン化されることも)
    • ⼟⽇を何をして過ごすか .. リフレッシュ (⾃分のリソースの範囲内なら⾃由)
    • 就職先の企業をどこにするか .. 重要な意思決定(多くの場合、様々な情報を収集)
    etc..
    情報収集 現状分析 ⽐較検討
    ⾃⾝の
    意思決定
    ・個⼈の場合、主観
    (インスピレーション)
    での意思決定も多い

    View Slide

  13. ⾊々な意思決定とプロセス②
    • その2 組織としての意思決定
    • 営業先企業をどこにするか
    • キャンペーンのターゲットをどう設定するか
    • どこに出店するか / 内装・品揃えをどうするか
    etc..
    ⾃⾝のリソース
    (ヒト・モノ・カネ)以外を
    ⽤いることが多く、
    説得材料が必要
    情報収集 現状分析 ⽐較検討
    ⾃⾝の
    意思決定
    (提案書作成)
    決済者の
    意思決定
    ・ロジカルシンキング
    ・伝える技術
    ・可視化技術
    ・根拠、等

    View Slide

  14. アジェンダ
    • はじめに
    • 「意思決定」のモチベーションとプロセス
    • 「意思決定のためのデータ分析勉強会」を俯瞰してみる
    • 「分析技術」について少し整理してみる

    View Slide

  15. ここまでの14回開催、⾊々なテーマ
    • テーマが多いので、関連性はパッと⾒分かりにくいのは確か
    第1回 2017/6/2 第14回 2021/7/15

    View Slide

  16. 主観でいくつか関連づけしてみました
    (第1回〜4回, 第10回〜14回)
    ※別ファイル参照

    View Slide

  17. 主観でいくつか関連づけしてみました
    (第1回〜4回, 第10回〜14回)
    ※別ファイル参照

    View Slide

  18. 話題として多そうなモノ
    • 分類(主観)
    • データ分析 / R / Python
    • 統計学 / (機械学習) / 前処理
    • 可視化
    • ⾃然⾔語処理、画像処理
    • IT寄り / 3⼤クラウド寄り
    • 情報提供 / 分析組織論 / 始め⽅、等
    • データ
    • テーブルデータ
    • テキストデータ
    • グラフ構造データ
    • 画像データ
    • GIS系データ
    • 時系列データ
    • ⽣体データ
    • ⾊彩データ、等

    View Slide

  19. 補⾜︓勉強会の背景としてのデータサイエンス前後
    • IT化 -> ビッグデータ
    からのDS・AI -> DX
    • 暗黙の了解として、R
    やPythonといったIT技
    術はある程度前提とし
    て利⽤
    • DX⽂脈で、⾮IT系の職
    種の⽅が参加されると
    最初は混乱されるかも
    なので、補⾜
    2000年 2010年 2020年 2030年
    IT⾰命
    IT化・システム化(RPA等)
    データ基盤 & データサイエンス(意思決定、
    BI)
    ビッグデータの蓄積&
    DSの誕⽣
    AI開発
    DXという⽂脈で幅広く
    包含
    (かつ⾮IT系業種の参⼊)
    機械学習⼿法の発展

    View Slide

  20. アジェンダ
    • はじめに
    • 「意思決定」のモチベーションとプロセス
    • 「意思決定のためのデータ分析勉強会」を俯瞰してみる
    • 「分析技術」について少し整理してみる

    View Slide

  21. せっかくなので少し前に書いた
    こちらの本からもいくつか抜粋
    しつつ整理
    • AI・データ分析プロジェクトの
    すべて
    [ビジネス⼒×技術⼒=価値創出]
    • https://honto.jp/netstore/
    pd-book_30630786.html

    View Slide

  22. 本の前に、本勉強会でよく登場する
    ITやクラウド、データと分析技術をざっくり説明
    • IT技術
    • データの収集、結合、集計、分析で必要
    • R、Python、SQLなどはよく⽤いられる
    • クラウド技術
    • いわゆる3⼤クラウド(AWS, GCP,
    Azure)
    • ビッグデータ蓄積・解析では⼤活躍
    • ⾃前でサーバーを⽴てなくてもかなりの
    ことができるようになった
    • データ
    • テーブルデータが多い(DBの関係から)
    • その他のデータ(画像やテキスト等。⾮
    構造化データと呼ばれることも)
    • データ分析技術
    • 統計学や機械学習に関する技術
    • 論⽂実装する⼈は数学なども
    • データや分析⽤途に合わせて様々な⼿法
    が発明・研究・実⽤化されている

    View Slide

  23. IT技術
    ・単純集計の場合
    ・100万⾏くらいまでのデータなら
    エクセルでも対応可能
    ・5000万⾏くらいまではRDB、
    さらにそれを超えると
    各種クラウドの分散型DBの出番
    ・DBはSQLで集計
    ・分析⽤途
    ・RやPythonを中⼼に、必要に応じて
    SQLを呼び出すなど
    ・専⽤ツールを使うのも⼀⼿
    (テキストマイニング ならKH Coder等)
    ・BIツール
    ・tableauやpowoer BIなど
    ・ノンプログラマーでもある程度使える

    View Slide

  24. クラウド技術
    • ⼀例として3⼤クラウドのストレージとデータベースまわり
    • 他にも機械学習系やnotebook、ダッシュボードなど
    様々なサービスが展開されている

    View Slide

  25. データ①
    ・業種・業界によって、重要とされるデータは異なる

    View Slide

  26. データ②
    • テーブルデータ以外は⼤抵
    「整理されてない」データ
    • データ分析に⽤いるには通称
    「前処理」という前⼯程で
    データのクリーニングが必要
    (分析以前にこれがまた⼤変・・)

    View Slide

  27. データ③
    • 通信網の発達もあり、
    デジタルデータはこの10年で
    1.8ZB -> 40ZBと激増
    (GB -> TB -> PB -> EB -> ZB)
    • それにより画像等の⾮構造化デー
    タも増⼤している
    (⼤規模データを処理する場合、
    クラウド環境は必須となりつつあ
    る)

    View Slide

  28. データ分析技術
    • データの前処理
    • データ可視化
    • 探索的データ解析(EDA)
    • 教師あり学習、教師なし学習、各種分析⼿法
    • 効果測定技術
    • 各種専⽤の解析ライブラリ
    (テキストマイニング 、ネットワーク解析、等)
    • RやPythonを覚えると⼀通り触れる
    (なおシステム化はPythonやGo等、IT実装寄りの⾔語で)

    View Slide

  29. データ分析技術②
    • よくまとまっていたので
    こちらのブログから引⽤
    • https://www.salesanalytics.
    co.jp/column/no00136/
    • MS社が出しているAzureのチー
    トシートに少し⼿を⼊れられた
    とのこと
    • 他にもいろいろある

    View Slide

  30. 補⾜①︓業種による⼈材ニーズの偏り
    (データサイエンティスト)
    https://www.fnn.jp/articles/-/56285

    View Slide

  31. 補⾜②︓東京と地⽅の⼈材ニーズの偏り
    (データサイエンティスト)

    View Slide

  32. まとめ
    • 「意思決定」のモチベーションとプロセス
    • 個⼈の意思決定なのか、他の⼈の意思決定なのか
    • 「意思決定のためのデータ分析勉強会」を俯瞰してみる
    • いくつかを主観でマッピングしてみました
    • 結構、テーマがばらけている
    • 「分析技術」について少し整理してみる
    • IT、クラウド、データ、データ分析技術
    • 補⾜で業界感など
    後続のセッションなども、
    「この話はこの辺に
    マッピングされるかな」
    というイメージを
    持っていただく
    ヒントになれば幸いです

    View Slide

  33. 補⾜③︓これから意思決定のためのデータ分析を始めたい⽅へ
    • 気軽に相談できるデータサイエンティストの知り合いを作るのが近道
    • 懇親会の枠をご活⽤ください
    • また、勉強会参加者のコミュニティslack(無料)も⽤意してますのでお気軽
    にどうぞ
    • URL : https://bit.ly/3vs26vP (nobdata_user_communities)
    • 初⼼者LT等の発表もお待ちしております・・︕︕

    View Slide

  34. Enjoy..!!

    View Slide