7月16日 第14回 意思決定のためのデータ分析勉強会 online https://ishikettei.connpass.com/event/216885/
導⼊セッション意思決定のプロセスと分析技術を俯瞰してみる第14回 意思決定のためのデータ分析勉強会 onlineNOB DATA株式会社代表取締役社⻑⼤城 信晃 (@doradora09)
View Slide
アジェンダ• はじめに (3min)• 「意思決定」のモチベーションとプロセス (10min)• 「意思決定のためのデータ分析勉強会」を俯瞰してみる (7min)• 「分析技術」について少し整理してみる (10min)
アジェンダ• はじめに• 「意思決定」のモチベーションとプロセス• 「意思決定のためのデータ分析勉強会」を俯瞰してみる• 「分析技術」について少し整理してみる
⾃⼰紹介• NOB DATA株式会社 代表の⼤城と申します• 本イベントの主催者です• Twitter : doradora09• 沖縄 à 東京 à 福岡• ヤフー -> DATUM STUDIO -> LINE Fukuoka -> 起業• Tokyo.R(2010-2016), PyData.Fukuoka, 意思決定のためのデータ分析勉強会, fukuoka.R• データサイエンティスト協会九州⽀部 委員⻑• 著書︓「AI・データ分析プロジェクトのすべて」、他
導⼊セッションの⽬的• 「個々の発表テーマの繋がり」がよくわからない、というアンケートを受けてのセッション• 対象• これから意思決定にデータ分析を使いたい⽅• 対象外• すでにバリバリ活⽤されている⽅
⾊々な意思決定を⽀援するためのデータ分析• その１ 個⼈での意思決定• 朝ごはんに何を⾷べるか• ⼟⽇を何をして過ごすか• 就職先の企業をどこにするかetc..• その２ 組織としての意思決定• 営業先企業をどこにするか• キャンペーンのターゲットをどう設定するか• どこに出店するか / 内装・品揃えをどうするかetc..基本的により良い選択をしたい武器の⼀つとしてのデータ分析
数表を⼀⼿間(1分)かけてヒートマップにするだけでも意思決定に役⽴つ（データ可視化）• 福岡 ⽇平均気温の⽉平均値（℃）(過去10年くらい)
各種バイアスを考慮しないと意思決定が180度変わってしまうのもデータ分析の醍醐味（統計学的視点）• 帰還した爆撃機のどこを補強するか、という話• 何も考えないと点が多い場所だが実は逆というオチ（帰還していない爆撃機のデータは観測できない）https://ja.wikipedia.org/wiki/⽣存者バイアス より
過去の発表等だと• 個⼈的なモチベーションの内容は多め（社外なので、当然と⾔えば当然）• 福岡県の交通事故の状況をマッピング• うどんマップを⾃作• 過去の偉⼈(戦国武将等)の傾向から起業経営の意思決定⽀援(株式会社コテンの皆さん)• もやし価格のA/Bテスト(値付けの意思決定)• その他、昔運営していた勉強会(Tokyo.R)だと• お⼦さんのお名前を決めるためにRを活⽤(最適画数)• 賃貸の不動産屋でモデル式に条件を⼊⼒し、借りる部屋をスコアリングし、契約なども事例として上がっていました
参考︓もちろん「意思決定」以外を主⽬的としたデータ分析もあるデータ分析意思決定への活⽤ (最後は多くは⼈依存)ざっくりも役に⽴つのが特徴の⼀つ(明⽇から使える)新たな知⾒・法則の発⾒(新規性重視)ノーベル賞等を狙う⽅々。多くは数⼗年の研究が必要サーベイ調査・モニタリング定期的な調査が主⽬的。国の統計情報や気象情報等。予測モデル等の精度改善(いわゆるAI開発)、他精度を重視するが、中⾝がブラックボックスになりがち
⾊々な意思決定とプロセス①• その１ 個⼈での意思決定• 朝ごはんに何を⾷べるか .. ⼩さな意思決定 (ルーチン化されることも)• ⼟⽇を何をして過ごすか .. リフレッシュ (⾃分のリソースの範囲内なら⾃由)• 就職先の企業をどこにするか .. 重要な意思決定(多くの場合、様々な情報を収集)etc..情報収集 現状分析 ⽐較検討⾃⾝の意思決定・個⼈の場合、主観(インスピレーション)での意思決定も多い
⾊々な意思決定とプロセス②• その２ 組織としての意思決定• 営業先企業をどこにするか• キャンペーンのターゲットをどう設定するか• どこに出店するか / 内装・品揃えをどうするかetc..⾃⾝のリソース(ヒト・モノ・カネ）以外を⽤いることが多く、説得材料が必要情報収集 現状分析 ⽐較検討⾃⾝の意思決定(提案書作成)決済者の意思決定・ロジカルシンキング・伝える技術・可視化技術・根拠、等
ここまでの14回開催、⾊々なテーマ• テーマが多いので、関連性はパッと⾒分かりにくいのは確か第１回 2017/6/2 第14回 2021/7/15
主観でいくつか関連づけしてみました(第1回〜4回, 第10回〜14回)※別ファイル参照
話題として多そうなモノ• 分類(主観)• データ分析 / R / Python• 統計学 / (機械学習) / 前処理• 可視化• ⾃然⾔語処理、画像処理• IT寄り / 3⼤クラウド寄り• 情報提供 / 分析組織論 / 始め⽅、等• データ• テーブルデータ• テキストデータ• グラフ構造データ• 画像データ• GIS系データ• 時系列データ• ⽣体データ• ⾊彩データ、等
補⾜︓勉強会の背景としてのデータサイエンス前後• IT化 -> ビッグデータからのDS・AI -> DX• 暗黙の了解として、RやPythonといったIT技術はある程度前提として利⽤• DX⽂脈で、⾮IT系の職種の⽅が参加されると最初は混乱されるかもなので、補⾜2000年 2010年 2020年 2030年IT⾰命IT化・システム化(RPA等)データ基盤 & データサイエンス(意思決定、BI)ビッグデータの蓄積&DSの誕⽣AI開発DXという⽂脈で幅広く包含(かつ⾮IT系業種の参⼊)機械学習⼿法の発展
せっかくなので少し前に書いたこちらの本からもいくつか抜粋しつつ整理• ＡＩ・データ分析プロジェクトのすべて[ビジネス⼒×技術⼒＝価値創出]• https://honto.jp/netstore/pd-book_30630786.html
本の前に、本勉強会でよく登場するITやクラウド、データと分析技術をざっくり説明• IT技術• データの収集、結合、集計、分析で必要• R、Python、SQLなどはよく⽤いられる• クラウド技術• いわゆる３⼤クラウド(AWS, GCP,Azure)• ビッグデータ蓄積・解析では⼤活躍• ⾃前でサーバーを⽴てなくてもかなりのことができるようになった• データ• テーブルデータが多い(DBの関係から)• その他のデータ（画像やテキスト等。⾮構造化データと呼ばれることも）• データ分析技術• 統計学や機械学習に関する技術• 論⽂実装する⼈は数学なども• データや分析⽤途に合わせて様々な⼿法が発明・研究・実⽤化されている
IT技術・単純集計の場合・100万⾏くらいまでのデータならエクセルでも対応可能・5000万⾏くらいまではRDB、さらにそれを超えると各種クラウドの分散型DBの出番・DBはSQLで集計・分析⽤途・RやPythonを中⼼に、必要に応じてSQLを呼び出すなど・専⽤ツールを使うのも⼀⼿(テキストマイニング ならKH Coder等)・BIツール・tableauやpowoer BIなど・ノンプログラマーでもある程度使える
クラウド技術• ⼀例として３⼤クラウドのストレージとデータベースまわり• 他にも機械学習系やnotebook、ダッシュボードなど様々なサービスが展開されている
データ①・業種・業界によって、重要とされるデータは異なる
データ②• テーブルデータ以外は⼤抵「整理されてない」データ• データ分析に⽤いるには通称「前処理」という前⼯程でデータのクリーニングが必要（分析以前にこれがまた⼤変・・）
データ③• 通信網の発達もあり、デジタルデータはこの10年で1.8ZB -> 40ZBと激増(GB -> TB -> PB -> EB -> ZB)• それにより画像等の⾮構造化データも増⼤している(⼤規模データを処理する場合、クラウド環境は必須となりつつある)
データ分析技術• データの前処理• データ可視化• 探索的データ解析(EDA)• 教師あり学習、教師なし学習、各種分析⼿法• 効果測定技術• 各種専⽤の解析ライブラリ（テキストマイニング 、ネットワーク解析、等）• RやPythonを覚えると⼀通り触れる（なおシステム化はPythonやGo等、IT実装寄りの⾔語で)
データ分析技術②• よくまとまっていたのでこちらのブログから引⽤• https://www.salesanalytics.co.jp/column/no00136/• MS社が出しているAzureのチートシートに少し⼿を⼊れられたとのこと• 他にもいろいろある
補⾜①︓業種による⼈材ニーズの偏り(データサイエンティスト)https://www.fnn.jp/articles/-/56285
補⾜②︓東京と地⽅の⼈材ニーズの偏り(データサイエンティスト)
まとめ• 「意思決定」のモチベーションとプロセス• 個⼈の意思決定なのか、他の⼈の意思決定なのか• 「意思決定のためのデータ分析勉強会」を俯瞰してみる• いくつかを主観でマッピングしてみました• 結構、テーマがばらけている• 「分析技術」について少し整理してみる• IT、クラウド、データ、データ分析技術• 補⾜で業界感など後続のセッションなども、「この話はこの辺にマッピングされるかな」というイメージを持っていただくヒントになれば幸いです
補⾜③︓これから意思決定のためのデータ分析を始めたい⽅へ• 気軽に相談できるデータサイエンティストの知り合いを作るのが近道• 懇親会の枠をご活⽤ください• また、勉強会参加者のコミュニティslack(無料)も⽤意してますのでお気軽にどうぞ• URL : https://bit.ly/3vs26vP (nobdata_user_communities)• 初⼼者LT等の発表もお待ちしております・・︕︕
Enjoy..!!
doradora09
line_developers
yujisoftware
htsuruo
trycycle
irof
mitsuaki96
tacck
convto
oracle4engineer
eliasnogueira
taishin
minorun365
cassininazir
hatefulcrawdad
deanohume
iamctodd
morganepeng
malarkey
geoffreycrofte
eitanlees
swwweet
trallard
3n