Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
20210715_第14回意思決定のための_意思決定プロセスと分析技術を俯瞰してみる
Search
NobuakiOshiro
PRO
July 16, 2021
Technology
0
63
20210715_第14回意思決定のための_意思決定プロセスと分析技術を俯瞰してみる
7月16日
第14回 意思決定のためのデータ分析勉強会 online
https://ishikettei.connpass.com/event/216885/
NobuakiOshiro
PRO
July 16, 2021
Tweet
Share
More Decks by NobuakiOshiro
See All by NobuakiOshiro
20240724_オモシロAIごった煮会_第13回_オープニングトーク
doradora09
PRO
0
14
20240724_オモシロAIごった煮会_LT_suno3.5できらきら星アレンジ
doradora09
PRO
0
14
20240704_AGI福岡_LT_API費用と時給から考えるマルチモーダルなAIとの協業時期
doradora09
PRO
0
100
20240624_ビジネスマンとして知っておきたいChatGPT-4o(オムニ)についての基礎知識
doradora09
PRO
1
52
20240623_ChatGPT部_フォロワー1000名記念会_オープニングトーク
doradora09
PRO
0
71
20240623_LT_ChatGPTの得手不得手を今一度整理して考えてみる
doradora09
PRO
0
79
20240619_オモシロAIごった煮会_LT_LumaAIでいい感じの肉を作って焼く
doradora09
PRO
0
32
20240608_元OpenAI社社員の方のAGIへの懸念資料を少し読んでみる
doradora09
PRO
0
100
20240526_ChatGPT部第44回_オープニングトーク
doradora09
PRO
0
67
Other Decks in Technology
See All in Technology
Azure Pipelinesを使用したCICDベースラインアーキテクチャ実践
yuriemori
0
190
年間一億円削減した時系列データベースのアーキテクチャ改善~不確実性の高いプロジェクトへの挑戦~
lycorptech_jp
PRO
3
2.9k
エンジニアリングマネージャーはどう学んでいくのか #devsumi / How Do Engineering Managers Continue to Learn and Grow?
expajp
4
1.3k
ペパボのオブザーバビリティ研修2024 説明資料
kesompochy
0
1.1k
エンジニア向け会社紹介資料
caddi_eng
14
230k
成長期に歩みを止めないための創業期の開発文化形成
mayah
6
420
AWSで”最小権限の原則”を実現するための考え方 /20240722-ssmjp-aws-least-privilege
opelab
10
4.4k
AOAI Dev Day - Opening Session
yoshidashingo
2
470
エンジニアの生存戦略 〜クラウド潮流の経験から紐解く技術トレンドのメカニズムと乗りこなし方〜
shimy
9
1.9k
サービス開発を前に進めるために 新米リードエンジニアが 取り組んだこと / Steps Taken by a Novice Lead Engineer to Advance Service Development
nologyance
0
180
データ分析を支える技術 生成AI再入門
ishikawa_satoru
0
380
フルリモートワークはエンジニアの夢を叶えたか? #cm_odyssey
mamohacy
2
600
Featured
See All Featured
10 Git Anti Patterns You Should be Aware of
lemiorhan
652
58k
Embracing the Ebb and Flow
colly
81
4.3k
Writing Fast Ruby
sferik
623
60k
The Cult of Friendly URLs
andyhume
75
5.9k
Build your cross-platform service in a week with App Engine
jlugia
227
17k
The Pragmatic Product Professional
lauravandoore
29
6.1k
Creating an realtime collaboration tool: Agile Flush - .NET Oxford
marcduiker
16
1.6k
How to train your dragon (web standard)
notwaldorf
79
5.5k
Gamification - CAS2011
davidbonilla
78
4.9k
Typedesign – Prime Four
hannesfritz
37
2.2k
RailsConf 2023
tenderlove
16
720
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
23
1.9k
Transcript
導⼊セッション 意思決定のプロセスと 分析技術を俯瞰してみる 第14回 意思決定のためのデータ分析勉強会 online NOB DATA株式会社 代表取締役社⻑ ⼤城
信晃 (@doradora09)
アジェンダ • はじめに (3min) • 「意思決定」のモチベーションとプロセス (10min) • 「意思決定のためのデータ分析勉強会」を俯瞰してみる (7min)
• 「分析技術」について少し整理してみる (10min)
アジェンダ • はじめに • 「意思決定」のモチベーションとプロセス • 「意思決定のためのデータ分析勉強会」を俯瞰してみる • 「分析技術」について少し整理してみる
⾃⼰紹介 • NOB DATA株式会社 代表の⼤城と申します • 本イベントの主催者です • Twitter :
doradora09 • 沖縄 à 東京 à 福岡 • ヤフー -> DATUM STUDIO -> LINE Fukuoka -> 起業 • Tokyo.R(2010-2016), PyData.Fukuoka, 意思決定のた めのデータ分析勉強会, fukuoka.R • データサイエンティスト協会九州⽀部 委員⻑ • 著書︓「AI・データ分析プロジェクトのすべて」、他
導⼊セッションの⽬的 • 「個々の発表テーマの繋がり」がよくわからない、 というアンケートを受けてのセッション • 対象 • これから意思決定にデータ分析を使いたい⽅ • 対象外
• すでにバリバリ活⽤されている⽅
アジェンダ • はじめに • 「意思決定」のモチベーションとプロセス • 「意思決定のためのデータ分析勉強会」を俯瞰してみる • 「分析技術」について少し整理してみる
⾊々な意思決定を⽀援するためのデータ分析 • その1 個⼈での意思決定 • 朝ごはんに何を⾷べるか • ⼟⽇を何をして過ごすか • 就職先の企業をどこにするか
etc.. • その2 組織としての意思決定 • 営業先企業をどこにするか • キャンペーンのターゲットをどう設定するか • どこに出店するか / 内装・品揃えをどうするか etc.. 基本的に より良い選択をしたい 武器の⼀つとしての データ分析
数表を⼀⼿間(1分)かけてヒートマップにするだけでも 意思決定に役⽴つ(データ可視化) • 福岡 ⽇平均気温の⽉平均値(℃)(過去10年くらい)
各種バイアスを考慮しないと意思決定が180度 変わってしまうのもデータ分析の醍醐味 (統計学的視点) • 帰還した爆撃機のどこを補強 するか、という話 • 何も考えないと点が多い場所 だが実は逆というオチ (帰還していない爆撃機の
データは観測できない) https://ja.wikipedia.org/wiki/⽣存者バイアス より
過去の発表等だと • 個⼈的なモチベーションの内容は多め (社外なので、当然と⾔えば当然) • 福岡県の交通事故の状況をマッピング • うどんマップを⾃作 • 過去の偉⼈(戦国武将等)の傾向から起業経営の
意思決定⽀援(株式会社コテンの皆さん) • もやし価格のA/Bテスト(値付けの意思決定) • その他、昔運営していた勉強会(Tokyo.R)だと • お⼦さんのお名前を決めるためにRを活⽤(最適画数) • 賃貸の不動産屋でモデル式に条件を⼊⼒し、 借りる部屋をスコアリングし、契約 なども事例として上がっていました
参考︓もちろん「意思決定」以外を 主⽬的としたデータ分析もある データ分析 意思決定への活⽤ (最後は多くは⼈依存) ざっくりも役に⽴つのが 特徴の⼀つ(明⽇から使える) 新たな知⾒・法則の発⾒(新規性重視) ノーベル賞等を狙う⽅々。 多くは数⼗年の研究が必要
サーベイ調査・モニタリング 定期的な調査が主⽬的。 国の統計情報や気象情報等。 予測モデル等の精度改善(いわゆるAI開発)、他 精度を重視するが、中⾝が ブラックボックスになりがち
⾊々な意思決定とプロセス① • その1 個⼈での意思決定 • 朝ごはんに何を⾷べるか .. ⼩さな意思決定 (ルーチン化されることも) •
⼟⽇を何をして過ごすか .. リフレッシュ (⾃分のリソースの範囲内なら⾃由) • 就職先の企業をどこにするか .. 重要な意思決定(多くの場合、様々な情報を収集) etc.. 情報収集 現状分析 ⽐較検討 ⾃⾝の 意思決定 ・個⼈の場合、主観 (インスピレーション) での意思決定も多い
⾊々な意思決定とプロセス② • その2 組織としての意思決定 • 営業先企業をどこにするか • キャンペーンのターゲットをどう設定するか • どこに出店するか
/ 内装・品揃えをどうするか etc.. ⾃⾝のリソース (ヒト・モノ・カネ)以外を ⽤いることが多く、 説得材料が必要 情報収集 現状分析 ⽐較検討 ⾃⾝の 意思決定 (提案書作成) 決済者の 意思決定 ・ロジカルシンキング ・伝える技術 ・可視化技術 ・根拠、等
アジェンダ • はじめに • 「意思決定」のモチベーションとプロセス • 「意思決定のためのデータ分析勉強会」を俯瞰してみる • 「分析技術」について少し整理してみる
ここまでの14回開催、⾊々なテーマ • テーマが多いので、関連性はパッと⾒分かりにくいのは確か 第1回 2017/6/2 第14回 2021/7/15
主観でいくつか関連づけしてみました (第1回〜4回, 第10回〜14回) ※別ファイル参照
主観でいくつか関連づけしてみました (第1回〜4回, 第10回〜14回) ※別ファイル参照
話題として多そうなモノ • 分類(主観) • データ分析 / R / Python •
統計学 / (機械学習) / 前処理 • 可視化 • ⾃然⾔語処理、画像処理 • IT寄り / 3⼤クラウド寄り • 情報提供 / 分析組織論 / 始め⽅、等 • データ • テーブルデータ • テキストデータ • グラフ構造データ • 画像データ • GIS系データ • 時系列データ • ⽣体データ • ⾊彩データ、等
補⾜︓勉強会の背景としてのデータサイエンス前後 • IT化 -> ビッグデータ からのDS・AI -> DX • 暗黙の了解として、R
やPythonといったIT技 術はある程度前提とし て利⽤ • DX⽂脈で、⾮IT系の職 種の⽅が参加されると 最初は混乱されるかも なので、補⾜ 2000年 2010年 2020年 2030年 IT⾰命 IT化・システム化(RPA等) データ基盤 & データサイエンス(意思決定、 BI) ビッグデータの蓄積& DSの誕⽣ AI開発 DXという⽂脈で幅広く 包含 (かつ⾮IT系業種の参⼊) 機械学習⼿法の発展
アジェンダ • はじめに • 「意思決定」のモチベーションとプロセス • 「意思決定のためのデータ分析勉強会」を俯瞰してみる • 「分析技術」について少し整理してみる
せっかくなので少し前に書いた こちらの本からもいくつか抜粋 しつつ整理 • AI・データ分析プロジェクトの すべて [ビジネス⼒×技術⼒=価値創出] • https://honto.jp/netstore/ pd-book_30630786.html
本の前に、本勉強会でよく登場する ITやクラウド、データと分析技術をざっくり説明 • IT技術 • データの収集、結合、集計、分析で必要 • R、Python、SQLなどはよく⽤いられる • クラウド技術
• いわゆる3⼤クラウド(AWS, GCP, Azure) • ビッグデータ蓄積・解析では⼤活躍 • ⾃前でサーバーを⽴てなくてもかなりの ことができるようになった • データ • テーブルデータが多い(DBの関係から) • その他のデータ(画像やテキスト等。⾮ 構造化データと呼ばれることも) • データ分析技術 • 統計学や機械学習に関する技術 • 論⽂実装する⼈は数学なども • データや分析⽤途に合わせて様々な⼿法 が発明・研究・実⽤化されている
IT技術 ・単純集計の場合 ・100万⾏くらいまでのデータなら エクセルでも対応可能 ・5000万⾏くらいまではRDB、 さらにそれを超えると 各種クラウドの分散型DBの出番 ・DBはSQLで集計 ・分析⽤途 ・RやPythonを中⼼に、必要に応じて
SQLを呼び出すなど ・専⽤ツールを使うのも⼀⼿ (テキストマイニング ならKH Coder等) ・BIツール ・tableauやpowoer BIなど ・ノンプログラマーでもある程度使える
クラウド技術 • ⼀例として3⼤クラウドのストレージとデータベースまわり • 他にも機械学習系やnotebook、ダッシュボードなど 様々なサービスが展開されている
データ① ・業種・業界によって、重要とされるデータは異なる
データ② • テーブルデータ以外は⼤抵 「整理されてない」データ • データ分析に⽤いるには通称 「前処理」という前⼯程で データのクリーニングが必要 (分析以前にこれがまた⼤変・・)
データ③ • 通信網の発達もあり、 デジタルデータはこの10年で 1.8ZB -> 40ZBと激増 (GB -> TB
-> PB -> EB -> ZB) • それにより画像等の⾮構造化デー タも増⼤している (⼤規模データを処理する場合、 クラウド環境は必須となりつつあ る)
データ分析技術 • データの前処理 • データ可視化 • 探索的データ解析(EDA) • 教師あり学習、教師なし学習、各種分析⼿法 •
効果測定技術 • 各種専⽤の解析ライブラリ (テキストマイニング 、ネットワーク解析、等) • RやPythonを覚えると⼀通り触れる (なおシステム化はPythonやGo等、IT実装寄りの⾔語で)
データ分析技術② • よくまとまっていたので こちらのブログから引⽤ • https://www.salesanalytics. co.jp/column/no00136/ • MS社が出しているAzureのチー トシートに少し⼿を⼊れられた
とのこと • 他にもいろいろある
補⾜①︓業種による⼈材ニーズの偏り (データサイエンティスト) https://www.fnn.jp/articles/-/56285
補⾜②︓東京と地⽅の⼈材ニーズの偏り (データサイエンティスト)
まとめ • 「意思決定」のモチベーションとプロセス • 個⼈の意思決定なのか、他の⼈の意思決定なのか • 「意思決定のためのデータ分析勉強会」を俯瞰してみる • いくつかを主観でマッピングしてみました •
結構、テーマがばらけている • 「分析技術」について少し整理してみる • IT、クラウド、データ、データ分析技術 • 補⾜で業界感など 後続のセッションなども、 「この話はこの辺に マッピングされるかな」 というイメージを 持っていただく ヒントになれば幸いです
補⾜③︓これから意思決定のためのデータ分析を始めたい⽅へ • 気軽に相談できるデータサイエンティストの知り合いを作るのが近道 • 懇親会の枠をご活⽤ください • また、勉強会参加者のコミュニティslack(無料)も⽤意してますのでお気軽 にどうぞ • URL
: https://bit.ly/3vs26vP (nobdata_user_communities) • 初⼼者LT等の発表もお待ちしております・・︕︕
Enjoy..!!