データ分析コト始め - Python を学ぶ前に考えたいこと

「DXを組織に注入するんだ!」「それにはデータだ!」
未だにその声は聞きますし奮闘している皆様を日々目の前にしています。その施策としてスキリングの一環として Python を社員向けのトレーニングとして組み込む施策をしている会社・組織を多数見ています。そして、そのために利用目的が明確ではないセキュアなデータ基盤案件も多く走っています。その皆様のご尽力には本当に頭が下がります。

今一度、考えなおしませんか? Pythonは誰の目線から見て「簡単」なんでしょうか?
データの分析をする主体は誰なんでしょうか?
そして、多くの皆さんのPC/スマホには、会社から武器としてExcelは入っていませんか?
そもそもデータの分析とはどういうものなのか?ご存じでしょうか?通常のITシステムの開発と何が違うのでしょうか?

今からでも遅くはありません。今からでも考え直すきっかけにしてください。

Transcript

1. データの読み方 コト始め - Python 勉強する前に、Excel で出来る事もたくさんある! - 畠山 大有 | Daiyu Hatakeyama Architect && Software Engineer && Applied Data Scientist Microsoft Japan /dahatake @dahatake /in/dahatake /dahatake /dahatake
2. 素材 編集 考査 編成 分析 オンエア 配信 企画 女子高生層に 人気のあるタレントは Yさん だよ SNSで、 Microsoft が 流行っているって テレビって お年寄りしか 観ていないって ミュージシャンのX さん、 zzz 県で 爆発的に人気って聞いた コールセンターに あの報道良かったって 連絡あったみたい 番組連動をCloud でやれば、視聴率 増えるって サイマル配信して、 本当にテレビに若者が 返ってくるの? VoDの会員数は 増やすために XXX のコンテンツ出して みようか? 何に基づいて、 会社のリソース (人・モノ・カネ・時間) を使う「判断」をしているのですか?
3. データが ビジネスを動かす 新しい原動力になる
4. フェルミ推定 Fermi Problems
5. Chicago 市には 何人のピアノ調律師がいますか? 200 調律師 1000 調律回数 毎年必要な 調律回数 20万 ピアノ 毎年調律が必要 400万 世帯 50 営業週/年 5 営業日/週 8 営業時間/日 2 作業時間/調律 20軒に1軒は ピアノがある ざっくり 回答 (移動時間 など引いて) Chicago 市の人口は約900万人
6. 私たちは正確な答えを知らない 正確な答えを見つけるには、大きなコストがかかる。 特に多くの時間が必要になる可能性が高い • ラフな見積もりを作成する これらは正確である必要はない。1桁以内に収まれば十分 幾つかの現実的な見積もり用の変数と共に... あなたの見積もりを使用して、 回答に向かって作業する How this works
7. フェルミ推定 現実世界の問題に対する有用な近似値を見つける 利点 簡単かつ迅速に計算 正確なデータへの依存度が低い 定量化可能なエラーマージン 決定を下すのに十分 ⚠ 実践投入の前に、あなたの仮定をしっかりとテストする必要あり 主な機能 近似値を作成する 推測を正当化する 平均/分散/境界を考慮する 桁の精度を目指す
8. 「DXを導入するので、社内に データサイエンティスト を育成します」 「Python のトレーニングコースを作成します」
9. どうしたらいいんでしょうか?
10. Python は プログラミング言語 スクリプト言語 豊富なデータ分析用 パッケージ (習得が容易) 実装が容易 属人化 バージョンアップで 互換性は頻繁に失われる バージョン固定のためのコンテナ化が推奨 コンテナ の知識・インフラ プログラムの 知識は必須 大きなデータも 扱える (PySpark) Spark インフラ それは… GUI ツールで出来なくて、Python じゃないと処理が難しいのか?
11. No-Code / Low-Code のインパクト これまで Excelが ナレッジワークを変えてきたように、 Low-Code・No-Code 技術のようなツールの登場によって、 現場のエキスパートが 現場でオートメーションを実現し、製造業の生産性を一気に変えるようなパラダイム変化が起こっている Excel コードを書かずとも出来るコトは多々ある! Power BI Desktop (無料版)
12. Cloud Only の弊害 Data を持ち出せない インターネットへの接続 Sustainability の観点 手元の PC/Mac 以外に 稼働している Computer PC だけかつオフラインでも作業が出来る!😊 Data は PCの中 インターネットへの接続不要 手元の PC/Mac のみ フェーズを踏める。 うまくいったら Cloud も使えばいい ほぼ無料のアプリのみ Excel Power BI Desktop (無料版)
13. Cloud only の弊害 Data を持ち出せない インターネットへの接続 Sustainability の観点 手元の PC/Mac 以外に 稼働している Computer PC / Mac のみでのハンズオン/ワークショップを実施中 Data は PCの中 インターネットへの接続不要 Sustainability の観点 手元の PC/Mac のみ フェーズを踏める。 うまくいったら Cloud も使えばいい ほぼ無料のアプリのみ それは PC で処理できない Big Data なんでしたっけ? Excel Power BI Desktop (無料版)
14. データを読む 最初の一歩
15. 番組のディレクター 仕事: 番組の視聴数を最大化することで、 番組の価値を最大化する やりたい事はかなり一般的 畠山 さん
16. 畠山 さんの 視聴 ログ データ 日付 再生 回数 視聴者 ID 番組 説明 コスト カテゴリー 番組名 など… Viewer minutes データをここまで整形するのも実は一苦労…
17. 3つの分析パターン Viewer minutes 何が起こっているのか? 現状把握 なぜそれが発生したのか? 何の 相関関係があるのか? 次に何をすればいい? そのための 予測は? 統計と機械学習 のアプローチ
18. • 各番組の視聴率は? • 視聴トップ10の中で増えたのは? • 視聴者数と演者の関係は? • テレビとネットでの視聴数に 影響のある要因は? • 視聴者数最低の番組は 何が原因? • 次の四半期の視聴数は どの要因で増やせる? 何を知りたいのか? = 仮説 ビジネス上の知りたい事を考えるのが、難しい 何が起こっているのか? 現状把握 なぜそれが発生したのか? 何の 相関関係があるのか? 次に何をすればいい? そのための 予測は?
19. 時系列推移を見たい 国別視聴数データ 1) 現状把握
20. データの構成比を見たい 1) 現状把握
21. データの相関を見たい 2) 相関関係
22. データを正しく使用しないと 間違った結論が出る可能性もあある http://tylervigen.com/spurious-correlations
23. この手のグラフなら Excel にもあるよね
24. Excel でもサクッと出来る! ヒストグラム 散布図なども同様 対象列を選択して [グラフ]-[ヒストグラム] 項目のデータの幅は [軸の書式設定]-[ピンの幅] などで
25. 進化し続ける Excel データ分析 データの相関関係など を最適なグラフと共に 自動作成 おすすめグラフ 選択項目について 最適なグラフの提示 標準搭載された高度な分析のための データ分析 予測シート Machine Learning 組み込み済み
26. データ分析の主な作業 取得 保存 加工 可視化
27. Excel の場合 取得 保存 加工 可視化 Power Query 搭載 ファイルとして 関数 データ ツール グラフ Power Query
28. Power BI の場合 取得 保存 加工 可視化 Power Query 搭載 ファイルとして グラフ Power Query
29. レポート作成は 他の会社で任せているんだよね
30. 自分たちで作るコトの価値 ビジネス要件は仮説 仮説測定の仮KPI設定 仮KPI測定の為の Proof of Concept 自前であれば、早いし、捨てやすい 記録・データは残す 人に Know-How が蓄積 Feedback を基に 素早く 軌道修正
31. 最後に
32. • 何を意味しているのか? • いつ、どこで、取得したのか? • 入手漏れが無いのか? • 項目同士に関連があるのか? • 欠損や例外がどれだけ 含まれているのか? 「ゴミデータからは、 ゴミの結果しか生まれない」
33. • ビジネス上の課題の仮説 • 文章化していること • 例: 一昨年より実施している施策の売り上げ増への効果を知りたい • 生データ • 集計しないもの。計算はツールの方でいくらでも出来る • データの意味・価値の分かる人の参画 • 丸投げできない データの分析に必須な 3つの武器
34. 習うより慣れよ
35. https://www.gapminder.org/
36. 1 2 3 高品質な17,000のコース （日本語は900コース以上） ビジネス、テクノロジー、クリエイティブなどの多様なカテゴリー から成る学習コースをご提供 データに基づいたコース設計と パーソナライゼーション機能 リンクトインの会員データをもとにコース開発を実施 リンクトインプロフィール情報（スキル、経験等）に 基づいた推奨コースをAI機能を使い受講者に表示 マイクロラーニング 短時間でPC・モバイルからいつでもどこでも受講可能 LinkedIn ラーニング
37. Microsoft Learn Step-by-Step Achievements スムーズな学習環境 ▪ 無料 ▪ 日本語対応 ▪ ブラウザーのみでOK ハンズオン環境も含めて ▪ ダウンロード可能なサンプルコード ▪ Product/Service, 技術レベル, job role, などに応じたガイダンス ▪ Video, チュートリアル, ハンズオン ▪ スキルアップを促す ▪ ユーザー プロファイル毎に カスタマイズ www.microsoft.com/learn
38. 今後の予定 + 過去のもの 日本全国 無料セッション動画・資料 Microsoft Event & Seminar www.microsoft.com/ja-jp/events
39. © Copyright Microsoft Corporation. All rights reserved. Invent with purpose.