国勢調査で実践する初心者のためのPythonデータ分析ハンズオンセミナー資料

Transcript

1. 国勢調査で実践する初⼼者のための Pythonデータ分析ハンズオンセミナー 2023/10/31
2. ⽬次 • ⾃⼰紹介 • 書籍の概要 • ビジネスでのデータ分析の役割 • ⽇本のオープンデータで最も⼈気！国勢調査 • データ分析ハンズオン • 発展活⽤‧まとめ
3. ⾃⼰紹介
4. ⾃⼰紹介 ⼩川 英幸 おがわ   ひでゆき 合同会社 ⻑⽬ Founder & CEO 新卒後、2000年〜2017年まで証券会社にてトレーダー‧アナリストとして勤務。2017 年に⻑⽬設⽴。 執筆: Pythonデータ分析ハンズオンセミナー（⽇経BP 2023/8） Pythonインタラクティブ‧データビジュアライゼーション⼊⾨（朝倉書店 2020/12) WEB + DB Press Vol.118 Pythonデータ可視化 登壇: PyCon APAC 2023 など多数。
5. 合同会社 ⻑⽬ ごうどうがいしゃ ちょうもく 京都市に拠点を置く、データ分析会社。 受託データ分析‧AIモデル作成、企業のIT‧資産活⽤のコ ンサルティングを⾏う。 浜松市実証実験サポート事業採⽤（2022/10 - 2023/9）
6. 書籍執筆
7. 書籍の概要
8. Pythonデータ分析ハンズオンセミナー 位置情報付きの国勢調査のデータをPythonを使っ て、どのように企業で⽣かせる情報に作成するか を、ハンズオン形式で扱う書籍。 1章: データ分析をビジネスに活かす 2章: オープンデータのススメ 3章: Python⼊⾨ 4章: 分析に役⽴つライブラリ 5章: ハンズオン: データの準備と前処理 6章: ハンズオン: データの可視化 7章: ハンズオン: 戦略⽴案のためのデータ分析
9. Pythonデータ分析ハンズオンセミナー 本書の特徴 - ビジネスでのデータ分析の役割を定義 - 実際にビジネスに役⽴つデータを処理 - 位置情報＋データを扱う分析
10. Pythonデータ分析ハンズオンセミナー Pythonでどんなことが出来るようになるか？：データ収集、前処理 - サイトからデータを取得、データを分析に使えるように前処理 - ありがちな失敗も解説しながら進める
11. Pythonデータ分析ハンズオンセミナー Pythonでどんなことが出来るようになるか？：データ可視化 - ビッグデータを理解するためのツール作成
12. Pythonデータ分析ハンズオンセミナー Pythonでどんなことが出来るようになるか？：データ可視化 - よりインタラクティブに！
13. Pythonデータ分析ハンズオンセミナー Pythonでどんなことが出来るようになるか？：戦略⽴案 - オリジナル商圏分析を作る
14. Pythonデータ分析ハンズオンセミナー Pythonでどんなことが出来るようになるか？：戦略⽴案 - オリジナル商圏分析を作る
15. Pythonデータ分析ハンズオンセミナー Pythonでどんなことが出来るようになるか？：戦略⽴案 - 条件に合う地域を抽出
16. Pythonデータ分析ハンズオンセミナー 本書籍でお伝えしたかったこと - プログラミングを具体的に（リストとか辞書の使い⽅など） - ビジネスでのデータ分析の活⽤をはじめよう - ツール＋統計＋ビジネス知識が必要 - 全部マスターしようとすると無理 - これくらい簡単なところから始めると良い - いくつからでもはじめられる - 私がアラフォーでプログラミングはじめてまぁまぁいろいろできるようになっている。 補助ツールもたくさんあるので、いくつからでもはじめられるということをお伝えした かった。
17. Pythonデータ分析ハンズオンセミナー 多分多くの⼈が持つ疑問 ⽣成AIの⽅がプログラミングできるし、それに任せたらよいのでは？ - 役割によると思う - 何⼈かにテストしたところ、⽣成AIにやりたいことを伝えるのはかなり困難。伝える ためには課題の⾔語化など、プログラミングをする的な思考が重要に思う。 - アラフォーからプログラミングをはじめた私にとって、プログラミングから学んだ良 いことは、課題の分け⽅やそれらを上⼿くつなぐ⽅法といえる。 - なので、よほど特化型の仕事をする⽅でない限り、⼿に⼊れといて損はない技能だと 思う。
18. ビジネスでの データ分析の役割
19. どうしてデータ分析？ - アナログなデータのデジタル化 - ビジネスでのビジネスツール活⽤ - 上の２つが進む - 分析できるデータが増え、それらを 使って変化などが観察できるように なった
20. ビジネスでのデータ分析の役割 - データ分析したことがある⼈には明確 - セミナーなどでは、仕事でどういう役 割を担わせたらよいか分からないとい うご意⾒を多く得た - 本書では「課題解決の場⾯で、⾃社に 適した意思決定を⾏う確率を上げる」 役割を担うとした
21. ビジネスでのデータ分析の役割
22. ビジネスでの分析の流れ（昔）
23. ビジネスでのデータ分析の流れ（これから）
24. 本書で定義したデータ分析の役割 課題解決の場⾯で、 ⾃社に適した意思決定を⾏う確率を上げる
25. データ分析の役割の変化 課題解決の場⾯で、 ⾃社に適した意思決定を⾏う確率を上げる - 以前は⾃社に関するデータ少なく、マクロデータの分析とな りやすかった - SaaSなどの導⼊により⾃社データが増加 - 増加した⾃社データを分析出来るツールも出現 - ⾃社に適した意思決定を作ることが可能に！ - ツール: エクセル、Pythonなど - ⾃社データ × マクロデータの分析で効果を上げる 細部重要
26. データ分析の役割の変化 細部を気にすること により経験が⽣かせ る！！！ と思うので頑張りま しょう！！
27. データ分析の限界 課題解決の場⾯で、 ⾃社に適した意思決定を⾏う確率を上げる - データで将来を完璧に予測することは不可能 - ⼀⽅で、変化が激しい(VUCA)現代、勘で良い意思決定を⾏い 続けるのは困難 - データを使って少しでも確率の良い意思決定を⾏い、⻑期的 に他社に差をつける
28. データ分析に抱く妄想と現実
29. データ分析を使う際の重要事項
30. データ分析を使う際に重要なこと 分かりやすく会社の業績を伸ばすことを⽬指す なんだいっても経営者はそこを評価する 効率化による業績改善 売上拡⼤ コストがかかる割に、効果が分かりにくいことに取り組む のはやめておきましょう（ex. 機械学習を使って〜みたい なこと）
31. ⽇本のオープンデータで最も⼈気！ 国勢調査
32. 位置データ付き国勢調査のデータを扱う - eStat（政府の統計データ掲載ペー ジ）の検索キーワードで常にトップに 位置する国勢調査を扱う - データ取得 -> データ前処理 -> 活⽤ア イデアをPythonから扱える - 書籍では紙⾯の都合上、⼀つのデータ しか扱っていないが、同じ処理⽅法で すべてのデータが扱える
33. 国勢調査はビジネスで最も使えるデータ - eStatに検索ランキングがあるが、 チェックすると⼤体１位（左は10⽉ 21⽇のスクショ） - ⽇本を分析する上で基礎となるデー タといえる - このデータからビジネスのデータ活 ⽤を拡張していける - 政府などが公開するオープンデータ には、これ以外にも様々なデータが ある。
34. 国勢調査の調査項⽬ 世帯員に関する事項 1. 氏名 2. 男女の別 3. 出生年月 4. 世帯主との続き柄 5. 配偶の関係 6. 国籍 7. 現在の住居の居住期間 8. 5年前の住居 9. 在学、卒業などの教育の状況 10. 就業状態 11. 所属企業の名称と事業の種類 12. 仕事の種類 13. 従業上の地位 14. 従業地、通学地 15. 従業地への利用交通手段 世帯に関する調査 1. 世帯の種類 2. 世帯員の数 3. 住居の種類 4. 住宅の建て方 目的： 国内の人及び世帯の実態を把握し、各種行政施策その他の基礎資料を得ることを目的とする。 調査事項: https://www.stat.go.jp/data/kokusei/2020/gaiyou.html
35. 国勢調査を位置情報とともに提供 統計地理情報システム https://www.e-stat.go.jp/gis 統計データ ＋ 境界データ （別で提供されているため、データをマージしたりする必要） - 境界データにはいくつかの粒度のデータが提供されている - ⼩地域（市町村の町丁レベル） - 1kmメッシュ - 500mメッシュ - 250mメッシュ
36. 国勢調査を位置情報とともに提供 - ⼩地域のデータ - 本書籍で扱ったもの -
37. 国勢調査を位置情報とともに提供 - 250mメッシュのデータ - 当社のプロジェクトで扱ったりする
38. 実際の話をちょっと - 弊社に実際に来るご相談を聞いていると、国勢調査のデータ＋ほかのデータと いう解決策が、最初のステップとして役⽴つことが多い。 - マーケティングの効率化は案外なされていないので、ある地域がどのような年 齢構成になっているかなどは役⽴つ情報となる。 - そのほかにも、役⽴つ情報が満載 - 位置データがあるというので、具体的にどこにどうしましょうというのは、凄 い良いデータとなる（作成いただきありがとうございます） - 活⽤＋回答をしっかりするということをやりたい - 書籍のハンズオンは当初４本の予定だったが、1本⽬で250ページほどとなっ たので、これだけに絞ることになった
39. データ分析ハンズオン
40. 書籍のハンズオンの内容 - データの準備と前処理: 66ページ分 - データ可視化（データを知るステップ）: 38 ページ分 - データ分析: 26ページ分 - 本には各⼯程ごとに、やりたいことにより前 処理を加えている - 実際の作業ではデータ分析にトライアンドエ ラーがあり、量は増えるが、データ分析の実 際の⼯程量をまぁまぁ表わせているのではな いか？
41. 今回のハンズオン実践内容 - 位置データの前処理 - インタラクティブなデータ可視化
42. 今回のハンズオン実践内容 - 位置データの前処理 - インタラクティブなデータ可視化
43. 前処理 - データを分析に使えるようにするステップ - 思いのほか⼤変‧⼤切なステップ - 気を遣う - どうなっているかよくわからない - ⼤変さはいろいろだが、分析しているといろいろデータ の形を変えたりと、必須な作業 - データによって公開されている形をとる理由もあるた め、こういうのは怒らず、そんなものと捉えるべき - 前処理の⼤変さを良く知りたい⽅は「データ分析 前処 理」で調べてみてください
44. ⾶び地に対する前処理 - 国勢調査の境界データの⾶び地の処理 - 統計データとのマージに必須 - Pythonはデータ分析に多く使われているだけあって、 前処理を容易に⾏える - https://colab.research.google.com/drive/1x53aG9 48a65LEABq4w7WcM7b5jAE4u4p?usp=sharing
45. 今回のハンズオン実践内容 - 位置データの前処理 - インタラクティブなデータ可視化
46. インタラクティブなデータ可視化 - データが多いと良く知られている折れ線グラフや棒グラ フではデータを観察してもよくわからない - 統計量だけでは、上⼿く理解できない - そのために、新たなツールが提供されている。それらを 上⼿く活⽤することで、データの理解を深めることが重 要 - 本書籍では、plotly, folium, panelなどのツールを⽤い た - https://colab.research.google.com/drive/1nKpUEY C-TY_skc9ZYfhVCafmSniwQ0Ox?usp=sharing
47. 活⽤の発展形
48. 発展的活⽤ - 国勢調査の年齢別⼈⼝以外のデータを扱う - 複数のデータを組み合わせる - ⾃社にあるデータ - そのほかのオープンデータ - データ購⼊ - Plus デジタル活⽤したビジネス展開を - 割安にできる部分もあるので、リスクヘッジしなが ら売上を上げることなども実現できる
49. まとめ
50. まとめ - ビジネスでのデータ分析はこれから必須になる - どのツールを使うかの選択肢はたくさんあるが、プログ ラミングも学んでおくと、今後の⽣成AI時代も役⽴つ - その学習に「Pythonデータ分析ハンズオンセミナー」 を使っていただけますと幸いです
51. ご清聴ありがとうございました。 弊社では受託分析、コンサルティング、 データ活⽤の研修などを⾏っています。 お問い合わせは、メール‧ウェブフォーム などからよろしくお願いいたします。 メールアドレス: info@chomoku.info コンタクトURL: https://chomoku.info/contact