オープンデータ活用奮戦記

この資料は、2025年2月7日 東京都オープンデータコミュニティ 第4回イベントで講演させて頂いた内容です。

Transcript

1. オープンデータ活用奮戦記 東京都オープンデータコミュニティ 2024年度 第4回イベント 2025年2月7日(金) @TiB もりたひろあき
2. たくさんの貴重なオープンデータを公開して下さり 大変ありがとうございます 毎日のように利用させて頂いております 本日は お願いがあって参りました 耳の痛い話もあるかと思いますが 私のたってのお願い 聞いて下さい 東京都、各自治体の皆様へ
3. オープンデータを もっと使い易くしたい 本日お話ししたいこと
4. オープンデータをもっと使い易くしたい そんな話は何回も話してるし 聞いてはいますが 何を改善して欲しいのか？ 具体例で示させて頂きます 本日お話ししたいこと
5. 名前： もりたひろあき 仕事： 合同会社フォレストフィールド CEO データ基盤構築～データ可視化まで 職歴： NIKE → J&J → ADASTRIA → C&R → 独立 その他： Tableau Ambassador 2023 – 2025 Tableau PREP ユーザー会幹事 Team VIZZIES 3.0 “オープンデータスゴイ” 自己紹介 都知事杯オープンデータハッカソン オープンデータ可視化イベント 山口県オープンデータ可視化チャレンジ
6. 国勢調査は、我が国に住んでいるすべての人と世帯を対象 とする国の最も重要な統計調査です。 国勢調査から得られる様々な統計は、国や地方公共団体の政治・行政 において利用されることはもとより、民間企業や研究機関 でも広く利用され、そのような利用を通じて国民生活に役立てられ ています。 「すごい」を「SUGOI」へ 2025年は どんな年？
7. 東京都の人口を調べたい • 少子高齢化の進みを具体的な数字で知りたい 特定の地域(区市町村) で特異な事象は起こっていないか？ • 外国人の人口推移が気になっている 人口減少は起こってると思うが外国人は増えているはず • 人口の動態（東京⇔地方）を分析したい 増減の要因が知りたい。転入、転出、出生、死亡。 …などなど
8. オープンデータカタログサイトを見てみよう！ • 「人口」で検索したら 1,354件のデータ セットが見つかりました • 東京都総務局でフィルターしても 896件 • 私が欲しい人口データは どれ？ （フィルターをかけながら、スクロールしながら探す） • 住民基本台帳 令和６年９月が最新かぁ．．． （そんなことはないはずだ）
9. 『東京都の統計』 現在の東京都の人口は 14百万人であることはすぐに解った 「分野から探す」 ここを見ればいいんだな！ https://www.toukei.metro.tokyo.lg.jp/
10. 昔 今 『東京都の統計』 そう言えば、このサイト昔見た時より カッコよくなってるぞ！
11. 『東京都の統計』人口・世帯 総計が一目で判るのは とても良い 先ずは概要のPDF 見てみるか… 最新から１２か月ローリングで 一覧になってるといいんだけど
12. 『東京都の統計』
13. 大変ありがたいのだが 知りたいのはそういうことじゃない 年代別や性別の動向や増減要因、 外国人の動向が知りたいんだよな グラフや表は他の資料に挿入したいので 自分で作りたい（データが欲しい） 『東京都の統計』
14. 闘いが始まった
15. 私の欲しいデータはどこにあるか？ • 少子高齢化の進みを具体的な数字で知りたい 地域別、年代別、性別に（できれば年齢別に） • 外国籍者の人口推移が気になっている 日本人／外国人別に（できれば国籍別に） • 人口の動態（東京⇔地方）を分析したい 人口の増減要因別に（転入、転出、出生、死亡） これらを時系列で推移、変化が知りたい
16. 私の欲しいデータはどこにあるか？ 年月：12 区市町村数: 62 性別：2 年代：10 国籍：100 1年間で 12 x 62 x 2 x 10 x 100 = 1,488,000 行 10年分でも 15百万行 データベースに 取り込んじゃえば パソコンでも 何ら問題なかろう… 転入・転出は、どこから、どこへが判ると、 さらに深い分析が出来るかな…
17. 東京都の人口（推計）令和７年１月 年月： 〇 区市町村: 〇 性別： 〇 年代： ✕ 国籍： ✕ これじゃちょっと物足りない…
18. 住民基本台帳による世帯と人口（日本人及び外国人） 年月： 〇 区市町村: 〇 性別： 〇 年代： ✕ 国籍： 日本人／外国人 人口総数がさっきの数字と違う… 東京都の人口の推計は、最新の国勢調査をもとに、毎月1日現在で 各区市町村から報告される住民基本台帳に基づく人口変動要素（出 生、死亡、転入及び転出）を加除して推計しています。
19. 外国人の人口 年月： ✕（年ごと） 区市町村: 〇 性別： ✕（総計のみ） 年代： ✕ 国籍： 〇（197か国） 国籍別は一旦あきらめる… 時系列推移を見てみたが… 国名が変わったり、分裂・統合が あったり、名寄せが大変だった。 象牙海岸国 → コートジボワール
20. 色々な集計があって見れば見るほど解らなくなった…
21. ない 個々の属性集計は存在するが 襷に短し帯に長し… 人口データは簡単じゃなかった…
22. 人口統計
23. 人口統計 年月、区市町村、性別、年代(年齢)、国籍(日本/外国)、 全てを網羅した集計は存在しませんでした。
24. 人口統計 東京都の人口には４種類の数字があることが判った
25. 人口統計 住民基本台帳人口の前年差 と 推計人口補正前の前年差は 2015年以降同じ（2016年だけ不一致: 国勢調査補正値含む） 2022年以降は推計人口補正後の前年差も住民基本台帳人口の前年差 と一致
26. データを取得してみた 前年差 = 人口増減 は、月別、区市町村別、日本人／外国人別に、 出生数、死亡数、転入数、転出数が入手可能！
27. 人口の動き（加工・整形前）
28. 人口の動き（加工・整形前）
29. 人口の動き（加工・整形前） ・80個のCSVファイルをダウンロード ・2013年以前と以降で一部の表番号(ファイル名)が異なる ・合計・小計行が存在 ・「月」が列になっている ・ファイルをユニオン統合しないといけない ・行ヘッダー作成（増減理由、年、月）しないといけない
30. 人口の動き（Tableau Prep で加工・整形作業） 表種類ごとに統合 合計・小計削除 ピボット（月：列→行） フィールド削除・追加 統合（ユニオン） 計算など
31. 人口の動き（加工・整形後）
32. 人口の動き（加工・整形後） ・CSVファイルはクロス集計しないで下さい。 今回の場合「月」は行にして下さい。 ・ファイル名(表番号)の体系は統一して下さい。 ・合計・小計行は削除して下さい。 ・明細から積み上がらない場合は属性を「不明」とするなり、 小計・合計と合致するよう数値を補完して下さい。 ・CSVファイルを分割する時は、統合が可能なように、 「年」「増減理由」などを行ヘッダーに付して下さい。
33. 人口の動き（加工・整形後）
34. 人口の動き（加工・整形後） 最初からこれだけあればいい 本当はこれを 性別、年齢（年代別）にして欲しい
35. 現状出来るのはここまで…
36. 可視化の例 (Tableauで可視化してみました)
37. まとめ
38. 東京都の人口を調べみて思ったこと ビッグデータという言葉が世に生まれてから約１５年が経過しま した。もはや死語となり、それは世の中に確実に浸透し、当り前 になった証と言えます。データクラウド、各種分析ツールの発展 と共に、データやデジタル技術を活用し組織、文化、風土をも変 革するDXの時代が到来しました。 厳しい言葉を言うと、オープンデータは、ビッグデータに成り得 ていない。データ、情報を懸命に探さないと見つからない時代で はなく、容易に、迅速に、誰もが（そのためのリテラシー向上は 必要）、活用出来るオープンデータを目指して、今後の改善、改 革が進むことを期待し、望んでいます。
39. 東京都の人口を調べみて思ったこと デジタル・トランスフォーメーション 企業がビジネス環境の激しい変化に対応し、データとデジタル技術を活用し て、顧客や社会のニーズを基に、製品やサービス、ビジネスモデルを変革す るとともに、業務そのものや、組織、プロセス、企業文化・風土を変革し、 競争上の優位性を確立すること。 経済産業省 国、及び各自治体が社会環境の激しい変化に対応し、データとデジタル技術 を活用して、市民や社会のニーズを基に、公共政策や公共サービス、ビジネ スモデルを変革するとともに、業務そのものや、組織、プロセス、日本の文 化・風土を変革し、諸外国からの優位性を確立すること。
40. オープンデータの活用を広げるために オープンデータの 変革を期待しています 利用者の皆さんの声が欲しいです
41. https://www.toukei.metr o.tokyo.lg.jp/jugoki/2016 /ju16q20003.pdf
42. https://www.toukei.metro.tokyo.lg.jp/jsuike i/2010-2015/js160d0000.pdf