Share
Embed
Transcript
22 slides
-
目次 自 己 紹 介 1 . オ ー プ
ン デ ー タ に つ い て 2 . デ ー タ 可 視 化 の 目 的 ・ 概 要 3 . 可 視 化 ・ 分 析 内 容 の 紹 介 4 . -
北 海 道 札 幌 市 出 身 2 0
1 8 年 東 京 の 大 手 S I e r 就 職 → 2 0 2 1 年 U タ ー ン し 市 内 の S I e r に 転 職 C D L E 北 海 道 発 起 人 ・ リ ー ダ ー J D L A 認 定 資 格 G 検 定 2 0 1 9 # 1 取 得 E 資 格 2 0 2 4 # 1 取 得 札 幌 A I 道 場 第 3 期 門 下 生 X : @ y e b i b a n _ 蝦名 優希 -
国 、 地 方 公 共 団 体 及 び
事 業 者 が 保 有 す る 官 民 デ ー タ の う ち 、 国 民 誰 も が イ ン タ ー ネ ッ ト 等 を 通 じ て 容 易 に 利 用 ( 加 工 、 編 集 、 再 配 布 等 ) で き る よ う 、 次 の い ず れ の 項 目 に も 該 当 す る 形 で 公 開 さ れ た デ ー タ を オ ー プ ン デ ー タ と 定 義 す る 。 ① 営 利 目 的 、 非 営 利 目 的 を 問 わ ず 二 次 利 用 可 能 な ル ー ル が 適 用 さ れ た も の ② 機 械 判 読 に 適 し た も の ③ 無 償 で 利 用 で き る も の 参 考 : デ ジ タ ル 庁 「 オ ー プ ン デ ー タ 基 本 指 針 」 オープンデータとは? -
オープンデータの例 国 ・ 自 治 体 の オ ー プ
ン デ ー タ e - S t a t ( 総 務 省 統 計 局 が 提 供 す る 日 本 の 政 府 統 計 デ ー タ を 掲 載 ) R E S U S ( 地 域 経 済 や 産 業 動 向 を 可 視 化 す る 政 府 提 供 の ツ ー ル ) 北 海 道 オ ー プ ン デ ー タ ポ ー タ ル ( 北 海 道 の 各 自 治 体 が 提 供 す る オ ー プ ン デ ー タ を 掲 載 ) D A T A S M A R T C I T Y S A P P O R O ( 札 幌 市 が 提 供 す る オ ー プ ン デ ー タ を 掲 載 ) 分 野 別 の オ ー プ ン デ ー タ 国 土 数 値 ダ ウ ン ロ ー ド サ イ ト ( 地 形 、 土 地 利 用 、 公 共 施 設 な ど の 国 土 に 関 す る 情 報 を 提 供 ) 気 象 庁 デ ー タ ( 天 気 予 報 、 気 温 、 降 水 量 、 台 風 、 地 震 な ど の デ ー タ を 取 得 可 能 ) 海 外 の オ ー プ ン デ ー タ W o r l d B a n k O p e n D a t a ( 世 界 銀 行 が 提 供 す る 各 国 の 経 済 指 標 デ ー タ ) E U O p e n D a t a P o r t a l ( 統 計 、 研 究 、 環 境 、 公 共 サ ー ビ ス の デ ー タ が 利 用 可 能 ) 他にもたくさんの オープンデータがあります -
マ ー ケ テ ィ ン グ に 活 用
福 井 県 で は 博 物 館 予 約 状 況 や 宿 泊 予 約 状 況 、 観 光 サ イ ト の ア ク セ ス デ ー タ を 公 開 観 光 客 の 動 向 を 把 握 し プ ロ モ ー シ ョ ン に 利 用 市 民 向 け の ア プ リ 開 発 伊 豆 箱 根 バ ス の リ ア ル タ イ ム デ ー タ を オ ー プ ン デ ー タ 化 リ ア ル タ イ ム 位 置 情 報 を G o o g l e マ ッ プ で 利 用 可 能 に オープンデータの活用事例 住 民 の 利 便 性 向 上 観 光 の 活 性 化 防 災 ・ 都 市 計 画 防 災 リ ス ク を 理 解 し 防 災 施 策 に 活 用 厚 木 市 は 3 D 都 市 モ デ ル と 洪 水 浸 水 想 定 区 域 や 土 砂 災 害 警 戒 区 域 、 震 度 分 布 図 な ど の デ ー タ を 活 用 3 D ハ ザ ー ド マ ッ プ を オ ー プ ン デ ー タ と し て 公 開 (出典:あつぎ3Dデジタルマップ) (出典:GTFSリアルタイムデータのオ ープンデータ化とリアルタイム位置情報 のGoogleマップへの掲載について) (出典:福井県観光データ分析システム 「FTAS」 ) -
収集 前処理 分析 可視化 意思決定 データ活用の流れ データのダウンロード APIによる取得 クレンジング 整形
傾向分析 異常値の発見 統計解析 機械学習 レポート ダッシュボード -
情 報 を 直 感 的 に 理 解 で
き る 数 値 の 羅 列 よ り も グ ラ フ や マ ッ プ な ど の 視 覚 的 表 現 の ほ う が 理 解 し や す く な る 異 常 値 や ト レ ン ド の 発 見 が 容 易 に な る 大 量 の デ ー タ の 中 に 含 ま れ る パ タ ー ン や 異 常 値 を 見 つ け や す く な る 迅 速 で 正 確 な 意 思 決 定 を サ ポ ー ト 可 視 化 す る こ と で 、 状 況 を 的 確 に 把 握 し 、 ス ピ ー デ ィ ー な 意 思 決 定 が 可 能 に な る デ ー タ の 説 得 力 を 高 め 、 共 有 を 円 滑 に す る プ レ ゼ ン や 報 告 書 で 視 覚 的 な 要 素 を 取 り 入 れ る と 、 デ ー タ の 説 得 力 が 増 し 、 意 思 決 定 者 や 関 係 者 と の コ ミ ュ ニ ケ ー シ ョ ン も ス ム ー ズ に な る データ可視化の目的 -
一般的なツールを利用 (Excel、スプレッドシート等) BIツールを利用 (Tableau、Power BI等) コードを書く (Python、JavaScript等) 難易度 低 中
中〜高 特徴 手軽にグラフを作成 少量のデータを素早く可 視化 データの概要把握など、 簡単な分析 データベースと接続し動 的に分析 大規模なデータ分析 時系列分析や異常検知な ど高度な分析 自由度の高い分析 JavaScript:ダッシュボ ードなどWeb向けの可視 化 Python:機械学習結果の 可視化など高度な分析 データ可視化の方法 ハンズオンで利用 -
環 境 以 下 の ど ち ら か ロ
ー カ ル ( 自 分 の P C ) で 実 行 ク ラ ウ ド サ ー ビ ス ( G o o g l e C o r a b o l a t o r y な ど ) で 実 行 ラ イ ブ ラ リ の 利 用 計 算 や グ ラ フ 描 画 を 行 う た め の ラ イ ブ ラ リ を イ ン ポ ー ト し て 利 用 す る P a n d a s : 表 形 式 の デ ー タ を 扱 う N u m p y : 数 値 計 算 を 高 速 に 行 う M a t p l o t l i b 、 S e a b o r n : グ ラ フ や 図 を 描 画 S c i k i t - l e a r n : 機 械 学 習 を 行 う Pythonの使い方 -
デ ー タ の 傾 向 ・ 比 較 ・
構 成 を 可 視 化 データ可視化の例(1/5) 折 れ 線 グ ラ フ 円 グ ラ フ 時系列データの変化 (例:12月の日ごとの入場者数の推移) 棒 グ ラ フ カテゴリデータの比較 (例:12/1の有料入園者と 無料入園者数の比較) 全体に対する割合 (例:無料入園者に占める属性の割合) -
外れ値 デ ー タ の 分 布 を 可 視
化 す る データ可視化の例(2/5) ヒ ス ト グ ラ ム 箱 ひ げ 図 データの分布の形 (2024年の1日の総入場者数の分布) データのばらつき (2024年の1日の総入場者数の分布) -
デ ー タ の 分 布 を 可 視 化
す る データ可視化の例(2/5) GWが最多! -
2 つ の 変 数 の 相 関 ( ※
) を 可 視 化 す る データ可視化の例(3/5) 散 布 図 ヒ ー ト マ ッ プ 変数の関係を個々のデータで確認 (総入場者と幼児、総入場者と中学生の関係) 相関や傾向を大まかに把握 (各変数間の相関係数) ※相関:一方が変化すれば他方も 変化するように相互に 関係し合うこと -
テ ー ブ ル デ ー タ 以 外 の
デ ー タ 可 視 化 データ可視化の例(4/5) 言 語 デ ー タ 地 理 デ ー タ 例:ワードクラウド データ:SixTONES YouTubeのコメント 例:札幌市のヒグマ出没場所 データ:2024年 札幌市内のヒグマ出没情報 -
【 発 展 】 時 系 列 デ ー タ
の 分 析 の 注 意 点 データ可視化の例(5/5) トレンド(長期的な変化の傾向)や季節性(定期的に繰り返されるパターン)を把握する →移動平均(データのノイズを取り除き、全体の傾向を見やすくする)を活用 ラグ(過去のデータと現在のデータの関係)を確認 (例)1週間前のデータと今日のデータが似ているか? →自己相関があるかどうかを確認できる 自己相関(現在の値の過去の値の相関をはかる指標)を考慮する →季節性などの傾向をふまえた(=ランダム値としてではない)予測を行える モデルを選定して学習を行う