Upgrade to Pro — share decks privately, control downloads, hide ads and more …

20230118 kazaneya TeckTalk3 Data Standards and Open Data Initiatives by the Digital Agency of Japan

hase-ryo
January 18, 2023

20230118 kazaneya TeckTalk3 Data Standards and Open Data Initiatives by the Digital Agency of Japan

デジタル庁が手がけるデータ標準「政府相互運用性フレームワーク(Government Interoperability Framework; GIF)」およびオープンデータ施策についての紹介資料です。

風音屋TeckTalk #3「デジタル庁のデータ標準やオープンデータの民間活用を考えよう」にて発表
https://kazaneya.connpass.com/event/266205/

hase-ryo

January 18, 2023
Tweet

More Decks by hase-ryo

Other Decks in Business

Transcript

  1. デジタル庁が手がける

    データ標準とオープンデータ

    2023-01-18

    風音屋TechTalk #3

    @hase-ryo


    View full-size slide

  2. この発表の目的・対象

    ● この発表の目的

    ○ デジタル庁が手がけるデータ標準&オープンデータの取り組みを知ってもらう
    こと

    ○ データ標準の意義を伝え、データ基盤やデータ・ビジネスの設計に

    役立つヒントとしてもらう

    ○ オープンデータ活用のきっかけを得る

    ● 想定する聴衆の対象

    ○ データ分析基盤に関わるデータエンジニア

    ○ 社内外のデータを連携するプロダクトに関わるPdM、BizDev

    ○ その他データから価値を取り出したい人全般


    View full-size slide

  3. アジェンダ

    1. 自己紹介&イントロダクション

    2. デジタル庁でデータ標準を作りました

    3. データ標準が必要になった背景

    4. データ標準を作って得られる効果とは

    5. オープンデータの現状


    View full-size slide

  4. 1. 自己紹介

    ● 経歴

    1. インテージでデータ整備とデータ基盤 

    2. Webメディア等をフラフラしてデータ分析 

    3. メルカリでデータ分析とデータマネジメント 

    4. デジタル庁(週4) + メルカリ(週1)

    &データ経営コンサル『風音屋』アドバイザー 

    ● 現在の業務

    ○ データ戦略に基づくデータマネジメント 

    ○ 社会の基本的データ(ベースレジストリ)の開発 

    ○ デジタル庁内のデータ分析基盤立ち上げ 

    ○ その他オープンデータ施策など 

    長谷川 亮 / hase-ryo


    View full-size slide

  5. デジタル庁 =

    デジタル社会を実現するための省庁

    主なプロダクト・政策としては

    ● マイナンバー

    ● 電子署名

    ● ガバメントクラウド

    ● サービスデザイン

    ● 新型コロナウイルス接種証明書アプリ

    などなど・・

    デジタル庁の紹介

    トップは河野太郎デジタル大臣 

    毎週メッセージ配信中! 


    View full-size slide

  6. 最近の成果

    マイナンバーカードのダッシュボード







    構築・公開しました!主に基盤を担当

    (GCPでBigQueryを中心に構築)
 首相官邸HPにも掲載↑


    View full-size slide

  7. 今日まず話すのはこちら

    政府相互運用性フレームワーク

    (Government Interoperability Framework; GIF)

    じー・あい・えふ


    View full-size slide

  8. まずはデータ標準についてです

    https://www.meti.go.jp/policy/economy/hyojun-kijun/katsuyo/business-senryaku/pdf/001.pdf


    View full-size slide

  9. 2. デジタル庁でデータ標準を作りました


    View full-size slide

  10. GIF; 政府相互運用性フレームワーク

    ● データの相互運用性を高めるため
    データ標準群を規定 = GIF

    ● 行政間、官民間でデータ連携の

    基礎パーツとなることを想定

    ● githubで公開しています

    https://github.com/JDA-DM/GIF


    View full-size slide

  11. GIF; 政府相互運用性フレームワークの内容を紹介①

    ● 基礎的な項目をコアデータモデルとして
    策定

    ○ 「個人」「法人」「住所」など

    ● 個別の事物・事象をデータとしてモデリ
    ングする際、参考情報として利用される
    ことを想定

    https://github.com/JDA-DM/GIF/blob/main/430_コアデータモデル
    /md/431_core_datamodel_person.md

    ID 性別
    氏 生年月日
    名 世帯主
    氏(カナ) 既婚・未婚
    名(カナ) 配偶者
    氏(英字) 子
    名(英字) 連絡先情報
    ・・・ ・・・
    「個人」データモデルの項目例


    View full-size slide

  12. ● 日付

    ○ YYYY-MM-DD

    ■ YYYY: 西暦年4桁

    ■ MM: 月2桁(1桁の場合は0埋め)

    ■ DD: 日2桁(1桁の場合は0埋め)

    ● 曜日

    ○ 月曜日を1、・・・、日曜日を7

    ● 住所

    ○ 都道府県

    ■ 東京都

    ○ 市区町村

    ■ 千代田区

    ○ 町字

    ■ 紀尾井町

    ○ 番地以下

    ■ 1-2

    ○ 建物名等(方書)

    ■ 紀尾井町ガーデンテラス19F

    GIF; 政府相互運用性フレームワークの内容を紹介②

    ● 細かな記載ルールはコアデータパーツ
    として策定

    ○ 日付や電話番号の記述形式など

    ● データフォーマットのルールとして利活
    用されることを想定

    https://github.com/JDA-DM/GIF/blob/main/440_コアデータパーツ
    /md/441_core_dataparts_datetime.md

    コアデータパーツの記載ルールの例


    View full-size slide

  13. コアデータパーツ
    日付 住所
    GIF; 政府相互運用性フレームワークの内容を紹介③

    ● 各分野に向けた実践データモデル
    を策定

    ○ コア要素を組み合わせて構成

    ○ 行政事務、教育、防災など

    ● 各分野のモデリングが必要な場合
    に参考情報として活用

    ○ 分野ごと、個別事例ごとにカスタマ
    イズして活用する

    https://github.com/JDA-DM/GIF/blob/main/410_全体説明
    /md/410_overview.md

    個人コアデータモデル
    氏 名
    連絡先
    ・・・
    性別
    生年月日
    コアデータパーツ
    日付 住所
    法人コアデータモデル
    法人番号
    正社員数
    ・・・
    商号
    組織種別
    実践データモデル行政
    : 申請データモデル
    宛先 申請日 内容 申請者 ・・・
    申請データモデルの例


    View full-size slide

  14. GIF; 政府相互運用性フレームワークの内容を紹介④

    https://github.com/JDA-DM/GIF/blob/main/460_実践ガイドブック
    /md/468-1_guidebook_dataquality.md

    ● その他ガイドブックを策定

    ○ データ品質

    ○ 行政向けの・・

    ■ データマネジメント

    ■ マスターデータ

    ■ コード分類体系

    ○ データ人材体系

    ○ メタデータ体系

    ○ などなど・・


    View full-size slide

  15. なんでそんな地味なもの作ってるの?


    View full-size slide

  16. 3. データ標準が必要になった背景


    View full-size slide

  17. つらい現状を紹介:引越し時の転出届(例)


    View full-size slide

  18. 自治体によって申請書の項目が違う!

    項目名の揺れ
    (異動日/転出日)
    アパート・
    マンション名の有無
    メールアドレスの
    記載条件
    ふりがなの有無
    郵便番号の有無
    続柄の有無

    View full-size slide

  19. 申請・認可などの行政事務は自治体ごとに独自設計

    ● 自治体ごとにシステムがある

    ○ DBなども自治体ごとに設計

    ○ データのフォーマットも自治体ごと

    ● 自治体を跨いだデータ連携の障害に

    ○ 活用が自治体内に閉じるなら問題ない

    ● 標準がないことによる弊害

    ◯◯県△△市
    オンプレ
    DB
    システムA
    氏名
    氏名カナ
    住所 ××県□□市
    システムB
    姓名
    住所
    クラウド
    DB
    変換が必要

    変換が必要


    View full-size slide

  20. ● 1対1ならばデータ変換を行なう

    コンバーターを介して連携可能

    ● しかし自治体の数は1700以上

    ○ それぞれの間にコンバーターを挟む
    のは現実的でない

    データ連携時に相互にデータ変換を行うにも限界がある

    A
    B
    C
    D
    E
    F

    View full-size slide

  21. 一方、地方業務標準化という大きな転換点が近づいている

    ● 自治体が行う基幹20業務を2025年
    までに統一・標準化

    ● システムおよびデータを統一する千
    載一遇のチャンス!

    2025

    基幹20業務
    住民基本台帳、戸籍、戸籍の附
    票、固定資産税、個人住民税、法
    人住民税、軽自動車税、印鑑登
    録、選挙人名簿管理、子ども・子
    育て支援、就学、 児童手当、児童
    扶養手当、国民健康保険、 国民
    年金、障害者福祉、後期高齢者
    医療、介護保険、生活保護、健康
    管理
    移行
    ガバメントクラウド
    共通基盤・機能
    標準仕様
    IaaS、SaaS、PaaS
    標準準拠アプリ
    https://www.digital.go.jp/policies/local_governments/


    View full-size slide

  22. さらに、国内で行政のデータ連携が活発になる(予定)

    ● 地方創生施策の一つにデータ
    連携基盤の構築がある

    ○ デジタル田園都市国家構想

    ● 地方自治体を国が支援(💰)

    ● 官民相互のサービス利活用促
    進のインフラとする(予定)

    https://www.cas.go.jp/jp/seisaku/digitaldenen/


    View full-size slide

  23. ● 標準がないことによるデータ連携時の弊
    害は民間企業の内でも起こる

    ○ 特にマイクロサービスアーキテクチャ

    ● 標準がないと各開発チーム、各サービス
    ごとに独自規格で開発されがち

    ○ 各サービス単位では問題ない

    ○ 横断的なデータ連携を考えると課題に

    似たようなことは企業内データ連携でも起こりうる

    micro service A
    micro service B
    micro service C
    user_id
    Customer_id
    AccountId
    convert
    convert
    convert
    サービス間で表現が違うと、連携のたびに変換が必要 


    View full-size slide

  24. 結論:早めに標準を作っておかないと死ぬ

    (主に我々データエンジニアが)


    View full-size slide

  25. 参考:EUは相互運用性のために法律まで作る勢い

    ● EUは行政のデータ基盤開発が先行

    ● 欧州相互運用性フレームワーク

    ○ EIF(GIFの元ネタ)

    ● EIFをベースとした法律を整備

    ● 欧州各国間でのデータ連携の障壁を
    取り除こうとしている

    https://joinup.ec.europa.eu/interoperable-europe/policy


    View full-size slide

  26. 4. データ標準を作って得られる効果とは


    View full-size slide

  27. 相互運用性

    A
    B
    C
    D
    E
    F
    Standards

    View full-size slide

  28. データ標準は相互運用性を高め、データ連携に貢献するためにある

    A
    B
    C
    D
    E
    F
    A
    B
    C
    D
    E
    F
    Standards
    データが1対1で連携
 標準に従って連携

    相互運用性 高

    低

    システム結合度 低

    高


    View full-size slide

  29. データ連携のコストを下げる相互運用性

    ● 企業内でも標準ルールに従ってデー
    タの設計・開発を行うことでデータ連
    携が楽になる

    ○ 連携コストDOWN↓

    ○ 解釈容易性UP↑

    ○ 新規開発速度UP↑

    ● 後から標準にあわせるのは難しい

    micro service A
    micro service B
    micro service C
    user_id
    user_id
    user_id
    事前に標準が決まっていると連携が楽


    View full-size slide

  30. データの連携とオープンデータで情報社会の次の段階へ

    ● 現在は情報社会(Society4.0)

    ● 次の段階であるSociety5.0

    ○ 様々なデータがオープン化

    ○ それぞれが容易に連携

    ○ データを活用するサービス・製品開発
    も容易

    ○ (・・になるかもしれない)



    https://www8.cao.go.jp/cstp/society5_0/


    View full-size slide

  31. 5. オープンデータの現状


    View full-size slide

  32. 行政はオープンデータに積極的です

    ● 官民データ活用推進基本法で国及び地方公
    共団体はオープンデータに取り組むことが義
    務付け

    ● 様々な原則

    ○ 府省庁が保有するデータは原則公開

    ○ 二次利用ルールやライセンス付与

    ○ CSVやXMLレベルの構造化データ

    ○ 迅速に公開

    ○ 適切に更新

    https://www.digital.go.jp/resources/open_data/

    府省庁
    自治体
    ・二次利用可能なルール
    ・機械判読に適した形式
    ・無償
    オープンデータ

    View full-size slide

  33. オープンデータを探すならまずはカタログサイトから

    https://ckan.org/
    ・WebUI / API
    ・検索
    ・DL (Web & API)
    自治体A
    カタログサイト
    自治体B
    カタログサイト
    ・・・
    ● オープンデータの公開場所としてカタ
    ログサイトを導入する場合が多い

    ● CKANというOSSが広く採用される

    ● WebUIとAPI

    ○ APIでデータセット単位の検索

    ○ APIでDLも可能


    View full-size slide

  34. 様々なカタログサイトでデータが公開されている

    ● 各自治体や府省庁でCKANベースの
    カタログサイトが公開

    ● 他のCKANと情報連携する機能(ハー
    ベスティング)がある

    ● ハーベスティングをフル活用したデー
    タカタログ横断検索システムがおすす
    め

    https://search.ckan.jp/
    データカタログ横断検索システム

    DATA.GO.JPデータカタログサイト 

    https://www.data.go.jp/data/dataset
    レジストリカタログサイト 

    https://catalog.registries.digital.go.jp/
    TOKYO OPEN DATA

    https://portal.data.metro.tokyo.lg.jp/

    View full-size slide

  35. そんなオープンデータ提供者の実際は・・


    View full-size slide

  36. 活用事例求ム!


    View full-size slide

  37. すべてのオープンデータ提供者は活用事例を求めている

    ● 事例の少なさによる負のサイクル

    ○ 整備作業の負担

    ○ 優先度の低下

    ○ 量・質の担保停止

    ○ (利用者側では)クレンジングの手間
    やデータ品質の低下

    ● オープンデータ100と題して活用事例を募
    集中!

    ○ 事業者や自治体による事例紹介する
    企画

    https://form-www.digital.go.jp/resources/open_data/case_study_contact

    View full-size slide

  38. オープンデータ ✖ データ標準 = Linked Dataという未来

    ● データをグラフ構造で表現するRDF(Resource
    Description Framework)という仕組みがある

    ● RDFで記述されたデータは機械可読性が高い

    ○ データとその定義(標準含む)がオープンになっ
    ている前提

    ○ ネットワーク経由で全ての定義がわかる

    ○ 項目間の関係性もわかる

    ● オープンデータの行き着く先はRDF形式の公開デー
    タ = Linked Dataと言われる

    リソースA
    文字列α
    リソースB
    プロパティ①

    リソースC
    プロパティ②

    プロパティ③

    定義

    View full-size slide

  39. 最後に宣伝です

    デジタル庁

    中途採用やってます!

    https://herp.careers/v1/digitalsaiyo


    View full-size slide

  40. Thank you!!!


    View full-size slide