20230118 kazaneya TeckTalk3 Data Standards and Open Data Initiatives by the Digital Agency of Japan

by hase-ryo

Slide 1

Slide 1 text

デジタル庁が手がける  データ標準とオープンデータ  2023-01-18  風音屋TechTalk #3  @hase-ryo 

Slide 2

Slide 2 text

この発表の目的・対象  ● この発表の目的  ○ デジタル庁が手がけるデータ標準＆オープンデータの取り組みを知ってもらうこと  ○ データ標準の意義を伝え、データ基盤やデータ・ビジネスの設計に  役立つヒントとしてもらう  ○ オープンデータ活用のきっかけを得る  ● 想定する聴衆の対象  ○ データ分析基盤に関わるデータエンジニア  ○ 社内外のデータを連携するプロダクトに関わるPdM、BizDev  ○ その他データから価値を取り出したい人全般 

Slide 3

Slide 3 text

アジェンダ  1. 自己紹介＆イントロダクション  2. デジタル庁でデータ標準を作りました  3. データ標準が必要になった背景  4. データ標準を作って得られる効果とは  5. オープンデータの現状 

Slide 4

Slide 4 text

1. 自己紹介  ● 経歴  1. インテージでデータ整備とデータ基盤   2. Webメディア等をフラフラしてデータ分析   3. メルカリでデータ分析とデータマネジメント   4. デジタル庁（週４） + メルカリ（週１）  ＆データ経営コンサル『風音屋』アドバイザー   ● 現在の業務  ○ データ戦略に基づくデータマネジメント   ○ 社会の基本的データ（ベースレジストリ）の開発   ○ デジタル庁内のデータ分析基盤立ち上げ   ○ その他オープンデータ施策など   長谷川　亮 / hase-ryo 

Slide 5

Slide 5 text

デジタル庁 =  デジタル社会を実現するための省庁  主なプロダクト・政策としては  ● マイナンバー  ● 電子署名  ● ガバメントクラウド  ● サービスデザイン  ● 新型コロナウイルス接種証明書アプリ  などなど・・  デジタル庁の紹介  トップは河野太郎デジタル大臣   毎週メッセージ配信中！  

Slide 6

Slide 6 text

最近の成果  マイナンバーカードのダッシュボード              構築・公開しました！主に基盤を担当  （GCPでBigQueryを中心に構築）  首相官邸HPにも掲載↑ 

Slide 7

Slide 7 text

今日まず話すのはこちら  政府相互運用性フレームワーク  （Government Interoperability Framework; GIF)  じー・あい・えふ 

Slide 8

Slide 8 text

まずはデータ標準についてです  https://www.meti.go.jp/policy/economy/hyojun-kijun/katsuyo/business-senryaku/pdf/001.pdf 

Slide 9

Slide 9 text

2. デジタル庁でデータ標準を作りました 

Slide 10

Slide 10 text

GIF; 政府相互運用性フレームワーク  ● データの相互運用性を高めるためデータ標準群を規定 = GIF  ● 行政間、官民間でデータ連携の  基礎パーツとなることを想定  ● githubで公開しています  https://github.com/JDA-DM/GIF 

Slide 11

Slide 11 text

GIF; 政府相互運用性フレームワークの内容を紹介①  ● 基礎的な項目をコアデータモデルとして策定  ○ 「個人」「法人」「住所」など  ● 個別の事物・事象をデータとしてモデリングする際、参考情報として利用されることを想定  https://github.com/JDA-DM/GIF/blob/main/430_コアデータモデル /md/431_core_datamodel_person.md  ID 性別氏生年月日名世帯主氏（カナ）既婚・未婚名（カナ）配偶者氏（英字）子名（英字）連絡先情報・・・・・・「個人」データモデルの項目例 

Slide 12

Slide 12 text

● 日付  ○ YYYY-MM-DD  ■ YYYY: 西暦年4桁  ■ MM: 月2桁（1桁の場合は0埋め）  ■ DD: 日2桁（1桁の場合は0埋め）  ● 曜日  ○ 月曜日を1、・・・、日曜日を7  ● 住所  ○ 都道府県  ■ 東京都  ○ 市区町村  ■ 千代田区  ○ 町字  ■ 紀尾井町  ○ 番地以下  ■ 1-2  ○ 建物名等（方書）  ■ 紀尾井町ガーデンテラス19F  GIF; 政府相互運用性フレームワークの内容を紹介②  ● 細かな記載ルールはコアデータパーツとして策定  ○ 日付や電話番号の記述形式など   ● データフォーマットのルールとして利活用されることを想定  https://github.com/JDA-DM/GIF/blob/main/440_コアデータパーツ /md/441_core_dataparts_datetime.md  コアデータパーツの記載ルールの例 

Slide 13

Slide 13 text

コアデータパーツ日付住所 GIF; 政府相互運用性フレームワークの内容を紹介③  ● 各分野に向けた実践データモデルを策定  ○ コア要素を組み合わせて構成  ○ 行政事務、教育、防災など  ● 各分野のモデリングが必要な場合に参考情報として活用  ○ 分野ごと、個別事例ごとにカスタマイズして活用する  https://github.com/JDA-DM/GIF/blob/main/410_全体説明 /md/410_overview.md  個人コアデータモデル氏名連絡先・・・性別生年月日コアデータパーツ日付住所法人コアデータモデル法人番号正社員数・・・商号組織種別実践データモデル行政 : 申請データモデル宛先申請日内容申請者・・・申請データモデルの例 

Slide 14

Slide 14 text

GIF; 政府相互運用性フレームワークの内容を紹介④  https://github.com/JDA-DM/GIF/blob/main/460_実践ガイドブック /md/468-1_guidebook_dataquality.md  ● その他ガイドブックを策定  ○ データ品質  ○ 行政向けの・・  ■ データマネジメント  ■ マスターデータ  ■ コード分類体系  ○ データ人材体系  ○ メタデータ体系  ○ などなど・・ 

Slide 15

Slide 15 text

なんでそんな地味なもの作ってるの？ 

Slide 16

Slide 16 text

3. データ標準が必要になった背景 

Slide 17

Slide 17 text

つらい現状を紹介：引越し時の転出届（例） 

Slide 18

Slide 18 text

自治体によって申請書の項目が違う！  項目名の揺れ（異動日/転出日）アパート・マンション名の有無メールアドレスの記載条件ふりがなの有無郵便番号の有無続柄の有無

Slide 19

Slide 19 text

申請・認可などの行政事務は自治体ごとに独自設計  ● 自治体ごとにシステムがある  ○ DBなども自治体ごとに設計  ○ データのフォーマットも自治体ごと  ● 自治体を跨いだデータ連携の障害に  ○ 活用が自治体内に閉じるなら問題ない   ● 標準がないことによる弊害  ◯◯県△△市オンプレ DB システムA 氏名氏名カナ住所 ××県□□市システムB 姓名住所クラウド DB 変換が必要  変換が必要 

Slide 20

Slide 20 text

● 1対1ならばデータ変換を行なう  コンバーターを介して連携可能  ● しかし自治体の数は1700以上  ○ それぞれの間にコンバーターを挟むのは現実的でない  データ連携時に相互にデータ変換を行うにも限界がある  A B C D E F

Slide 21

Slide 21 text

一方、地方業務標準化という大きな転換点が近づいている  ● 自治体が行う基幹20業務を2025年までに統一・標準化  ● システムおよびデータを統一する千載一遇のチャンス！  2025  基幹20業務住民基本台帳、戸籍、戸籍の附票、固定資産税、個人住民税、法人住民税、軽自動車税、印鑑登録、選挙人名簿管理、子ども・子育て支援、就学、児童手当、児童扶養手当、国民健康保険、国民年金、障害者福祉、後期高齢者医療、介護保険、生活保護、健康管理移行ガバメントクラウド共通基盤・機能標準仕様 IaaS、SaaS、PaaS 標準準拠アプリ https://www.digital.go.jp/policies/local_governments/ 

Slide 22

Slide 22 text

さらに、国内で行政のデータ連携が活発になる（予定）  ● 地方創生施策の一つにデータ連携基盤の構築がある  ○ デジタル田園都市国家構想  ● 地方自治体を国が支援（💰）  ● 官民相互のサービス利活用促進のインフラとする（予定）  https://www.cas.go.jp/jp/seisaku/digitaldenen/ 

Slide 23

Slide 23 text

● 標準がないことによるデータ連携時の弊害は民間企業の内でも起こる  ○ 特にマイクロサービスアーキテクチャ   ● 標準がないと各開発チーム、各サービスごとに独自規格で開発されがち  ○ 各サービス単位では問題ない  ○ 横断的なデータ連携を考えると課題に   似たようなことは企業内データ連携でも起こりうる  micro service A micro service B micro service C user_id Customer_id AccountId convert convert convert サービス間で表現が違うと、連携のたびに変換が必要  

Slide 24

Slide 24 text

結論：早めに標準を作っておかないと死ぬ  （主に我々データエンジニアが） 

Slide 25

Slide 25 text

参考：EUは相互運用性のために法律まで作る勢い  ● EUは行政のデータ基盤開発が先行  ● 欧州相互運用性フレームワーク  ○ EIF（GIFの元ネタ）  ● EIFをベースとした法律を整備  ● 欧州各国間でのデータ連携の障壁を取り除こうとしている  https://joinup.ec.europa.eu/interoperable-europe/policy 

Slide 26

Slide 26 text

4. データ標準を作って得られる効果とは 

Slide 27

Slide 27 text

相互運用性  A B C D E F Standards

Slide 28

Slide 28 text

データ標準は相互運用性を高め、データ連携に貢献するためにある  A B C D E F A B C D E F Standards データが1対1で連携  標準に従って連携  相互運用性高  低  システム結合度低  高 

Slide 29

Slide 29 text

データ連携のコストを下げる相互運用性  ● 企業内でも標準ルールに従ってデータの設計・開発を行うことでデータ連携が楽になる  ○ 連携コストDOWN↓  ○ 解釈容易性UP↑  ○ 新規開発速度UP↑  ● 後から標準にあわせるのは難しい  micro service A micro service B micro service C user_id user_id user_id 事前に標準が決まっていると連携が楽 

Slide 30

Slide 30 text

データの連携とオープンデータで情報社会の次の段階へ  ● 現在は情報社会（Society4.0）  ● 次の段階であるSociety5.0  ○ 様々なデータがオープン化  ○ それぞれが容易に連携  ○ データを活用するサービス・製品開発も容易  ○ （・・になるかもしれない）      https://www8.cao.go.jp/cstp/society5_0/ 

Slide 31

Slide 31 text

5. オープンデータの現状 

Slide 32

Slide 32 text

行政はオープンデータに積極的です  ● 官民データ活用推進基本法で国及び地方公共団体はオープンデータに取り組むことが義務付け  ● 様々な原則  ○ 府省庁が保有するデータは原則公開   ○ 二次利用ルールやライセンス付与   ○ CSVやXMLレベルの構造化データ  ○ 迅速に公開  ○ 適切に更新  https://www.digital.go.jp/resources/open_data/  府省庁自治体・二次利用可能なルール・機械判読に適した形式・無償オープンデータ

Slide 33

Slide 33 text

オープンデータを探すならまずはカタログサイトから  https://ckan.org/ ・WebUI / API ・検索・DL (Web & API) 自治体A カタログサイト自治体B カタログサイト・・・ ● オープンデータの公開場所としてカタログサイトを導入する場合が多い  ● CKANというOSSが広く採用される  ● WebUIとAPI  ○ APIでデータセット単位の検索  ○ APIでDLも可能 

Slide 34

Slide 34 text

様々なカタログサイトでデータが公開されている  ● 各自治体や府省庁でCKANベースのカタログサイトが公開  ● 他のCKANと情報連携する機能（ハーベスティング）がある  ● ハーベスティングをフル活用したデータカタログ横断検索システムがおすすめ  https://search.ckan.jp/ データカタログ横断検索システム   DATA.GO.JPデータカタログサイト   https://www.data.go.jp/data/dataset レジストリカタログサイト   https://catalog.registries.digital.go.jp/ TOKYO OPEN DATA  https://portal.data.metro.tokyo.lg.jp/

Slide 35

Slide 35 text

そんなオープンデータ提供者の実際は・・ 

Slide 36

Slide 36 text

活用事例求ム！ 

Slide 37

Slide 37 text

すべてのオープンデータ提供者は活用事例を求めている  ● 事例の少なさによる負のサイクル  ○ 整備作業の負担  ○ 優先度の低下  ○ 量・質の担保停止  ○ （利用者側では）クレンジングの手間やデータ品質の低下  ● オープンデータ100と題して活用事例を募集中！  ○ 事業者や自治体による事例紹介する企画  https://form-www.digital.go.jp/resources/open_data/case_study_contact

Slide 38

Slide 38 text

オープンデータ ✖ データ標準 = Linked Dataという未来  ● データをグラフ構造で表現するRDF（Resource Description Framework）という仕組みがある  ● RDFで記述されたデータは機械可読性が高い   ○ データとその定義（標準含む）がオープンになっている前提  ○ ネットワーク経由で全ての定義がわかる   ○ 項目間の関係性もわかる  ● オープンデータの行き着く先はRDF形式の公開データ = Linked Dataと言われる  リソースA 文字列α リソースB プロパティ①  リソースC プロパティ②  プロパティ③  定義

Slide 39

Slide 39 text

最後に宣伝です  デジタル庁  中途採用やってます！  https://herp.careers/v1/digitalsaiyo   

Slide 40

Slide 40 text

Thank you!!! 