メタデータ・マネジメント入門 / 20221205

@ 2022 Quollio Technologies, Inc. All rights reserved. Security level: Quollio Confidential
〜データの情報を、適切かつ効率的に管理する。
1
メタデータ・マネジメント入門
株式会社 Quollio Technologies　代表取締役CEO 松元亮太
2022年12月5日風音屋TechTalk#1 発表資料

View Slide

免責・注意事項
2
WEBに公開済みです
撮影やメモは不要です。リラックスして聞いていただければと思います。
ダミー情報を交えています
ケーススタディは複数企業の事例を踏まえたダミー情報です。
特定企業の情報公開や賞賛・批判を意図するものではありません。
用語やツールの紹介は厳密ではありません
ご自身や所属チームでの理解・解釈が紹介内容と異なる場合は、適宜読み替えていただけると幸いです。

View Slide

目次
3
■ 冒頭
- 会社・自己紹介
■ 本題
- メタデータの価値と意義
- データカタログ
- メタデータ管理の運用課題
- 国内ケーススタディ
- 海外の最新トレンド
■ トークセッション

View Slide

Quollio 会社概要
4
メタデータ管理SaaS「Quollio Data Catalog」を開発・提供しています。
商号株式会社 Quollio Technologies
代表代表取締役CEO　松元亮太
事業内容データガバナンス・データカタログツールの開発・販売
資本金 53,000,000 円（資本準備金を含む）
設立 2021 年 8月
株主経営株主、インキュベイトファンド株式会社
HP https://quollio.com
https://incubatefund.com/
主要投資先：Bitflyer, Sansan, Cyboze, Medley, Coincheck他

View Slide

発表者の自己紹介
5
松元亮太（株式会社Quollio Technologies 代表取締役 CEO）
＜経歴＞
■ KPMG（あずさ監査法人 <> KPMG Ignition Tokyo）
- 監査データ分析、全社データ活用推進、グローバルデジタル戦略
■ データカタログSaaSを扱うQuollioを設立、代表取締役を務める。
- 創業メンバーの出身は、KPMG、classmethod、Hennge、Mudah.my、Saloodo!等
- Incubate Fund から 5,000万円の調達（2021年）
https://www.nikkei.com/article/DGXZQOUC279BT0X21C21A2000000/
- Incubate Camp 15th 総合4位（2022年）
https://jp-startup.jp/articles/3261/
＜記事＞
■ 「アクティブメタデータの所感」 https://note.com/rytmq/n/nafae35620968
Twitter https://twitter.com/rytmw

View Slide

想定する聞き手
6
主な対象
■ エンタープライズ企業のデータ・デジタル・ITの統括部門の方
■ エンタープライズ企業でメタデータ管理に携わる予定、携わっている方
■ その他、大企業におけるメタデータ管理に興味を持っている方
（※ 目安として、本発表では従業員規模1000人以上、売上規模100億円以上の企業を想定しています。）
󰢏 上記以外の方も
● スタートアップでも非常に重要なトピック
● グローバルで非常に注目されているトピック
● データ・デジタルに関わる仕事をしているなら知っておきたいトピック

View Slide

海外で非常に注目されている分野
7
https://www.moderndatastack.xyz/companies/data-cataloging
ここら辺が該当します
https://www.indicative.com/resource/modern-data-infrastructure/

View Slide

国内需要が急激に伸びている分野
8
背景
■ 統合データマネジメントの必要性・急速な浸透が需要を押し上げている。
参考指標
■ メタデータ管理市場は、国内で 2022年約800億円 → 2030年約4200億円の市場規模予測
■ データガバナンス、リスク・法令管理、インシデント管理、製品・プロセス管理、などを含む
■ 主要産業は以下を含む
- BFSI（銀行、金融、保険）
- テレコム・IT
- ヘルスケア（医化学、製薬）
- メディア・エンタメ
- 小売・消費財
- 公共・政府系
- 物流・流通
※出典：https://www.grandviewresearch.com/

View Slide

@ 2022 Quollio Technologies, Inc. All rights reserved. Security level: Quollio Confidential 9
メタデータの価値と意義

View Slide

メタデータがないと何が起こるのか①
10
大企業の統合データ基盤は膨大なデータにまぎれており、メタデータなしでは発見するのが難しいです。
組織で一番使われている
発注データはどれだろう..?
＜統合データ基盤内部＞

View Slide

メタデータがないと何が起こるのか①
11
＜統合データ基盤内部＞メタデータ
- 発注データ
- 参照回数1位
メタデータがあることによって、目的のデータ発見が容易になります。

View Slide

メタデータがないと何が起こるのか②
12
テーブル名：TBL_ORDER
データ基盤に格納されたデータは、メタデータなしではその意味が分かりません。
何のORDERデータだろう？
価格の単位は？
Region Address1 Price Unit
East setagaya 4-xx-yy 10,000 150
East meguro 5-xx 8,000 1000
West kobe 30-zz-zz 350 1500

View Slide

メタデータがないと何が起こるのか②
13
メタデータによってデータの意味や背景情報を即座に理解し、セルフサービス分析に繋げます。
日用製品の発注情報を保持している
価格の単位はドル
East: 東京, 千葉, …
単位はケース（箱）
市区町村の大分類
Oracleの発注システムから生成されたデータ
税抜きの表示
West: 兵庫, 大阪, …

View Slide

メタデータがないと何が起こるのか③
14
メタデータによって利活用情報や懸念事項を把握し、セルフサービス分析にアイデアや信頼性をもたらします。
日用製品の発注情報を保持している
Oracleの発注システムから生成されたデータ
価格の単位はドル
税抜きの表示
East: 東京, 千葉, …
West: 兵庫, 大阪, …
単位はケース（箱）
市区町村の大分類
企業外に公開可能
顧客プライバシー同意済み
1ヶ月に92人が本データを閲覧
案件AAで分析に利用されている
Google API規約の制限を受ける

View Slide

人やシステムが、多様なメタデータを生み出します。
■ 種類別でみる
- システム基礎系（名称、型、桁、...）
- ビジネス系（活用方法、制限事項、関連性...）
- 統制系（品質情報、セキュリティ情報、...）
- システム運用系（ジョブ実行ログ、抽出履歴、...）
- ソーシャル系（コメント、評価、...）
■ 保有者別でみる
- 人間（部署毎、職能毎、業務ドメイン毎...）
- システム（DWH、データレイク、BI、基幹系、CRM系、...）
どんなメタデータがある？
15

View Slide

メタデータの具体例（システム基礎系）
16
DDL、テーブル定義（名称、型、桁）
https://dataedo.com/kb/data-glossary/what-is-metadata

View Slide

メタデータの具体例（ビジネス系：活用方法、禁止事項）
17
活用方法（データ生成背景、よくある2次用途）
https://getmanta.com/blog/manta-tools-3-14-data-lineage-version-compariso
n-performance-boost-more/
制限事項（禁止利用、許諾可否）
https://www.rocketlawyer.com/business-and-contracts/business-operati
ons/business-partnerships/document/strategic-alliance-agreement

View Slide

メタデータの具体例（ビジネス系：関連性）
18
データ系列（リネージ）
https://getmanta.com/blog/manta-tools-3-14-data-lineage-version-compariso
n-performance-boost-more/
データ関連（ER図）
https://stackoverflow.com/questions/52545248/database-design-model
-entity-relationship-diagram-n-entities-relationship-with-1

View Slide

メタデータの具体例（統制系：品質情報）
19
プロファイル情報
https://zenn.dev/koji_mats/articles/9037ea1e4bdd2e
https://legacy.docs.greatexpectations.io/en/latest/reference/core_concepts/
data_docs.html
品質テスト

View Slide

メタデータの具体例（統制系：セキュリティ情報）
20
アクセス権限情報
https://bigid.com/compliance/hipaa-compliance/
https://dev.classmethod.jp/articles/dive-deep-into-modern-data-saas-about-
cyral/
法規制への該当情報

View Slide

メタデータの具体例（システム運用系）
21
ジョブ実行ログ
https://airflow.apache.org/docs/apache-airflow/stable/ui.html

View Slide

メタデータの具体例（ソーシャル系）
22
評価レビュー・コメント人気度・アクセス頻度
https://www.dreamstime.com/

View Slide

一覧：メタデータの具体例
23
メタデータ項目メタデータ内容
オーナー部署デジタル戦略部
データ責任者（オーナー）クオリオ太郎
メタデータ担当者（スチュワード）クオリオ次郎
更新タイミング週次
保存期間 2025年12月31日まで
鮮度 2022年11月1日に最終更新
パーソナル情報を含む可能性有り
パーソナル情報利用に非同意を含むか含まない
外部から購入したデータを含むか含まない
営業機密情報を含むか含む
何の1次利用の目的で作成されたか XX製品における利用者の契約情報取得のため
2次利用する際の注意事項パーソナル情報を含むため、共有には相応の検討・処理を要する
デフォルトアクセス範囲オーナー部署のみ閲覧可能
新規アクセス権限申請方法オーナー部署に問い合わせ
作成元テーブル tbl_sales
作成先テーブル tbl_sum_
評価・お気に入り {5, 4, 4, 3, 5, 3, 2….}
コメント {xxxxx, yyyyy, zzzzz….}
メタデータ被参照頻度 {UserA 178回、UserB、140回....}
販売システムAから生成され、
利活用の為、データ分析基盤に保管された
とあるテーブルに関するメタデータの一例

View Slide

実際にメタデータを管理しよう
≒ データカタログの利用

View Slide

データカタログの特徴的な構成
25
1. メタデータ収集
✓ 自動収集コネクター
✓ 協働入力UI
2. メタデータ増強
✓ AI・ルールベース分類
3. 一元的レポジトリ
4. 基本アプリケーション
✓ データ検索・理解
✓ ビジネス文脈への分類
5. 応用アプリケーション
✓ スチュワードシップ
✓ アクセスセキュリティ管理
✓ データ品質分析・モニタリング
✓ データリネージ
✓ プライバシー・法令保護
Ingest
Enrich
Store
Basic App
Advanced App

View Slide

Before: データカタログへの願望
26
良い感じのカタログ何かの魔法メタデータ充実！！検索スイスイ！！
利活用向上！！ガバナンスOK！！

View Slide

After: データカタログの現実
27
良い感じのカタログ魔法などなかった欲しいメタデータが貯まらず...
カタログも人々から忘れ去られ...

View Slide

失敗ケースによく見られる
= カタログ・ゴーストタウン現象 👻
（メタデータが入力されずに古び、カタログが人々から忘れ去られていく）

View Slide

カタログ・ゴーストタウン現象
29
カタログが参照するに値しない状態が続くと、人々が徐々に去っていきます。
一度去っていくと、更に更新が難しくなる負のスパイラルに陥ることになります。
写真: https://www.o-uccino.jp/article/posts/14700
産業衰退
- メタデータ利活用が進まずにその価値が見出せ
ず、人が離れる
治安の悪化
- 入力ルールや統制がなく、野良メタデータが放置
されてゴミ貯めになり、人が離れる
行政の放棄
- 唯一の担当者の離職による放棄により現場のメン
テナンスが停止し、人が離れる
イメージ図：何かしらの原因で、都市が使える（住める）状態ではな
くなり、人々が去って行った状態がゴーストタウン。

View Slide

なぜゴーストタウンが誕生するのか？
30
サクセスの鍵は、カタログが参照するに値する状態をキープし続けること。
これには、様々な従業員にメタデータの協働入力を継続的に行ってもらうことが必要です。
DMBoK2には、メタデータの協働入力に関して以下のような記述があります。
● 一連の重要なメタデータは、組織内の調整とコミットメントを必要とする。
● また、それには業務とITのスタッフが組織を横断して緊密に協力し合うことが求められる。

View Slide

なぜゴーストタウンが誕生するのか？
31
ビジネス情報記入
データ戦略部
事業部門A
IT部門
外部SIer
統制情報の定義
システム情報記入
統制情報記入
データ定義書作成
ビジネス情報定義
ビジネス情報更新
システム情報更新
統制情報更新
DBの構築 DBの更新
・・・
非定常業務定常業務
DBの更新
ビジネス情報記入
事業部門B ビジネス情報更新
しかしながら、エンタープライズになればなるほど、組織に協力を促す難易度が高くなります。
結果的にメタデータ入力の継続に失敗し、ゴーストタウンが誕生します。
ソーシャル情報記入
事業部門C ソーシャル情報記入
ソーシャル情報記入
事業部門D ソーシャル情報記入

View Slide

持続的なメタデータ管理のポイント
32
テクノロジーでなるべく自動化
● スケールするメタデータ管理を行うには、メタデータ作
成の自動化について真摯に取り組むべき。
● また、それには既存業務プラクティスやリーガルシステ
ムに即したロジックが必要。
ユーザ入力の業務フロー化
● メタデータは、ユーザーの業務フローに組み込まれてい
る時、最も効率的に集める事ができる。
● 新テーブルが作成された際など、メタデータの編集が必
要な場合に素早く通知し、変更できる体制が必要。
ゴーストタウンを防ぐために、メタデータ運用の自動化・業務フロー化は、とりわけ重要な処方箋になります。
様々なユーザーからの継続的なメタデータ入力
処方箋にな
りうること
達成したい
こと

View Slide

持続的なメタデータ管理のポイント
33
法系の違いによるUX効能低減や、日本語ドキュメントの不足
で、既存の海外ツールではユーザー離脱が起きやすい。
言語バリアで、既存の海外ツールでは自動化の精度が相対的に
かなり低い水準にある。
例）住所情報へタグ付けする場合に、言語・様式の違いによる訓練
データとの齟齬で精度がでない。そこを前提にする個人情報へのタグ
付けも将棋倒しで転ける。
例）UIに論理名が表示されず、データを適切に認識できない。日本語
でのリアルタイムな疑問解消の手立てがない。協力を仰ぐべき業務
ユーザーのUIからの離脱。
日本特有の
失敗要因
同じ機能を持つソフトウェアの未排除と、
既存業務フローとのチューニングの欠落
運用の軽視/未考慮
例）ETLなど他製品の付属品として購入した
ことで、運用の努力を想定していない。
例）カタログからもクエリを投げれるし、
DWHからも投げれる。棲み分けを定義せ
ず、業務フローが分裂。
一般的な
失敗要因
メタデータ・スコープの未定義
例）全てのデータ資産に対して、全てのメタ
データを揃えようとし、道半ばで力尽きる。
日本特有の
根源要因
企業内データ管理人材の不足業務/体制の変化への硬直性
一般的な失敗要因に加えて、日本企業独自の失敗要因を上手く乗り越えないといけません。

View Slide

国内エンタープライズ企業の環境まとめ
34
■ 日本企業も、メタデータ管理から効果を享受できるポテンシャルは高い
- 基幹系から情報系まで、企業内にシステム・データが十分に多い
- 企業として成熟した企業が多く、データによるビジネス・レバレッジが効きやすい
- 株式時価総額は国別で3位（米国、中国に次ぐ）
https://www.okasan.co.jp/marketinfo/knowledge/pdf/attractive_foreign_stock.pdf
■ しかしながら、プロジェクト成功が難しい日本独自の理由がある
- 海外ツールが想定するリーガルシステムと大きな乖離がある
- 成熟した大企業の殆どをノンテック企業が占めている
- データ人材が企業内部に少なく、外部保有（SIer）比率が高い
- 既存業務維持や雇用維持による、急激な業務フロー/組織革新への抵抗

View Slide

しかし、メタデータ管理を避けては
データ活用は進まない

View Slide

国内でも、適用が進んでいます

View Slide

国内でのケーススタディ①：ツール導入
37
データカタログを導入することで、持続的なメタデータ管理を実現しています。
メタデータ管理
SNOWFLAKE　　
BIツール
アクセス権限管理
データ発見
興味を持つ、
データを知る利用許可を得る本格的に利用
サンプル利用
メタデータを
収集する
メタデータを
入力・更新する
メタデータを
保証・統制する
Redshift　　
データ
ソース
データカタログはココ！！！
データカタログはココ！！！
- レセプトデータ
- R&Dデータ
- 医薬品データ
- 販売データ
※ダミー・抽象化しています。
- システム情報の自動更新
- 入力協働プロセスの確立
- ビジネス分類の自動化
- データの発見を担保
- データの理解を促進
＜分析者のストーリー＞
＜メタデータ管理者のストーリー＞

View Slide

国内でのケーススタディ②：組織変容
38
マネジメントグループA
メタデータ運用に耐えるように、組織を改革していくことも重要です。
マネジメントグループB
ビジネスラインA ビジネスラインB
中央ガバナンスチーム
データ戦略・マネジメント系部署
・・・
CDO直下のメンバー
スチュワードオーナーアーキテクトスチュワードオーナーアーキテクト
- 基本方針の作成・公表
- 全社統一用語集の設定
- 新規データのメタデータ登録
- メタデータ品質の保守
※メタデータを通して疎結合
※ダミー・抽象化しています。

View Slide

国内でのケーススタディ③：技術変容
39
クラウドデータ基盤（統合型）の普及によって、メタデータ管理の対象基盤スコープのスリム化、
また、それによるメタデータ種類の標準化、ナレッジの一般化が進んでいます。
→ その結果、メタデータ管理はより行いやすい環境になっていると言えます。
エンタープライズ企業中心に、
日本国内で既に250社+ が利用している。 Snowflake以外にも、AWS・Azureを中心に
エンタープライズ企業に浸透している。

View Slide

トポロジー例①：スモールデータチーム
40
特徴
- データ量が少ない
- みんながSQLを読める書ける
- データの発生元に、データ消費者が近い
データカタログに求めること
- データチームが分析文脈で協働できるもの
Data Team

View Slide

トポロジー例②：ミッドマーケット（目安：500人~）
41
IT CoE
Marketing
CoE
Line of Business
Line of Business
特徴
- データはそこそこ分散している
- IT CoEは、LoBのデータ活用を推進する
- データの管理はIT部、既存のデータ消費は基
本的にはIT部・マーケ部が中心
- LoBは基本的にExcelで分析を行なったり、BI
ツールを見るのみ
データカタログに求めるもの
- LoBのデータに関する負の解消（ホットライ
ン整備やFAQの充実）
- LoBが離脱しないビジネスフレンドリーなカ
タログ

View Slide

トポロジー例③：大企業（目安：3000人~）
42
特徴
- データが多く、メタデータがサイロ化する
- Data CoE、IT CoE、Data Scienceにもある程度メタデータ
に関する不満が溜まっている
- LoBは基本的にExcelで分析を行なったり、BIツールを見る
のみ
- Data CoE・IT CoEと、LoBの距離が遠く分離している
- まずはデータSavvy部署に効率よく活用させたいが、コンプ
ラやアカウンタビリティにも留意する必要がある
- Data CoE、IT CoE、Data Scienceのメタデータに関する負
の解消、データガバナンスの整備
IT CoE
Marketin
g CoE
Data
Science
Data
CoE
Line of Business
Line of Business
Line of Business
Line of Business

View Slide

トポロジー例④：グローバル企業（目安：10000人~）
43
IT
CoE
Marke
ting
CoE
Data
Scien
ce
Data
CoE
Line of
Business
Line of
Business
Line of
Business
Line of
Business
Line of
Business
Line of
Business
Line of
Business
Line of
Business
Line of
Business
Line of
Business
特徴
- （③：大企業の項目）+
- 各部署間の距離が遠いのもあり、Data CoE が
利活用メタデータの獲得に苦戦
- 利益創出の大きなパイを占めるLoBへデータ民
主化を推進したいが、とても難しい
- （③：大企業の項目）+
- 更なる利活用メタデータの獲得手段
- LoBのビジネスユーザーにデータ民主化を推進
する道具としてのカタログ
- 必ずしも”データ分析”に繋げる必要はない
- 用途別に、複数のカタログを採用したい

View Slide

海外の最新トレンド

View Slide

海外メタデータ管理の最新トレンド
45
製品群（一部抜粋）
■ 伝統的エンタープライズを主対象
- Alation
- Collibra
- Alex Solutions
■ テックSMB企業を主対象
- Atlan
- Data.world
- Secoda
- Caster
- Metaphor
- Acryl
- Amundsen
https://www.moderndatastack.xyz/category/data-cataloging

View Slide

46
https://www.researchandmarkets.com/reports/5460251/metadata-management-tools
-market-research-report#tag-pos-1
対象の主要産業（規模順）
- BFSI（銀行、金融、保険）
- テレコム・IT
- ヘルスケア（医化学、製薬）
- メディア・エンタメ
- 小売・消費財
- 公共・政府系
- 物流・流通
- その他（製造、電力...）

View Slide

47
アクティブ・メタデータ
メタデータの発展的な概念である、
アクティブ・メタデータが注目を集めている。
https://towardsdatascience.com/what-is-active-metadata-and-why-does-it-matter-add3408c228

View Slide

48
アクティブ・メタデータは、モダンデータスタックの流れを受け、
取れるメタデータの拡大、データ分析ユーザーの拡大、の潮流とともに勃興している。
■ 従来のメタデータ管理
- 従来のメタデータ管理は、一部の人間が手動で管理すること（メタデータを取ってきて記述すること）に頼りきっており、
データカタログはそうして反映されたメタデータをただ検索して眺めるような場所であった。ここで管理されるメタデータ
は、基本的にスキーマ情報やデータタイプ、モデルといったシステムメタデータの管理が殆どであり、現代における企業の広
範なデータ活動を鑑みると、そういった運用方法、また情報のカバレッジはやや拙いものである。
■ アクティブ・メタデータ
- Active Metadata（＝能動的なメタデータ）は発展した立場をとっている。能動的とは、原義通りだと “強制されることなし
に、自分からすすんで他に働きかけ、行動するさま” ということだが、Active Metadataについて語弊を恐れずいうと、”メ
タデータが入ってくるのを只だ待っている受動的なソフトウェア” ではなく、”広範なメタデータを自ら取って来て、自ら
新しいメタデータを創り出し、自らメタデータの再利用を促す能動的なソフトウェア” と言い換えられるだろう。
ブログ：https://note.com/rytmq/n/nafae35620968

View Slide

実際のデータカタログの例

View Slide

データカタログの構成例①
50
＜カタログ画面＞
＜ビジネスタグ用語集＞
✔ データの検索と、詳細な理解を助ける
✔ ビジネスグロッサリーの整備
メタデータ表示画面

View Slide

データカタログの構成例②
51
✔ 変更履歴を記録
＜バージョン機能＞
＜コメント機能＞＜分類ルール設定＞
＜カスタムメタデータ設定＞
✔ コメントによる協働 ✔ 自動タグ分類 ✔ 多様なメタデータの入力設定

View Slide

ご清聴、有難うございました。

View Slide

Special Thanks
53
以下の方々にご協力を賜りました。（敬称略）
ご協力いただいた皆様、誠に有難うございました。
- ゆずたそ（風音屋 CEO、『データマネジメントが30分でわかる本』『実践的データ
基盤への処方箋』著者）
- 長谷川亮（風音屋アドバイザー、『データマネジメントが30分でわかる本』著者）
- 笹川裕人（風音屋アドバイザー）
- 吉田康久（風音屋アドバイザー）

View Slide

事前アンケート内容の抜粋
・スタートアップと大企業でメタデータ管理/データカタログへの要求や手段がどう変わるのか
・大手クラウドインフラの標準機能/サービスと3rd party toolの特徴の違い・開発ツールなのか？SFA/CRM、ERPと同じ
ような位置付けなのか？
・今のテクノロジーですぐに解決出来る課題＆得られる効用はどれで、整備や活用にそれなりにパワーが必要なものはどれ
か？
・メタデータの人間からの収集に関して、組織体系や新しい役職(データスチュワードなど)、またその評価制度 / インセン
ティブ設計の改変事例
当日トークセッション
54

View Slide

メタデータ・マネジメント入門 / 20221205

メタデータ・マネジメント入門 / 20221205

風音屋 (Kazaneya)
PRO

More Decks by 風音屋 (Kazaneya)

Other Decks in Technology

Featured

Transcript

メタデータ・マネジメント入門 / 20221205

メタデータ・マネジメント入門 / 20221205

風音屋 (Kazaneya) PRO

More Decks by 風音屋 (Kazaneya)

Other Decks in Technology

Featured

Transcript

風音屋 (Kazaneya)
PRO