【Quollio】メタデータ・マネジメント入門

@ 2022 Quollio Technologies, Inc. All rights reserved. Security level:
Quollio Confidential 〜データの情報を、適切かつ効率的に管理する。 1 メタデータ・マネジメント入門株式会社 Quollio Technologies　代表取締役CEO 松元亮太 2022年12月5日風音屋TechTalk#1 発表資料

Quollio Confidential 免責・注意事項 2 WEBに公開済みです撮影やメモは不要です。リラックスして聞いていただければと思います。ダミー情報を交えていますケーススタディは複数企業の事例を踏まえたダミー情報です。特定企業の情報公開や賞賛・批判を意図するものではありません。用語やツールの紹介は厳密ではありませんご自身や所属チームでの理解・解釈が紹介内容と異なる場合は、適宜読み替えていただけると幸いです。

Quollio Confidential 目次 3 ▪ 冒頭 - 会社・自己紹介 ▪ 本題 - メタデータの価値と意義 - データカタログ - メタデータ管理の運用課題 - 国内ケーススタディ - 海外の最新トレンド ▪ トークセッション

Quollio Confidential Quollio 会社概要 4 メタデータ管理SaaS「Quollio Data Catalog」を開発・提供しています。商号株式会社 Quollio Technologies 代表代表取締役CEO　松元亮太事業内容データガバナンス・データカタログツールの開発・販売資本金 53,000,000 円（資本準備金を含む）設立 2021 年 8月株主経営株主、インキュベイトファンド株式会社 HP https://quollio.com https://incubatefund.com/ 主要投資先：Bitflyer, Sansan, Cyboze, Medley, Coincheck他

Quollio Confidential 発表者の自己紹介 5 松元亮太（株式会社Quollio Technologies 代表取締役 CEO）＜経歴＞ ▪ KPMG（あずさ監査法人 <> KPMG Ignition Tokyo） - 監査データ分析、全社データ活用推進、グローバルデジタル戦略 ▪ データカタログSaaSを扱うQuollioを設立、代表取締役を務める。 - 創業メンバーの出身は、KPMG、classmethod、Hennge、Mudah.my、Saloodo!等 - Incubate Fund から 5,000万円の調達（2021年） https://www.nikkei.com/article/DGXZQOUC279BT0X21C21A2000000/ - Incubate Camp 15th 総合4位（2022年） https://jp-startup.jp/articles/3261/ ＜記事＞ ▪ 「アクティブメタデータの所感」 https://note.com/rytmq/n/nafae35620968 Twitter https://twitter.com/rytmw

Quollio Confidential 想定する聞き手 6 主な対象 ▪ エンタープライズ企業のデータ・デジタル・ITの統括部門の方 ▪ エンタープライズ企業でメタデータ管理に携わる予定、携わっている方 ▪ その他、大企業におけるメタデータ管理に興味を持っている方（※ 目安として、本発表では従業員規模1000人以上、売上規模100億円以上の企業を想定しています。） 󰢏 上記以外の方も • スタートアップでも非常に重要なトピック • グローバルで非常に注目されているトピック • データ・デジタルに関わる仕事をしているなら知っておきたいトピック

Quollio Confidential 海外で非常に注目されている分野 7 https://www.moderndatastack.xyz/companies/data-cataloging ここら辺が該当します https://www.indicative.com/resource/modern-data-infrastructure/

Quollio Confidential 国内需要が急激に伸びている分野 8 背景 ▪ 統合データマネジメントの必要性・急速な浸透が需要を押し上げている。参考指標 ▪ メタデータ管理市場は、国内で 2022年約800億円 → 2030年約4200億円の市場規模予測 ▪ データガバナンス、リスク・法令管理、インシデント管理、製品・プロセス管理、などを含む ▪ 主要産業は以下を含む - BFSI（銀行、金融、保険） - テレコム・IT - ヘルスケア（医化学、製薬） - メディア・エンタメ - 小売・消費財 - 公共・政府系 - 物流・流通 ※出典：https://www.grandviewresearch.com/

Quollio Confidential 9 メタデータの価値と意義

Quollio Confidential メタデータがないと何が起こるのか① 10 大企業の統合データ基盤は膨大なデータにまぎれており、メタデータなしでは発見するのが難しいです。組織で一番使われている発注データはどれだろう..? ＜統合データ基盤内部＞

Quollio Confidential メタデータがないと何が起こるのか① 11 ＜統合データ基盤内部＞メタデータ - 発注データ - 参照回数1位メタデータがあることによって、目的のデータ発見が容易になります。

Quollio Confidential メタデータがないと何が起こるのか② 12 テーブル名：TBL_ORDER データ基盤に格納されたデータは、メタデータなしではその意味が分かりません。何のORDERデータだろう？価格の単位は？ Region Address1 Price Unit East setagaya 4-xx-yy 10,000 150 East meguro 5-xx 8,000 1000 West kobe 30-zz-zz 350 1500

Quollio Confidential メタデータがないと何が起こるのか② 13 Region Address1 Price Unit East setagaya 4-xx-yy 10,000 150 East meguro 5-xx 8,000 1000 West kobe 30-zz-zz 350 1500 テーブル名：TBL_ORDER メタデータによってデータの意味や背景情報を即座に理解し、セルフサービス分析に繋げます。日用製品の発注情報を保持している価格の単位はドル East: 東京, 千葉, … 単位はケース（箱）市区町村の大分類 Oracleの発注システムから生成されたデータ税抜きの表示 West: 兵庫, 大阪, …

Quollio Confidential メタデータがないと何が起こるのか③ 14 Region Address1 Price Unit East setagaya 4-xx-yy 10,000 150 East meguro 5-xx 8,000 1000 West kobe 30-zz-zz 350 1500 テーブル名：TBL_ORDER メタデータによって利活用情報や懸念事項を把握し、セルフサービス分析にアイデアや信頼性をもたらします。日用製品の発注情報を保持している Oracleの発注システムから生成されたデータ価格の単位はドル税抜きの表示 East: 東京, 千葉, … West: 兵庫, 大阪, … 単位はケース（箱）市区町村の大分類企業外に公開可能顧客プライバシー同意済み 1ヶ月に92人が本データを閲覧案件AAで分析に利用されている Google API規約の制限を受ける

Quollio Confidential 人やシステムが、多様なメタデータを生み出します。 ▪ 種類別でみる - システム基礎系（名称、型、桁、...） - ビジネス系（活用方法、制限事項、関連性...） - 統制系（品質情報、セキュリティ情報、...） - システム運用系（ジョブ実行ログ、抽出履歴、...） - ソーシャル系（コメント、評価、...） ▪ 保有者別でみる - 人間（部署毎、職能毎、業務ドメイン毎...） - システム（DWH、データレイク、BI、基幹系、CRM系、...）どんなメタデータがある？ 15

Quollio Confidential メタデータの具体例（システム基礎系） 16 DDL、テーブル定義（名称、型、桁） https://dataedo.com/kb/data-glossary/what-is-metadata

Quollio Confidential メタデータの具体例（ビジネス系：活用方法、禁止事項） 17 活用方法（データ生成背景、よくある2次用途） https://getmanta.com/blog/manta-tools-3-14-data-lineage-version-compariso n-performance-boost-more/ 制限事項（禁止利用、許諾可否） https://www.rocketlawyer.com/business-and-contracts/business-operati ons/business-partnerships/document/strategic-alliance-agreement

Quollio Confidential メタデータの具体例（ビジネス系：関連性） 18 データ系列（リネージ） https://getmanta.com/blog/manta-tools-3-14-data-lineage-version-compariso n-performance-boost-more/ データ関連（ER図） https://stackoverflow.com/questions/52545248/database-design-model -entity-relationship-diagram-n-entities-relationship-with-1

Quollio Confidential メタデータの具体例（統制系：品質情報） 19 プロファイル情報 https://zenn.dev/koji_mats/articles/9037ea1e4bdd2e https://legacy.docs.greatexpectations.io/en/latest/reference/core_concepts/ data_docs.html 品質テスト

Quollio Confidential メタデータの具体例（統制系：セキュリティ情報） 20 アクセス権限情報 https://bigid.com/compliance/hipaa-compliance/ https://dev.classmethod.jp/articles/dive-deep-into-modern-data-saas-about- cyral/ 法規制への該当情報

Quollio Confidential メタデータの具体例（システム運用系） 21 ジョブ実行ログ https://airflow.apache.org/docs/apache-airflow/stable/ui.html

Quollio Confidential メタデータの具体例（ソーシャル系） 22 評価レビュー・コメント人気度・アクセス頻度 https://www.dreamstime.com/

Quollio Confidential 一覧：メタデータの具体例 23 メタデータ項目メタデータ内容オーナー部署デジタル戦略部データ責任者（オーナー）クオリオ太郎メタデータ担当者（スチュワード）クオリオ次郎更新タイミング週次保存期間 2025年12月31日まで鮮度 2022年11月1日に最終更新パーソナル情報を含む可能性有りパーソナル情報利用に非同意を含むか含まない外部から購入したデータを含むか含まない営業機密情報を含むか含む何の1次利用の目的で作成されたか XX製品における利用者の契約情報取得のため 2次利用する際の注意事項パーソナル情報を含むため、共有には相応の検討・処理を要するデフォルトアクセス範囲オーナー部署のみ閲覧可能新規アクセス権限申請方法オーナー部署に問い合わせ作成元テーブル tbl_sales 作成先テーブル tbl_sum_ 評価・お気に入り {5, 4, 4, 3, 5, 3, 2….} コメント {xxxxx, yyyyy, zzzzz….} メタデータ被参照頻度 {UserA 178回、UserB、140回....} 販売システムAから生成され、利活用の為、データ分析基盤に保管されたとあるテーブルに関するメタデータの一例

Quollio Confidential 24 実際にメタデータを管理しよう ≒ データカタログの利用

Quollio Confidential データカタログの特徴的な構成 25 1. メタデータ収集 ✓ 自動収集コネクター ✓ 協働入力UI 2. メタデータ増強 ✓ AI・ルールベース分類 3. 一元的レポジトリ 4. 基本アプリケーション ✓ データ検索・理解 ✓ ビジネス文脈への分類 5. 応用アプリケーション ✓ スチュワードシップ ✓ アクセスセキュリティ管理 ✓ データ品質分析・モニタリング ✓ データリネージ ✓ プライバシー・法令保護 Ingest Enrich Store Basic App Advanced App

Quollio Confidential Before: データカタログへの願望 26 良い感じのカタログ何かの魔法メタデータ充実！！検索スイスイ！！利活用向上！！ガバナンスOK！！

Quollio Confidential After: データカタログの現実 27 良い感じのカタログ魔法などなかった欲しいメタデータが貯まらず... カタログも人々から忘れ去られ...

Quollio Confidential 28 失敗ケースによく見られる = カタログ・ゴーストタウン現象 👻 （メタデータが入力されずに古び、カタログが人々から忘れ去られていく）

Quollio Confidential カタログ・ゴーストタウン現象 29 カタログが参照するに値しない状態が続くと、人々が徐々に去っていきます。一度去っていくと、更に更新が難しくなる負のスパイラルに陥ることになります。写真: https://www.o-uccino.jp/article/posts/14700 産業衰退 - メタデータ利活用が進まずにその価値が見出せず、人が離れる治安の悪化 - 入力ルールや統制がなく、野良メタデータが放置されてゴミ貯めになり、人が離れる行政の放棄 - 唯一の担当者の離職による放棄により現場のメンテナンスが停止し、人が離れるイメージ図：何かしらの原因で、都市が使える（住める）状態ではなくなり、人々が去って行った状態がゴーストタウン。

Quollio Confidential なぜゴーストタウンが誕生するのか？ 30 サクセスの鍵は、カタログが参照するに値する状態をキープし続けること。これには、様々な従業員にメタデータの協働入力を継続的に行ってもらうことが必要です。 DMBoK2には、メタデータの協働入力に関して以下のような記述があります。 • 一連の重要なメタデータは、組織内の調整とコミットメントを必要とする。 • また、それには業務とITのスタッフが組織を横断して緊密に協力し合うことが求められる。

Quollio Confidential なぜゴーストタウンが誕生するのか？ 31 ビジネス情報記入データ戦略部事業部門A IT部門外部SIer 統制情報の定義システム情報記入統制情報記入データ定義書作成ビジネス情報定義ビジネス情報更新システム情報更新統制情報更新 DBの構築 DBの更新・・・非定常業務定常業務 DBの更新ビジネス情報記入事業部門B ビジネス情報更新しかしながら、エンタープライズになればなるほど、組織に協力を促す難易度が高くなります。結果的にメタデータ入力の継続に失敗し、ゴーストタウンが誕生します。ソーシャル情報記入事業部門C ソーシャル情報記入ソーシャル情報記入事業部門D ソーシャル情報記入

Quollio Confidential 持続的なメタデータ管理のポイント 32 テクノロジーでなるべく自動化 • スケールするメタデータ管理を行うには、メタデータ作成の自動化について真摯に取り組むべき。 • また、それには既存業務プラクティスやリーガルシステムに即したロジックが必要。ユーザ入力の業務フロー化 • メタデータは、ユーザーの業務フローに組み込まれている時、最も効率的に集める事ができる。 • 新テーブルが作成された際など、メタデータの編集が必要な場合に素早く通知し、変更できる体制が必要。ゴーストタウンを防ぐために、メタデータ運用の自動化・業務フロー化は、とりわけ重要な処方箋になります。様々なユーザーからの継続的なメタデータ入力処方箋になりうること達成したいこと

Quollio Confidential 持続的なメタデータ管理のポイント 33 法系の違いによるUX効能低減や、日本語ドキュメントの不足で、既存の海外ツールではユーザー離脱が起きやすい。言語バリアで、既存の海外ツールでは自動化の精度が相対的にかなり低い水準にある。例）住所情報へタグ付けする場合に、言語・様式の違いによる訓練データとの齟齬で精度がでない。そこを前提にする個人情報へのタグ付けも将棋倒しで転ける。例）UIに論理名が表示されず、データを適切に認識できない。日本語でのリアルタイムな疑問解消の手立てがない。協力を仰ぐべき業務ユーザーのUIからの離脱。日本特有の失敗要因同じ機能を持つソフトウェアの未排除と、既存業務フローとのチューニングの欠落運用の軽視/未考慮例）ETLなど他製品の付属品として購入したことで、運用の努力を想定していない。例）カタログからもクエリを投げれるし、 DWHからも投げれる。棲み分けを定義せず、業務フローが分裂。一般的な失敗要因メタデータ・スコープの未定義例）全てのデータ資産に対して、全てのメタデータを揃えようとし、道半ばで力尽きる。日本特有の根源要因企業内データ管理人材の不足業務/体制の変化への硬直性一般的な失敗要因に加えて、日本企業独自の失敗要因を上手く乗り越えないといけません。

Quollio Confidential 国内エンタープライズ企業の環境まとめ 34 ▪ 日本企業も、メタデータ管理から効果を享受できるポテンシャルは高い - 基幹系から情報系まで、企業内にシステム・データが十分に多い - 企業として成熟した企業が多く、データによるビジネス・レバレッジが効きやすい - 株式時価総額は国別で3位（米国、中国に次ぐ） https://www.okasan.co.jp/marketinfo/knowledge/pdf/attractive_foreign_stock.pdf ▪ しかしながら、プロジェクト成功が難しい日本独自の理由がある - 海外ツールが想定するリーガルシステムと大きな乖離がある - 成熟した大企業の殆どをノンテック企業が占めている - データ人材が企業内部に少なく、外部保有（SIer）比率が高い - 既存業務維持や雇用維持による、急激な業務フロー/組織革新への抵抗

Quollio Confidential 35 しかし、メタデータ管理を避けてはデータ活用は進まない

Quollio Confidential 36 国内でも、適用が進んでいます

Quollio Confidential 国内でのケーススタディ①：ツール導入 37 データカタログを導入することで、持続的なメタデータ管理を実現しています。メタデータ管理 SNOWFLAKE　　 BIツールアクセス権限管理データ発見興味を持つ、データを知る利用許可を得る本格的に利用サンプル利用メタデータを収集するメタデータを入力・更新するメタデータを保証・統制する Redshift　　データソースデータカタログはココ！！！データカタログはココ！！！ - レセプトデータ - R&Dデータ - 医薬品データ - 販売データ ※ダミー・抽象化しています。 - システム情報の自動更新 - 入力協働プロセスの確立 - ビジネス分類の自動化 - データの発見を担保 - データの理解を促進＜分析者のストーリー＞＜メタデータ管理者のストーリー＞

Quollio Confidential 国内でのケーススタディ②：組織変容 38 マネジメントグループA メタデータ運用に耐えるように、組織を改革していくことも重要です。マネジメントグループB ビジネスラインA ビジネスラインB 中央ガバナンスチームデータ戦略・マネジメント系部署・・・ CDO直下のメンバースチュワードオーナーアーキテクトスチュワードオーナーアーキテクト - 基本方針の作成・公表 - 全社統一用語集の設定 - 新規データのメタデータ登録 - メタデータ品質の保守 ※メタデータを通して疎結合 ※ダミー・抽象化しています。

Quollio Confidential 国内でのケーススタディ③：技術変容 39 クラウドデータ基盤（統合型）の普及によって、メタデータ管理の対象基盤スコープのスリム化、また、それによるメタデータ種類の標準化、ナレッジの一般化が進んでいます。 → その結果、メタデータ管理はより行いやすい環境になっていると言えます。エンタープライズ企業中心に、日本国内で既に250社+ が利用している。 Snowflake以外にも、AWS・Azureを中心にエンタープライズ企業に浸透している。

Quollio Confidential トポロジー例①：スモールデータチーム 40 特徴 - データ量が少ない - みんながSQLを読める書ける - データの発生元に、データ消費者が近いデータカタログに求めること - データチームが分析文脈で協働できるもの Data Team

Quollio Confidential トポロジー例②：ミッドマーケット（目安：500人~） 41 IT CoE Marketing CoE Line of Business Line of Business 特徴 - データはそこそこ分散している - IT CoEは、LoBのデータ活用を推進する - データの管理はIT部、既存のデータ消費は基本的にはIT部・マーケ部が中心 - LoBは基本的にExcelで分析を行なったり、BI ツールを見るのみデータカタログに求めるもの - LoBのデータに関する負の解消（ホットライン整備やFAQの充実） - LoBが離脱しないビジネスフレンドリーなカタログ

Quollio Confidential トポロジー例③：大企業（目安：3000人~） 42 特徴 - データが多く、メタデータがサイロ化する - Data CoE、IT CoE、Data Scienceにもある程度メタデータに関する不満が溜まっている - LoBは基本的にExcelで分析を行なったり、BIツールを見るのみ - Data CoE・IT CoEと、LoBの距離が遠く分離している - まずはデータSavvy部署に効率よく活用させたいが、コンプラやアカウンタビリティにも留意する必要があるデータカタログに求めるもの - Data CoE、IT CoE、Data Scienceのメタデータに関する負の解消、データガバナンスの整備 IT CoE Marketin g CoE Data Science Data CoE Line of Business Line of Business Line of Business Line of Business

Quollio Confidential トポロジー例④：グローバル企業（目安：10000人~） 43 IT CoE Marke ting CoE Data Scien ce Data CoE Line of Business Line of Business Line of Business Line of Business Line of Business Line of Business Line of Business Line of Business Line of Business Line of Business 特徴 - （③：大企業の項目）+ - 各部署間の距離が遠いのもあり、Data CoE が利活用メタデータの獲得に苦戦 - 利益創出の大きなパイを占めるLoBへデータ民主化を推進したいが、とても難しいデータカタログに求めるもの - （③：大企業の項目）+ - 更なる利活用メタデータの獲得手段 - LoBのビジネスユーザーにデータ民主化を推進する道具としてのカタログ - 必ずしも”データ分析”に繋げる必要はない - 用途別に、複数のカタログを採用したい

Quollio Confidential 44 海外の最新トレンド

Quollio Confidential 海外メタデータ管理の最新トレンド 45 製品群（一部抜粋） ▪ 伝統的エンタープライズを主対象 - Alation - Collibra - Alex Solutions ▪ テックSMB企業を主対象 - Atlan - Data.world - Secoda - Caster - Metaphor - Acryl - Amundsen https://www.moderndatastack.xyz/category/data-cataloging

Quollio Confidential 海外メタデータ管理の最新トレンド 46 https://www.researchandmarkets.com/reports/5460251/metadata-management-tools -market-research-report#tag-pos-1 対象の主要産業（規模順） - BFSI（銀行、金融、保険） - テレコム・IT - ヘルスケア（医化学、製薬） - メディア・エンタメ - 小売・消費財 - 公共・政府系 - 物流・流通 - その他（製造、電力...）

Quollio Confidential 海外メタデータ管理の最新トレンド 47 アクティブ・メタデータメタデータの発展的な概念である、アクティブ・メタデータが注目を集めている。 https://towardsdatascience.com/what-is-active-metadata-and-why-does-it-matter-add3408c228

Quollio Confidential 海外メタデータ管理の最新トレンド 48 アクティブ・メタデータは、モダンデータスタックの流れを受け、取れるメタデータの拡大、データ分析ユーザーの拡大、の潮流とともに勃興している。 ▪ 従来のメタデータ管理 - 従来のメタデータ管理は、一部の人間が手動で管理すること（メタデータを取ってきて記述すること）に頼りきっており、データカタログはそうして反映されたメタデータをただ検索して眺めるような場所であった。ここで管理されるメタデータは、基本的にスキーマ情報やデータタイプ、モデルといったシステムメタデータの管理が殆どであり、現代における企業の広範なデータ活動を鑑みると、そういった運用方法、また情報のカバレッジはやや拙いものである。 ▪ アクティブ・メタデータ - Active Metadata（＝能動的なメタデータ）は発展した立場をとっている。能動的とは、原義通りだと “強制されることなしに、自分からすすんで他に働きかけ、行動するさま” ということだが、Active Metadataについて語弊を恐れずいうと、”メタデータが入ってくるのを只だ待っている受動的なソフトウェア” ではなく、”広範なメタデータを自ら取って来て、自ら新しいメタデータを創り出し、自らメタデータの再利用を促す能動的なソフトウェア” と言い換えられるだろう。ブログ：https://note.com/rytmq/n/nafae35620968

Quollio Confidential 49 実際のデータカタログの例

Quollio Confidential データカタログの構成例① 50 ＜カタログ画面＞＜ビジネスタグ用語集＞ ✔ データの検索と、詳細な理解を助ける ✔ ビジネスグロッサリーの整備メタデータ表示画面

Quollio Confidential データカタログの構成例② 51 ✔ 変更履歴を記録＜バージョン機能＞＜コメント機能＞＜分類ルール設定＞＜カスタムメタデータ設定＞ ✔ コメントによる協働 ✔ 自動タグ分類 ✔ 多様なメタデータの入力設定

Quollio Confidential 52 ご清聴、有難うございました。

Quollio Confidential Special Thanks 53 以下の方々にご協力を賜りました。（敬称略）ご協力いただいた皆様、誠に有難うございました。 - ゆずたそ（風音屋 CEO、『データマネジメントが30分でわかる本』『実践的データ基盤への処方箋』著者） - 長谷川亮（風音屋アドバイザー、『データマネジメントが30分でわかる本』著者） - 笹川裕人（風音屋アドバイザー） - 吉田康久（風音屋アドバイザー）

Quollio Confidential 事前アンケート内容の抜粋・スタートアップと大企業でメタデータ管理/データカタログへの要求や手段がどう変わるのか・大手クラウドインフラの標準機能/サービスと3rd party toolの特徴の違い・開発ツールなのか？SFA/CRM、ERPと同じような位置付けなのか？・今のテクノロジーですぐに解決出来る課題＆得られる効用はどれで、整備や活用にそれなりにパワーが必要なものはどれか？・メタデータの人間からの収集に関して、組織体系や新しい役職(データスチュワードなど)、またその評価制度 / インセンティブ設計の改変事例当日トークセッション 54

【Quollio】メタデータ・マネジメント入門

【Quollio】メタデータ・マネジメント入門

More Decks by Quollio

Other Decks in Technology

Featured

Transcript