次のイベントの投影資料です。 https://studyco.connpass.com/event/251782/
- 1 -- 1 -AI活⽤やデータ分析をする前に知っておきたい︕エンタープライズデータアーキテクチャ⼊⾨2022/07/07Takahiro Esaki
View Slide
- 2 -- 2 -はじめに
- 3 -- 3 -講師紹介【経歴】n東京⼤学 ⽂学部 ⼼理学専修課程 卒業• 専⾨︓⾼次認知（記憶・学習・⾏動 など）n業務/ITコンサルティング• 基幹システム運⽤保守業務改⾰• 基幹システム刷新PMO• サプライチェーン最適化/需要予測最適化• データ分析システム刷新PM/アーキテクチャ設計 などn新規事業開発・アジャイル開発・ローコード開発• クラウドソーシングプラットフォームサービス• アパレルプラットフォームサービス• 海外クリエーター向けe-Learningサービス などnCSM (カスタマーサクセスマネージャー) @IBM Japan※• AI & Cloudソリューションの活⽤促進• コミュニティ活動・アドボケート活動 など※本講演・本資料は IBM Japan, Ltd. を代表するものではございません江﨑 崇浩（Takahiro Esaki）Twitter@t_esakingLinkedIn
- 4 -- 4 -本⽇の話のモチベーション（熱い⾃分語り）これからはAIの時代だ︕データドリブン︕はえー。すごいなーn 2015年。新卒1年⽬の若かりし頃
- 5 -- 5 -本⽇の話のモチベーション（熱い⾃分語り）n テクノロジーの進化は激しく・・・2016 2017 2018 2019 2020 2021ARスマホゲーのポケモンGOリリースがっきーがデーベースタスペシャリストと結婚（逃げ恥）がっきーが本当に結婚︕FBがメタバース事業に巨額投資＆社名変更BERTの公開(Google)Amazon Echoリリース「AlphaGo」が囲碁世界チャンピオンに勝利商⽤量⼦コンピュータ IBMQ SystemOne開発国産スパコン「富岳」が2期連続で世界1位Apple M1チップ搭載の新Mac発売世界初の5Gサービスディープフェイクの流⾏
- 6 -- 6 -本⽇の話のモチベーション（熱い⾃分語り）AIを始めとした技術の進化はすごい︕シンギュラリティはすぐそこだ︕︕そう思っていた時期が、私にもありました・・・
- 7 -- 7 -本⽇の話のモチベーション（熱い⾃分語り）n 2022年。ジャスサー(Just 30)になった今これからはAIの時代だ︕データドリブン︕ん︖͋ΕɺࢥͬͨΑΓ"*ͷ׆༻ͬͯਐΜͰ͍ͳ͍ɾɾɾʁ
- 8 -- 8 -本⽇の⽬的・内容・対象者n ⽬的• 思ったよりもAIの活⽤が進んでいない状況についてみなさんと⼀緒に考えてみる• 特に、データドリブン経営を推進する上での課題とソリューションについて考察を深める• みなさんがAIやデータ分析などの⽂脈でワークする時のチップス獲得や視野の拡⼤をするn 内容• データドリブン経営にまつわる課題• データ利活⽤のためのソリューションü 従来︓データレイク・データウェアハウス・データマートü 今後︓データファブリック• データファブリックの重要な5つの要素n 対象者• エンタープライズでのデータ活⽤に興味がある⽅• 特に、AIやデータサイエンス、データエンジニアリングなどでバリューを発揮していこうと考えている⽅• エンタープライズのデータアーキテクチャに興味がある⽅（⼊⾨レベル）• エンタープライズのデータアーキテクチャについて知⾒を得られる• データファブリックの概念がわかって、アーキテクチャ検討などのディスカッションについていける
- 9 -- 9 -データドリブン経営にまつわる課題
- 10 -- 10 -データドリブン経営とはデータドリブン経営「データ」と「アルゴリズム」に基づいた客観性の⾼い意思決定をする経営データアルゴリズム経験勘出典︓Gartner 2020 CIO SurveyTop 10 “Game-Changing” TechnologiesAIとData Analyticsが1,2位を占めるAIとデータ活⽤は企業にとって最優先取り組み課題
- 11 -- 11 -データドリブン経営を推進するためのデータ活⽤の課題データ活⽤の改善はトッププライオリティと発⾔データドリブン経営のためにプラットフォーム整備を計画出典︓Forrester15%データから価値を導き出せている企業の割合出典︓Forrester90%71%このギャップは何なのだろうか︖
- 12 -- 12 -数字で⾒るデータ活⽤の課題n 「データの所在がわからない」、「データが正確でないため使えない」、「加⼯の処理に時間がかかる」ため、データを活⽤するまでの作業時間の80%をデータ準備に費やしているデータ準備Prepare構築Build分析モデルを構築実⾏Run業務に適⽤管理Manage実際にデータを活⽤するチームが注⽬する箇所数カ⽉ – 数四半期検出、理解、取り込み、統合品質の評価、データクレンジングデータ・オペレーション作業時間の80%が費やされる箇所ビジネスへの影響が発⽣する箇所
- 13 -- 13 -数字で⾒るデータ活⽤の課題エンタープライズで管理されるデータの増加率6 倍 74%のデータが分析されていない60%のビッグデータ・プロジェクトは失敗に終わる82%がデータ・サイロによって阻害されている89%がリソースを消耗しているデータの加速的な増⼤と複雑性がデータ活⽤の⼤きな阻害要因となってる• クラウド・アプリケーションが増加するにつれ、データは広範なデジタル・エコシステムへと分散されるようになっている• データの移動および⼀元化の取り組みは⼿作業に頼りすぎており、時間とコストがかかるうえに効果も限定的• データが急増し、データのライフスパンが短くなっていることで、問題は悪化する⼀⽅出典︓Forrester
- 14 -- 14 -データ利活⽤のためのソリューション
- 15 -- 15 -従来のソリューション︓データレイク/ウェアハウス/マートビジネス・アプリケーションPOSIoT開発営業財務・・・データレイク データウェアハウスデータソース データ活⽤データマートσʔλϨΠΫ σʔλΣΞϋε σʔλϚʔτ• ಛఆͷੳత͕ͳͯ͘ར༻͢ΔՄೳੑͷ͋ΔϩʔσʔλΛ֨ೲ• ίετͷετϨʔδΛ४උ͠ɺੳχʔζ͕ൃੜͨ͠߹ɺߴʹΞΫηεͰ͖ΔΑ͏ʹ͢Δ• ඇߏԽσʔλؚΉॊೈੑ• .BJO6TFSɿσʔλαΠΤϯςΟετ• ಛఆͷੳతͷͨΊͷॲཧࡁΈσʔλΛ֨ೲ• ੳͷͨΊʹߴͳΫΤϦॲཧ͕Ͱ͖ΔΑ͏ʹ͢Δ• ݕࡧʹಛԽ͢ΔͨΊɺجຊతʹߏԽσʔλ• .BJO6TFSɿϏδωεΞφϦετ• σʔλΣΞϋεΑΓߋʹಛԽͨ͠ੳతΛ࣋ͭϢʔβʔάϧʔϓͷͨΊͷσʔλΛ֨ೲ• σʔλΣΞϋεʹൺΔͱখنͰɺߏஙϦʔυλΠϜ͕খ͍͞• Ұํɺཚཱ͢Δͱӡ༻ίετ૿େσʔλͷαΠϩԽΛՃͤ͞ΔཁҼʹn データを物理的に集約して、データアクセスを容易にしようとしていた
- 16 -- 16 -（Tips）サイロとサイロ化について!サイロとは︖• 牧草・穀物・化学原料などを貯蔵したり発酵処理するための倉庫• 並んでいるように⾒えるが、中⾝が混ざらないように、内部はつながっておらず、それぞれ独⽴して中⾝を取り出す構造になっている!ビジネスで使われるサイロ化• システムや業務プロセスなどが、他のアプリケーションや他事業部⾨との連携を持たずに⾃⼰完結して孤⽴してしまう状態のこと各サイロはつながっているように⾒えるが、完全に独⽴している
- 17 -- 17 -課題のピックアップ︓データのサイロ化物理的にデータを集約しようとするだけでは、データのサイロ化を解決できなかった!データのサイロ化とは︖• 分析対象となる「データ」が「サイロ」のように孤⽴・独⽴してしまっており、すぐにアクセスするのが困難になってる状態!背景• データソースの拡⼤• データ活⽤ニーズの多様化• 各部⾨の個別最適なシステムの構築• 企業/部⾨の統廃合• ハイブリッドクラウド化 など複雑化するデータアーキテクチャビジネス・アプリケーションカスタム・アプリケーションPOSユーザーの⾏動IoTデバイス顧客中⼼サービス運⽤のアジリティー包括的な品質管理継続的な改善クリティカルなサービスのサポートデータソース データ活⽤
- 18 -- 18 -今後のソリューション︓データファブリックデータファブリックビジネス・アプリケーションカスタム・アプリケーションPOSユーザーの⾏動IoTデバイス顧客中⼼サービス運⽤のアジリティー包括的な品質管理継続的な改善クリティカルなサービスのサポートデータソース データ活⽤「ファブリック」のイメージ︓伸縮性・柔軟性のある繊維構造。データのIn/Outが増減しても、伸び縮みして対応できる!データファブリックとは︖• 分散したデータの課題に対処するための新しいコンセプト/アーキテクチャ!重要な5つの要素1. データ仮想化※2. ビジネス⽤語の管理3. データ品質管理4. データガバナンスの実現5. セルフアクセスの実現データ仮想化基盤ビジネス⽤語の管理データガバナンスの実現データ品質管理セルフアクセスの実現※データレイク・データウェアハウスを必ずしも否定するわけではない⼤量データ取得にあたっての低レイテンシー実現、定常的なワークロードの存在、ユーザが分析するために形式変換が必要な場合は、データウェアハウスなどを活⽤する⽅が適しているケースも
- 19 -- 19 -（参考）データファブリックへの注⽬出典︓https://www.imagazine.co.jp/gartner-strategic-technology2022/
- 20 -- 20 -データファブリックの重要な5つの要素（ざっくりご紹介）
- 21 -- 21 -1. データ仮想化n データ仮想化とは• 物理的にデータを集約せずに、⾼速なクエリ(照会・演算処理など)を通して情報を取得（含︓キャッシュ最適化）• 様々なデータソースに対する接続アダプターを準備し、シングルアクセスを実現• 接続情報などのメタデータのみを保持しつつ、リアルタイムで最新のデータを取得n データ仮想化のメリット• 物理的にデータを集約していないにも関わらず、直感的な操作で最新の情報をリアルタイムに取得できる• シングルアクセス︓データソース/データ活⽤側が増えても、仮想化基盤との認証情報追加で済むn シングルアクセスのイメージデータ仮想化基盤データソース データ活⽤ データソース データ活⽤▼ばらばらのアクセス ▼シングルアクセス
- 22 -- 22 -2. ビジネス⽤語の管理n ビジネス⽤語の管理が必要な理由• 企業には複雑で膨⼤なビジネス⽤語が存在。内容によっては、理解できる⼈にたどり着くだけでも⼤変• テーブルカラムのスキマー名や物理名だけでは意味が分からない。設計書情報も正しいか分からない• 部署や利⽤シーンによっても意味が変わることがある。同⾳異義語や異⾳同義語も存在 (特にM&Aなど発⽣すると)ツールだけでなく継続的にビジネス⽤語を整備するプロセス/体制が⼤事（データスチュワード）企業のビジネス⽤語を様々なメタデータを使って⼤系的に整理し、誰でも理解できる仕組みが必要ビジネス⽤語の検索※イメージ例 (IBM Cloud Pak® for Data )ビジネス⽤語の関連性の把握
- 23 -- 23 -3. データ品質管理n データ品質が必要な理由• 実際のデータ値はどうなっているのか、そのままデータ分析できるかを確認しなければいけない• 例︓最⼤値/最⼩値、平均値、頻度、外れ値、⽋損値、データ来歴 など値の出現頻度最⼩値・最⼤値などの統計情報※イメージ例 (IBM Cloud Pak® for Data )統計情報などのメタデータを簡単に確認し、外れ値や⽋損地に対してもフォローできる仕組みが必要
- 24 -- 24 -4. データガバナンスの実現n データガバナンスが必要な理由• 企業は部⾨/役割、ロケーションなどによって利⽤ポリシーやルールをコントロールしなければいけない• アクセス可否の決定、データマスキングなど。特に、個⼈情報のアクセスに対するアテンションは⾮常に⾼い• 物理的なテーブル、スキーマ、カラム単位でポリシーやルールは管理しきれないルールの設定プロファイル⾮表⽰マスク処理※イメージ例 (IBM Cloud Pak® for Data )ビジネス⽤語やカテゴリなどのメタデータを活⽤しながら容易にガバナンス運⽤できる仕組みが必要
- 25 -- 25 -5. セルフアクセスn セルフアクセスが必要な理由• あらゆるデータにアクセスでき、内容が分かるようになっても、誰かに依頼してデータ提供してもらっていては遅い• データ確認のコミュニケーションだけでオーバーヘッドがかかるし、⼼理的抵抗も⼤きい※イメージ例 (IBM Cloud Pak® for Data )メタデータを集積してカタログとして公開し、データ分析者が⾃分から⽬的データを探せるようにする
- 26 -- 26 -データファブリックの5つの要素のまとめn データファブリックは、従来のデータサイロ化のような問題を解決するために注⽬されているアーキテクチャ/コンセプトデータファブリックビジネス・アプリケーションカスタム・アプリケーションPOSユーザーの⾏動IoTデバイス顧客中⼼サービス運⽤のアジリティー包括的な品質管理継続的な改善クリティカルなサービスのサポートデータソース データ活⽤データ仮想化基盤ビジネス⽤語の管理データガバナンスの実現データ品質管理セルフアクセスの実現メタデータを集積してカタログとして公開し、データ分析者が⾃分から⽬的データを探せるようにするメタデータを活⽤し、定性的にデータ理解/活⽤を促進するメタデータを活⽤し、定量的にデータ理解/活⽤を促進するメタデータを活⽤し、利⽤ポリシー/ルールなどを管理する物理的に集約せずに様々なデータソースの最新情報を取得＆シングルアクセスも実現
- 27 -- 27 -まとめ
- 28 -- 28 -（再掲）本⽇の⽬的・内容・対象者n ⽬的• 思ったよりもAIの活⽤が進んでいない状況についてみなさんと⼀緒に考えてみる• 特に、データドリブン経営を推進する上での課題とソリューションについて考察を深める• みなさんがAIやデータ分析などの⽂脈でワークする時のチップス獲得や視野の拡⼤をするn 内容• データドリブン経営にまつわる課題• データ利活⽤のためのソリューションü 従来︓データレイク・データウェアハウス・データマートü 今後︓データファブリック• データファブリックの重要な5つの要素n 対象者• エンタープライズでのデータ活⽤に興味がある⽅• 特に、AIやデータサイエンス、データエンジニアリングなどでバリューを発揮していこうと考えている⽅• エンタープライズのデータアーキテクチャに興味がある⽅（⼊⾨レベル）• エンタープライズのデータアーキテクチャについて知⾒を得られる• データファブリックの概念がわかって、アーキテクチャ検討などのディスカッションについていけるアンケート回答のご協⼒、SNSフォローなどよろしくお願いいたします︕
tkhresk
alexanderbyndyu
bnasslahsen
kthrtty
soracom
yoshikieguchi
shogo452
oracle4engineer
hcrane
iwamot
sinsoku
isaoshimizu
shimap_sampo
swwweet
pedronauck
bkeepers
kevinliebholz
danielanewman
erikaheidi
panda_program
cromwellryan
tanoku
rasmusluckow
dougneiner
addyosmani