IBM Dojo はじめてのCloud Pak for Data

Cloud Pak fot Dataをはじめて利用される方に向けた超入門ガイド
CSVファイルから分析ダッシュボードを作成するハンズオンの資料を含みます

1. IBM Tech Dojo はじめてのCloud Pak for Data Noriko Kato Customer Success Manager Federated Developer Advocate 2021/07/21 #IBMDojo
2. Group Name / DOC ID / Month XX, 2018 / © 2018 IBM Corporation 2 Customer Success Manager Federated Developer Advocate
3. 学習の⽬的とゴール ⽬的 Cloud Pak for Data の特徴を知る ゴール Cloud Pak for Data の基本機能が使える 機能のヘルプやサンプルが確認できる このコースを学ぶ⽅の想定スキル Cloud Pak for Dataを初めて利⽤する⽅ PCの基本操作が可能な⽅ 3
4. ⽬次 1.IBM Cloud Paks を知ろう Cloud Paks できること 2.Cloud Pak for Data 機能紹介 3.ハンズオン 画⾯のメニューと操作⽅法 4.おすすめ情報 ツール・Dojoコース紹介 4
5. 1.IBM Cloud Paks を知ろう 5
6. 1.IBM Cloud Paks を知ろう 6 ハイブリッドクラウド向けAIを 搭載したソフトウエア
7. 1.IBM Cloud Paks を知ろう 7 特徴（機能） ü IBM WatsonでビジネスにAIを適⽤ ü データとAIを活⽤した予測 ü プロセスの⾃動化 ü セキュリティー統合と管理の可視化 ü シームレスなコラボレーションによる効率向上
8. 1.IBM Cloud Paks を知ろう 8 特徴（環境） ü Red Hat OpenShiftに構築可能 ü IBM Cloud , AWS, Azure などクラウドで使える ü オンプレミス環境に構築可能
9. 1.IBM Cloud Paks を知ろう 9 ６つのソリューションでビジネスクラウドの開発管理を強⼒に⽀援 Cloud Pak for Data • 収集 • 編成 • 分析 • 機能を統合し 簡素化 • データを洞察に 転換 Cloud Pak for Business Automation • ワークフロー • RPA • 意思決定支援 • ビジネスの核の 変革 • 柔軟な拡張性 Watson AIOps • 説明可能なAI • インシデント評価 • イベント影響予測 • 障害予測 • AIによるリスク 軽減 Cloud Pak for Integration • システム連携 • ライフサイクル 自動化 • API管理 • 高速転送 • 運用の俊敏性を 向上 Cloud Pak for Security • リスクの発見と 意思決定支援 • データ移行回避 • マルチクラウド 環境下のツール 統合 • ワークフロー連携 Cloud Pak for Network Automation • ネットワーク 運用自動化 • ゼロタッチ運用化 • サービス迅速化 • インテント駆動 型オーケスト レーション
10. 1.IBM Cloud Paks を知ろう 10 n データ n ビジネス・オートメーション n Watson AIOps n インテグレーション n ネットワーク⾃動化 n セキュリティー 詳細はこちら︓https://www.ibm.com/jp-ja/cloud/paks オープン・迅速・高信頼性を 備えたモダナイゼーションと クラウドへの移行を支援
11. 2.Cloud Pak for Data 11 Cloud Pak for Data は、あらゆるデータニーズに対応するオールインワンのプラットフォームです。 Cloud Pak for Data は、アーキテクト、データサイエンティスト、開発者、データスチュワードの 間のサイロを排除しようとしています。Cloud Pak for Data は、データの収集、整理、分析、活⽤ のためのパイプラインを作成することで、作業を効率化するのに役⽴ちます。
12. 2.Cloud Pak for Data 12
13. 2.Cloud Pak for Data 13 データ活⽤を加速させるプラットフォーム例 Data Access & Insights Services カタログ データレイク レポジトリ データ仮想化 データアクセス (SQL / APIs) Knowledge Catalog (データアセット, ポリシー & ルール, 来歴, ….) データ利⽤側 データ統合 データ移⾏ データレプリ ケーション データの ⾃動分類 マスキング ⾃動化 プロファイル ⾃動作成 情報資産 ⾃動検出 データ 探索 キャッシング オプティマイザー • データプライバシー ルールの適⽤ • ビジネス⽤語との 関連づけ • 仮想アセット の公開 接 続 アセット ブラウザ グローバル サーチ データ プレビュー データ アクセ ス IBM Cloud Pak for Data コンプライアンス レポート Discovery & Exploration セルフサービス アナリティクス BI レポート, ダッシュボード ビジネス アプリケーション AI, ML & 最適化 トランザクション ・システム & 基幹業務 アプリケーション • Cloud • ソーシャルメディア • ⾮構造化 • その他外部データ • IOT • Systems of Record • ログ • … サンド ボックス データ ウェアハウス Cloud データソース NoSQL オブジェクト ストア フラット ファイル データ提供者の視点 データ利⽤者の視点 仮想DB 仮想コピー
14. ユーザー データソース 2.Cloud Pak for Data データ仮想化 14 仮想的データ統合で物理的に集めることなく、データ照会や演算処理を⾼速化します。データレイク、データウェアハウス、 データマートがそれぞれ別のテクノロジーに格納された形式であっても、IBM Cloud Pak for Dataが提供する接続アダプ ターにより、分析者からはシームレスにアクセスできます。 Cloud Pak for Data アプリ モバイル 分析 ツール BI Web サービス インターフェース 仮想化機能 キャッシュ クエリー最適化 接続アダプター カタログ (データの⼀覧化 所在の確認) パフォーマンスとの トレードオフを 考慮したフェージング 複数のデータソースに対してシングルアクセスを実現 サンドボックス データ ウェアハウス クラウド上の データ ソーシャル ビッグデータ CSV ファイル オフライン データ データ マート IBM Cloud AWS Azure ビジネス⽤語 セキュリティー
15. データ仮想化の特⻑ 多数のデータソースに対応 • Oracle、Db2、SQLServer、Informix、Netezza、 MySQL、PostgreSQL、Big SQL、Apache Hive、 HDP Hive、Snowflake、Cloudera Impala等 スキーマ探索とフォールディング • システム間で共通のスキーマを⾃動的に検出し、これを データ仮想化で単⼀のスキーマとして⾒る事が可能 Cloud Pak for Dataサービスとの連携 • Watson Knowledge Catalogと連携し、仮想化された データをカタログへ公開し、共有する事が可能 • 分析ツール（Cognos、Watson Studio等）を介したア クセス セキュリティ • アクセス制御 • 通信暗号化 豊富なアプリケーション機能 • 好みのSQLツールを使⽤して、Data Virtualizationに 接続する事が可能 • Rstudio、Jupyter Notebook、Cognos、Tableau、 MicroStrategy シンプルなビュー結合 • 実データ、データウェアハウス、データマート等の様々な種 類の分散しているデータベースを跨いでテーブル/ビューを 作成する事が可能 1 2 3 4 5 6 クラウド オンプレ CP4D上で 仮想 VIEW作成
16. 2.Cloud Pak for Data 16 カタログとデータ仮想化の連携 カタログ上で⼀度紐付けしたテーブルの列名とビジネス⽤語をデータ仮想化の機能を使って、ビジネス⽤語でデータを提供 することも可能です。マスキングしたデータを仮想化を通して、実際のデータを加⼯・コピーすることなくマスキングした ままデータを提供することも可能です。 テーブルの列名を仮 想化で別名をつける ことも可能です。 紐付けされたビジネ ス⽤語。 紐付けされたビジネ ス⽤語に列名を⼀括 変換
17. 2.Cloud Pak for Data 17 アクセス管理 データ仮想化オブジェクト単位でアクセス権限管理が⾏えます。 Cloud Pak for Dataは データ仮想化の機能も 提供しています 複数のデータソースに対して、 仮想表を作成できます 仮想表に対してアクセスできる ユーザーを指定します
18. 2.Cloud Pak for Data 18 仮想化によるシングルアクセスメリット データ仮想化は、複数のデータソースに対してシングルアクセスを提供します。これにより、ソースデータのテーブル名・ 列名を分かりやすい名称で提供することが可能で、かつ、ユーザーの認証/アクセスの設定を仮想表に対して⾏うことができ ます｡データ仮想化で⼀元的にアクセス設定を⾏う運⽤をとることができます。 ユーザーA ユーザーB ユーザーA ユーザーB 認証 情報 認証 情報 認証 情報 認証 情報 認証 情報 認証 情報 認証 情報 認証 情報 仮想表 アクセス許 可ユーザー • ユーザーA • ユーザーA • ユーザーB • ユーザーB • ユーザーA • ユーザーB 認証 情報 認証 情報 提供者 提供者 • DB毎/テーブル毎に 細かな認証情報を設定 • DB側での作業も発⽣ • 与えられた複数 の認証情報を ⾃分で管理 • 仮想ビューに対し、アクセスを 許可するユーザーを設定するのみ • DB側の追加設定作業は発⽣せず • 仮想的にひとつのDBに ひとつの認証情報でアク セス • アクセス許可されたもの だけ利⽤可能 テーブル MEMBER テーブル 会員情報 テーブル A001 テーブル 保守情報 テーブル B001 テーブル 障害情報 テーブル MEMBER テーブル A001 テーブル B001 • 名前もわかりに くい • 理解しやすい名称
19. 2.Cloud Pak for Data 19 データ提供⽅法 実際に公開可能な場所にデータをコピーしたり、データ加⼯が必要なケースはETLなどで実データを作成します。すでに公開可能データ が存在する場合、データ仮想化機能とデータカタログ機能の連携により、必要なデータへの迅速なアクセスを実現します。データ仮想 化機能を利⽤すると複数データをコピーする事なく、切り⼝を変えてデータ提供することも可能になります。 … Hadoop データ提供サービス データレイク レポジトリ データ利⽤側 データ統合 データ移⾏ データレプリ ケーション 接 続 IBM Cloud Pak for Data コンプライアンス レポート データ探索 & 可視化 セルフサービス アナリティクス BI レポート, ダッシュボード ビジネス アプリケーション AI, ML & 最適化 IBM Cloud トランザクション・ システム & 基幹業務 アプリケーション • Cloud • ソーシャルメディア • ⾮構造化 • その他外部データ • IOT • Systems of Record • ログ オンプレミス • … データ ウェアハウス Cloud データソース NoSQL オブジェクト ストア フラット ファイル 直接提供 ⼀部仮想化して提供 ⼀部仮想化して提供 データ加⼯して提供
20. 2.Cloud Pak for Data 20 AI
21. 2.Cloud Pak for Data 21 ストレージ データ・ガバナンス ダッシュボード
22. 2.Cloud Pak for Data 22 データ・ソース
23. 2.Cloud Pak for Data 23 分析
24. 2.Cloud Pak for Data 24 業種別ソリューション 開発者ツール
25. 3.ハンズオン 25 ログイン ご案内したURLからユーザーとパスワードを⼊⼒しログインする
26. 3.ハンズオン 26 プロジェクト作成 ログイン後、左メニューから①すべてのプロジェクトを選択、②新しいプロジェクト、③次へ をクリックする ① ② ③
27. 3.ハンズオン 27 プロジェクト作成 ログイン後、左メニューから①空のプロジェクトを作成を選択、②プロジェクト名を⼊⼒、③作成 をクリックす る ① ② ③
28. 3.ハンズオン 28 資産の登録 タブから①資産を選択し、右メニューのデータ、ロードからファイルを②参照、③CSVファイルを選択し(開く) アップロード ① ② ③
29. 3.ハンズオン 29 登録データの確認 データ資産から①登録したファイルを選択し、②データ内容を確認する ③Project画⾯に戻る ① ② ③
30. 3.ハンズオン 30 ダッシュボードの作成 プロジェクト右上の①プロジェクトに追加をクリック、②ダッシュボードを選択 ③ダッシュボード名を⼊⼒（⽇本語⼊⼒可）し、④作成 ① ② ④ ③
31. 3.ハンズオン 31 テンプレートの選択とリソース デ①任意のテンプレートを選択、②OK ③選択されたリソースをクリック ① ② ③
32. 3.ハンズオン 32 リソースの接続 接続リソースの選択から①データ資産を展開、②登録したcsvファイルを選択し、③選択、④ファイルが読み込まれたこ とを確認する（クリックで展開できる） ① ② ③ ④
33. 3.ハンズオン 33 表の作成 左メニュー（アイコン）から①グラフを選択し、②表を選択、③グリッド上の任意の位置に置く ④データをドラックし⑤列に登録（データ項⽬ 画⾯では製品名と⾦額を推奨) ① ② ③ ④ ⑤
34. 3.ハンズオン 34 資産の登録 作成した表を選択しコピー、①コピーした表を選択、②上部メニューバーより表を選択、 視覚化の変更から③全ての視覚化、④グラフを選択、⑤グラフ表⽰に変更 ① ② ④ ③ ⑤
35. 3.ハンズオン 35 保存とプレビューモードからの再編集 上部メニュー①フロッピーアイコンをクリックして保存 プレビューモードの上部メニュー②鉛筆アイコンをクリックして編集、③ダッシュボードのロックを解除 ① ② ③
36. 3.ハンズオン 36 削除 各メニュー表⽰右の︓から削除ができます ①プロジェクト削除 ②データ資産削除 ③ダッシュボード削除 ① ② ③
37. 4.おすすめ情報 IBM Cloud Pak for Data を試⽤する https://jp- tok.dataplatform.cloud.ibm.com/registration/stepone?preselect_region=true&context=cpdaas& apps=all IBM Cloud Pak for Data as a Serviceを始めてみる https://qiita.com/Asuka_Saito/items/df3467dc4c9919772c63 37
38. 免責事項 38 IBM Developer Dojoは開発者の⽅を対象に、IBM Cloudを主とした技術情報をお伝えする⽬的で開催しています。 講師や運営スタッフにより、開催毎に最適と判断した内容でお届けしています。 現在、ハンズオンを伴う講義はお客様の費⽤負担がない環境と⼿順でご案内しています。講義終了後、不要に なりました制作物はお客様ご⾃⾝で削除をお願いいたします。クレジットカードの登録が伴わない場合、費⽤は ⼀切発⽣致しませんが、ご登録いただいたお客様はご注意ください。 講師陣はみなさまの利⽤状況を個別に確認することはできません。 ご理解とご協⼒をお願いいたします。 利⽤したサービスの削除⽅法については講義の中でご案内します。 ご不明な点がございましたら、当⽇確認をお願いいたします。 講義終了後、 IBM Developer Dojoに関するお問い合わせは「Slack」にお願いします。それ以外のIBM Cloudの お問い合わせにつきましては、弊社サポートセンターまで、次のいづれかの⽅法でお問い合わせください。 IBM Cloudダッシュボードの「サポート」メニューから「Case」を作成し、英語でご記⼊ください IBM Cloudサポートセンター「相談する」ボタンからチャットまたは電話でご連絡ください https://www.ibm.com/jp-ja/cloud/support ご参加ありがとうございました。
39. 感想を教えてください
40. カスタマー サクセス マネージャ- 募集中 Customer Success Manager 募集中