InterSystems IRIS Data Platform で高度なデータ分析のための基盤を整備しよう

2020年2月13日に「DevSumi20」で発表したインターシステムズのスライドです。

Transcript

1. InterSystems IRIS Data Platform で 高度なデータ分析のための基盤を整備しよう 堀田 稔 マネージャ セールスエンジニアリング インターシステムズジャパン株式会社
2. 今日お話しすること  インターシステムズとその製品のご紹介  インターオペラビリティ：データの発生源からデータを加工しデータベースに保存する などの流れを定義します  ML Toolkit：Pythonのランタイムをデータプラットフォームからシームレスに利用でき ます  Analytic Workflows：データ分析チームの作業を自動化します  Integrated ML(QuickML)：機械学習の知識がなくても、SQLライクな言語で機械学習を 行うことができます
3. 3 インターシステムズ社について
4. InterSystems製品の進化 1978 階層型データベース 1996 SQL オブジェクト 2003 Interoperability 相互運用性 2018 より高速に よりシンプルに
5. Data Warehouse - Big Data – Data Lake Operational System Data Warehouse ETL Data Mart HDFS Hive HBase 業務 分析 Agility Operational System ETL ETL Operational System ETL Data Mart Data Mart ログデータ センサーデータ 自然言語 ？ データサイロ スキーマレス Data Lake データガバナンス 機械学習 データ負債をデータ資産へ DataOpsエコシステム 自動化 オープン Best Of Breed データの質
6. InterSystems IRIS Data Platform アーキテクチャ データエンジン＆スクリプト メタデータ SQL OBJ Cube NLP JSON 分散キャッシュ / シャーディング メッセージング BPM Rules Workflow データベース 相互運用性 スケーラビリティ No SQL 埋め込みBI 相互運用性 オープン
7. InterSystems IRIS データベース InterSystems IRIS 相互接続性 InterSystems IRIS 分析 InterSystems IRIS Data Platform 単一でスケーラブルなプラットフォーム
8. “データ分析チーム” Anna Doug Sofia Munir Bob Tom Eric データモデラー ディベロッパ データエンジニア データギーク ビジネスアナリスト マネージャ データサイエンティスト
9. データ分析チーム：課題1 • Pythonを使った数理モデル構築作業とビジネスプ ロセスの連携機能が足りない • モデリング環境からソースデータにもっと直接的に アクセスしたい • データサイエンティストが活用する データの準備を自動化したい
10. インターオペラビリティ メッセージの流れを視覚的にトレース ビジネスプロセスの定義・実行 ビジネスルール データ変換
11. • InterSystem IRISからPythonとRにネイティブ 接続 ― コア開発: ObjectScript API ― ビジネスプロセス開発: インタオペラビリティ ― Jupyter Notebookからビジネスプロセスを編集 可能 • 機械学習の具体的ユースケースでの実装サン プルを含む ML Toolkit
13. 開発中：Analytic Workflows 差別化要因: • 一般的な機械学習技術のサポートによるツールの相互運用性 : ― 言語: Python, R, Spark, … ― フレームワーク: Sagemaker, TensorFlow, … • 基本的なタスクや連携の自動化: ― ロード, 突合, 保存, … • ワークフロー全体の繰り返しと監視
14. 例 | 顧客解約率分析 複雑な問題であるが、売り上げに直接インパクト • 顧客特化要因: ― プロフィール ― 直近のアクティビティ • 外部要因: ― 競合 ― 経済状況 • 季節要因 • … 解約率 = 当月解約数 総顧客数
15. タスク 1 | データの準備 Who? • Eric, データエンジニア What? • エンリッチされたCRMデータセット • 顧客サービスデータセット How? • SQL, CSV files • Bash scripts Load CRM Load CstSrv Load dgx JOIN
16. タスク 2 | 特徴量エンジニアリング Who? • Munir, データモデラー What? • フラット化した特徴量テーブル How? • Rスクリプト Load CRM Load CstSrv Load dgx JOIN Feature Engineering
17. タスク 3 | 機械学習 Who? • Doug, データサイエンティスト What? • 予測モデル • スコア化した履歴データセット How? • Python ― ライブラリ: scikit.learn, matplotlib, … ― ツール: Jupyter Load CRM Load CstSrv Load dgx JOIN Feature Engineering Machine Learning
18. タスク 4 | レポーティング Who? • Munir, データモデラー What? • アドホック分析のためのキューブ • 概要レポート How? • InterSystems IRIS BI • レポーティング技術 Load CRM Load CstSrv Load dgx JOIN Feature Engineering Machine Learning Reporting
19. タスク 5 | モデルのデプロイ Who? • Tom,ディベロッパ What? • 顧客サポートプロセスでの自動アラート How? • InterSystems IRIS インターオペラビリティ Load CRM Load CstSrv Load dgx JOIN Feature Engineering Machine Learning Reporting Deployment
20. Analytic Workflows(分析ワークフロー) | 定義 “分析ワークフローとは、分析プロセスを構 成する一連のタスク” チャレンジ • 異なるタスクは異なるツールによって実装さ れている • 異なるタスクは別々のチームにより管理・監 視されている • 一度だけ行うような実験環境から実用計画に 移行する際、より複雑になる Load CRM Load CstSrv Load dgx JOIN Feature Engineering Machine Learning Reporting Deployment SQL CSV SQL SQL BPL
22. データ分析チーム：課題2 • データサイエンティストは機械学習のモデルを構築 するツールに習熟しているが、それをデベロッパが アプリケーションにうまく組み込めない • 予測モデル構築のニーズが増えるが、 データサイエンティストのリソースが 足りない • 基本的な機械学習のタスクを使い慣れ た環境で実行できれば助かる
23. モデリング/ 機械学習ツール (Spark, R, Tensorflow, …) InterSystems IRIS | PMML 統合 R I S I モデル PMML PMML Class 学習 Input 学習 Output イベント
24. プレビュー版 | Integrated ML(QuickML) データサイエンススキルが不足する中、簡単な操作で、慣れ親しんだSQL環境で、基本的 な機械学習のタスクを実行できる実用的なツール • 特徴量エンジニアリングとモデル選択を自動的に行う • SQLオプティマイザによるパフォーマンス最適化 CREATE MODEL PainAlert PREDICTING IsAnomaly BOOLEAN WITH (PainScore INT, DaysSinceOp INT,…) TRAIN MODEL PainAlert FROM EHR.WardPatientHistory WHERE DateAdmitted < ‘07/01/2019’ SELECT PREDICT(PainAlert), EpisodeID, PatientID FROM EHR.WardPatients
25. Information Portal Analytics Workbench Data Science Lab AI Hub Roles External Embedded InterSystems IRISを基盤とするデータ分析 NLP QuickML AI Connectors PMML Support Analytic Workflows BI Connectors ML Toolkit Spark Connector Gateways UIMA NLP-Fx Available Imminent Roadmap Full-Stack Developer Data Scientist Manager Business Analyst Data Modeler Data Engineer Data Geek Reporting Data OLAP Search Interoperability Columnar Time Series Relational JSON Sensor BI Streaming Enterprise Architect DevOps Engineer
26. クラウド提供 Community コミュニティ（無償） Enterprise エンタープライズ(BYOL) Pay As You Go 従量課金 Docker (OCI) コンテナフォーマットで
27. IRIS QuickStartsについて  QuickStartsは、5分で終わる InterSystems IRIS の学習コンテンツです。  機能ごとに内容が分かれ、概要説明のための数分間のビデオと操作を体験する ためのサンプル提供、実行手順のガイドが付いています。  概要ビデオの日本語字幕もあります。詳細は以下ページをご参照ください。 https://www.intersystems.com/jp/quickstart/  ちょっと試したい場合や、機能全般を網羅しながら体験されたい方に最適です。 https://learning.intersystems.com/course/view.php?id=1055&ssoPass=1 TRY IRISについて  InterSystems 教育サービスが提供する無料のInterSystems IRIS お試し環境です。  お名前とメールアドレスをご登録いただくだけでご利用いただけます。  お試し環境では、QuickStarts の一部を含めたWebベースのIDEをご用意してい ますので、IRISをお試しいただくための特別な準備は不要です。  TRY IRIS https://www.intersystems.com/jp/TRY  TRY IRIS 専用WebベースのIDEの使い方は以下ページをご参照ください。 https://00m.in/X2JYu
28. 技術リソースへのリンク集  開発者向けページ https://www.intersystems.com/jp/developing-with-intersystems-iris/ （https://00m.in/aYWQe）  インターシステムズFAQ https://faq.intersystems.co.jp/  FAQ トピック一覧ページ https://www.intersystems.com/jp/support-learning/support/faq/  Developer Community(英語) https://community.intersystems.com ＊Google翻訳版 https://bit.ly/2wh28v2  日本語ドキュメント https://www.intersystems.com/jp/support-learning/support/document/ （https://00m.in/8jxOn）  TRY IRIS https://www.intersystems.com/jp/TRY  QuickStart for InterSystems IRIS https://www.intersystems.com/jp/quickstart/ （最新情報） https://learning.intersystems.com/course/view.php?id=1055&ssoPass=1  オンラインラーニング(英語) https://learning.intersystems.com  クラスルームラーニング https://www.intersystems.com/jp/support-learning/ learning-services/classroom-learning-2/ （https://00m.in/geQmh）