Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Oracle Cloud Infrastructure Data Science Service
Search
oracle4engineer
PRO
May 31, 2022
Technology
3
1k
Oracle Cloud Infrastructure Data Science Service
2020年2月リリース OCI Data Science Service技術概要資料
oracle4engineer
PRO
May 31, 2022
Tweet
Share
More Decks by oracle4engineer
See All by oracle4engineer
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
10
75k
Oracle Database 23ai Developer Tech Day : データとアプリケーション開発の未来
oracle4engineer
PRO
1
51
Oracle Database 23ai Developer Tech Day : AI Vector Search 最新のエンタープライズシステムの強化
oracle4engineer
PRO
1
62
Oracle Database 23ai Developer Tech Day : Oracle APEX 生成AIを活用したローコード・アプリケーション開発/
oracle4engineer
PRO
0
49
Oracle Database 23ai Developer Tech Day : Think Relational, Stay JSON:Oracleの二面性ビューによる革命
oracle4engineer
PRO
2
39
Oracle Database 23ai Developer Tech Day : グラフ -データのつながり
oracle4engineer
PRO
0
41
Oracle Database 23ai Developer Tech Day : 自然言語処理技術を活用したアプリを構築し、業務を変革
oracle4engineer
PRO
1
57
Modern Linux
oracle4engineer
PRO
0
160
Autonomous Database サービス・アップデート (FY26)/adb-service-update-jp-fy26
oracle4engineer
PRO
0
37
Other Decks in Technology
See All in Technology
開発者を支える Internal Developer Portal のイマとコレカラ / To-day and To-morrow of Internal Developer Portals: Supporting Developers
aoto
PRO
1
470
[ JAWS-UG 東京 CommunityBuilders Night #2 ]SlackとAmazon Q Developerで 運用効率化を模索する
sh_fk2
3
450
研究開発と製品開発、両利きのロボティクス
youtalk
1
530
AI時代を生き抜くエンジニアキャリアの築き方 (AI-Native 時代、エンジニアという道は 「最大の挑戦の場」となる) / Building an Engineering Career to Thrive in the Age of AI (In the AI-Native Era, the Path of Engineering Becomes the Ultimate Arena of Challenge)
jeongjaesoon
0
230
DroidKaigi 2025 Androidエンジニアとしてのキャリア
mhidaka
2
380
要件定義・デザインフェーズでもAIを活用して、コミュニケーションの密度を高める
kazukihayase
0
120
Firestore → Spanner 移行 を成功させた段階的移行プロセス
athug
1
500
EncryptedSharedPreferences が deprecated になっちゃった!どうしよう! / Oh no! EncryptedSharedPreferences has been deprecated! What should I do?
yanzm
0
480
普通のチームがスクラムを会得するたった一つの冴えたやり方 / the best way to scrum
okamototakuyasr2
0
110
サラリーマンの小遣いで作るtoCサービス - Cloudflare Workersでスケールする開発戦略
shinaps
2
470
「その開発、認知負荷高すぎませんか?」Platform Engineeringで始める開発者体験カイゼン術
sansantech
PRO
2
190
Generative AI Japan 第一回生成AI実践研究会「AI駆動開発の現在地──ブレイクスルーの鍵を握るのはデータ領域」
shisyu_gaku
0
320
Featured
See All Featured
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
36
2.5k
Writing Fast Ruby
sferik
628
62k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.4k
Unsuck your backbone
ammeep
671
58k
Faster Mobile Websites
deanohume
309
31k
Principles of Awesome APIs and How to Build Them.
keavy
126
17k
The MySQL Ecosystem @ GitHub 2015
samlambert
251
13k
Side Projects
sachag
455
43k
Being A Developer After 40
akosma
90
590k
Code Review Best Practice
trishagee
71
19k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
The Illustrated Children's Guide to Kubernetes
chrisshort
48
50k
Transcript
Oracle Cloud Infrastructure Data Science Service 製品概要 日本オラクル株式会社
一般的な機械学習環境 2022/5/31 Copyright © 2022, Oracle and/or its affiliates 2
Operating System MLライブラリ群 etc. Server HW CPU Server HW GPU 様々なPythonライ ブラリを自由にイン ストール データロード データ変換 モデル学習 モデル評価 モデル解釈 etc. 機械学習のワークフロー データ レイク DWH IoT オープン データ ... ... コーディング • Pythonでの開発環境(機械学習ツール のデファクト) • Pythonの多種多様なライブラリをユー ザー自由にインストールし、開発環境を 構築(古典的なライブラリから最先端のラ イブラリまで) • ノートブック(Jupyterなど)でコーディング ベースの機械学習ワークフロー • 汎用サーバーでCPUやGPUを利用 • データレイク、DWH、IoT、オープンデータ などの外部データが学習データのソース
Data Science Service導入のメリット 2022/5/31 Copyright © 2022, Oracle and/or its
affiliates 3 Operating System(Oracle Linux) MLライブラリ群 etc. Compute CPU Compute GPU データロード データ変換 モデル学習 モデル評価 モデル解釈 etc. 機械学習のワークフロー Big Data Service Object Storage Data Flow API Gateway ExaCS ADB 様々なPythonライ ブラリを自由にイン ストール ... ... コーディング • クラウド化のメリット • 機械学習に必要な主要SW、HWスタックを数 分でプロビジョニング • 初期インストール不要、設定不要、メンテナン ス不要 • 構成変更が容易(スケールアップ・ダウン) • 使用量に応じた従量課金 • PaaSとしては無償のサービス • IaaSのみの課金(Compute, Block, Object Storage, Network) • OCI他サービスとの連携 • データレイク(Big Data, Object Storage) • DB(ExaCS、ADB、MySQLなど) • データ処理(Data Flow、Functions、API Gateway、Streaming) • 初期学習コストが低い(既存Pythonユーザー) • 既存コードの再利用、最低限のコード改修 Streaming Data Science Service
• プロジェクト • 全てのリソースを保持する共同ワークスペース • Notebookセッション • モデルを構築、学習するためのコーディング環境 • Jupyter
Notebook、MLライブラリ群がプリインス トールされたComputeインスタンス • 作成時にCompartment、VCN、Subnet、 Computeシェイプ、Block Volumeの容量を指定 • MLライブラリ • Keras、Tensor Flow • scikit-learn • XGBoost • Oracle Accelerated Data Science(ADS) • モデルカタログ • 構築したモデルを登録、共有するストレージ領域 Data Science Serviceのコンポーネント 2022/5/31 Copyright © 2022, Oracle and/or its affiliates 4 Accelerated Data Science scikit-learn MLライブラリ Jupyter Notebook Notebootセッション Compute Block Storage プロジェクト モデルカタログ モデル モデル 分析チーム インフラ担当 アプリ開発担当 データサイエンティスト ビジネスユーザー ノウハウ、リソースの共有共同開発
開発までのステップ 2022/5/31 Copyright © 2022, Oracle and/or its affiliates 5
③Notebookにログイン後、 Pythonでコーディング開始 ②プロジェクト内にNotebookセッ ションの作成 ①プロジェクトの作成 OCIコンソール OCIコンソール Jupyter Notebook
• Oracle Cloud Infrastructure Data Scienceの一 部として機能するPythonライブラリ • 機械学習のライフサイクル全てのフェーズで使いやすく シンプルなAPI
• OCIのその他のサービスおよび他社サービス(Amazon S3、Google Cloud Storage、Azure Blob)との連 携API • Oracle AutoML 1. 最適なアルゴリズム選択の自動化 2. データのサンプリングの自動化 3. 最適な特徴量選択の自動化 4. ハイパーパラメータ・チューニングの自動化 Oracle Accelerated Data Science(ADS) 2022/5/31 Copyright © 2022, Oracle and/or its affiliates 6 機械学習のワークフロー Confidential – © 2020 Oracle Internal ⑥モデルの 解釈 ②データの 変換 ①データの ロード ⑤モデルの 評価 ③データの 可視化 ④モデルの 学習 Accelerated data Science AutoML
Oracle AutoMLによる自動化 2022/5/31 Copyright © 2022, Oracle and/or its affiliates
7 ①最適なアルゴリズム選択の自動化 ②サンプリングの自動化 oracle_automl.visualize_algorithm_selection_trials() oracle_automl.visualize_adaptive_sampling_trials()
Oracle AutoMLによる自動化 2022/5/31 Copyright © 2022, Oracle and/or its affiliates
8 ③最適な特徴量選択の自動化 ④ハイパーパラメータ・チューニングの自動化 oracle_automl.visualize_feature_selection_trials() oracle_automl.visualize_tuning_trials()
モデルのデプロイ 2022/5/31 Copyright © 2022, Oracle and/or its affiliates 9
Accelerated Data Science scikit-learn MLライブラリ Jupyter Notebook Notebootセッション Compute Block Storage プロジェクト モデルカタログ モデル A モデル B 分析チーム インフラ担当 アプリ開発担当 データサイエンティスト ビジネスユーザー Instance 1 Instance 2 Instance N HTTP endpoint Load Balancer Client Application Predict Log Access Log OCI Logging Service モデル A モデル A モデル A Request Response • WebUIベースのオペレーション による簡単なモデルのデプロイ • 予測モデルをデプロイするシェ イプを選択するだけの簡単操 作 • ロードバランサー、デプロイサー バーが自動構成され、可用 性、性能を考慮した構成とな る • RESTエンドポイントが自動付 与され、デプロイ後、すぐに API Call可能 • OCI Logging Serviceとの連 携により、API Callの状況のロ グ取得が可能 学習環境 デプロイ環境
Data Flow Serviceとの連携 Copyright © 2022, Oracle and/or its affiliates
10 • Data ScienceのコードからData Flowアプリケーションの作成、実行が可能に(ADSライブラリ利用) • データのサンプリング、データの集計、その他機械学習の前処理などのバッチをData Flowで実行 Data Science Service Data Flow Service アプリの新規作成 アプリの実行 既存アプリの読み込み create_app() load_app() run() fetchlog() 新規 アプリ 既存 アプリ アプリ実行ログの取得 ローカル スクリプト ローカル スクリプト Pyspark SparkSQL Pyspark 処理済データの取得 open() Object Storage Service 新規アプリ 既存アプリ 処理前 データ 処理済 データ ログ stdout stderr シングルインスタンス マルチインスタンスによる高速処 理 2022/5/31
他サービスとの連携による分析基盤 Copyright © 2022, Oracle and/or its affiliates 11 インフラ担当
アプリ開発担当 データ サイエンティスト ビジネスユーザー Data Science Service Data Flow Service アプリの新規作成 アプリの実行 既存アプリの読み込み create_app() load_app() run() fetchlog() 新規 アプリ 既存 アプリ アプリ実行ログの取得 ローカル スクリプト ローカル スクリプト Pyspark SparkSQL Pyspark 処理済データの取得 open() Object Storage Service 新規アプリ 既存アプリ 処理前 データ 処理済 データ ログ stdout stderr シングルインスタンス マルチインスタンスによる高速処 理 ソーシャル データ クリックスト リーム システムロ グ センサー Streaming Service データレイク あらゆるデータをオブジェクトス トレージに安価に集約し、用 途に応じたデータ処理エンジ ンから利用する ETL データのサンプリング、データ の集計、その他機械学習 の前処理などをSparkバッ チで実行 データ分析、機械学習環境 ITOps、LOBユーザーがノウハウを集結し、 分析シナリオ、データ、構築済モデルなどを 共有しながら、チームとして分析プロジェクトを推進 メッセー ジング Data Science をデータ分析、機械学習環境、Data FlowをETL、オブジェクトストレージをデータレイク、Streamingを メッセージングシステムとして構成し、分析基盤を構築 2022/5/31
Data Labelingのデータセットの読み込み 2022/5/31 Copyright © 2022, Oracle and/or its affiliates
12 df = pd.DataFrame.ads.read_labeled_data( dataset_id = “<dataset_ocid>”, materialize = True ) dataset_id :Data Labelingで作成したデータセットのOCID materialized : Trueの場合、データフレーム作成時に実データを 読み込む。Falseの場合実データの読み込みは行わない。 Data Science Service AI Vision Service ⚫ Accelerated Data Science APIを利用 ⚫ オブジェクトストレージ上のデータセットのOCIDを指定し、 Pandasデータフレームにデータをロード ⚫ VisionのOCI Consoleからデータセットを選択
None