OCIjp#24 Data Cloud 『Snowflake』のご紹介

Transcript

1. © 2021 Snowflake Inc. All Rights Reserved Data Cloud
 『Snowflake』のご紹介 
 
 Snowflake株式会社
 セールスエンジニア
 Ryota Kato

2. © 2021 Snowflake Inc. All Rights Reserved 本日はよろしくお願いします！ 2 加藤 涼太 (Ryota Kato) Snowflake株式会社　セールスエンジニア プロフィール： スノーフレイク日本法人でセールスエンジニアを担当。 新卒で独立系SIerのTISに入社しアプリケーションエンジニアとして金融系 のお客様向けのアプリ開発を行った。 その後、日本オラクルにて Oracle Cloud の IaaS/PaaSを扱う組織でセー ルスエンジニアとして在籍。 スノーフレイクでは主に金融、ヘルスケア、テックなどのお客様への支援に 従事。
3. © 2021 Snowflake Inc. All Rights Reserved SnowflakeのMission Statement To Mobilize the World's Data 垣根を超えてデータの力を集結させる
4. © 2021 Snowflake Inc. All Rights Reserved Snowflakeのこれまでの歩み
 4 2012年
 San Mateo, CAにて 
 Snowflake設立
 投資家からの資金調達、 
 3年間の開発期間を経て、2015 年に一般提供開始 (GA)
 2020年9月　IPO 
 　全世界で2,000人以上の従業員 
 　現在4,990社以上の顧客 
 2019年9月 日本市場に参入、 
 2020年2月AWS Tokyoでサービス開始 
 
 2021年10月 Azure 東日本 
 　　　サービス提供開始 
 
 *as at 31 July 2021 Snowflakeで1日に処 理されるクエリ：
 > 5億クエリ
 最大テーブル行数：
 
 > 68兆行
 シングルDBの最大 テーブル数：
 > 20万
 シングル顧客の最大 データボリューム：
 > 55PB
 シングル顧客の最大 実行ユーザー数：
 > 1万

5. © 2021 Snowflake Inc. All Rights Reserved On Premises EDW 1st Gen Cloud EDW Data Lake, Hadoop Cloud Data Platform All Data All Users Fast Answers SQL Database Value of Data Time クラウドデータプラットフォームへの道のり
6. © 2021 Snowflake Inc. All Rights Reserved データウェアハウス向けの新しいアーキテクチャ 6
 従来のアーキテクチャ 
 Snowflake
 共有ストレージ シングルクラスタ 
 Shared Everything
 分散型のローカルストレージ シングルクラスタ 
 Shared Nothing
 集中化されたスケールアウト可能なストレージ 複数の独立したコンピュートクラスター 
 Multi-Cluster, Shared Data 
 複数のワークロードを互いに影響を与えずに実 行することが難しいアーキテクチャ
 データを一箇所に管理し、複数のワークロードをWLM なしで実行できるアーキテクチャ

7. © 2021 Snowflake Inc. All Rights Reserved マルチクラウド対応 マルチクラスタコンピュート クラウド・サービス ストレージ M anagem ent Optimization Transactions Security M etadata Data Sharing 3層が分離された柔軟なアーキテクチャを採用 Snowflakeのアーキテクチャ 7
8. © 2021 Snowflake Inc. All Rights Reserved Snowflake 製品の進化 8

9. © 2021 Snowflake Inc. All Rights Reserved Cloud Data Platform プラットフォームの内部を支えるもの 
 データ
 シェアリング 

10. © 2021 Snowflake Inc. All Rights Reserved 伸縮性のある高性能エンジン データサイエンス ETL BI/視覚化 Dev/QA すべてのワークロードに対して 1つのエンジン アーキテクチャーを簡略化します。複雑な パイプライン、分析、データサイエンス、 双方向アプリケーションなどを強化します。 トップクラスの性能と同時実行性 毎回迅速で信頼性の高い性能を発揮し、微調整や 競合が発生しません。あらゆる規模のユーザー、 ジョブ、データに対して速やかにコスト効率の高い 方法で適合します。 あらゆるユーザーやスキルセットに対応 SQLの使いやすさと、JavaやScalaなどに対応する 柔軟性を兼ね備えています。 拡張機能として外部のツールを直接実行でき ます。
11. © 2021 Snowflake Inc. All Rights Reserved メンテナンス &微調整 自動でユーザーのために管理されている 重要なものに集中できるようにする、オートメー ションによるフルマネージド型です。 データの暗号化、アクセスコントロールを実行する ほか、手動によるメンテナンスやトラブルシュー ティングを排除します。 高可用性・高信頼性 クラウドやリージョンをまたぐ複雑なレプリケーショ ンやフェイルオーバーを自動化します。何があっ ても停止せずに稼働し続けます。 全てのデータのコスト最適化 使用量ベースのモデルに、特許取得済みの圧縮 機能と細部にわたるコントロール機能を組み合わ せることで、コストを適正化します。新たな効率性 に向けた継続的改善が行われています。 インテリジェントなインフラストラクチャー Snowflakeの管理対象 マルチクラスター リソース 管理 ネットワーク& 暗号化 データ 管理 集約された ストレージ
12. © 2021 Snowflake Inc. All Rights Reserved SNOWGRID グローバルな事業継続性の維持 クラウドやリージョンをまたぐ独自の接続性により、途絶の 解消、より良い体験の提供、変化する規制への対応を実現 します。 ETLやサイロのないデータの共有 クラウド、リージョン、ワークロード、組織のドメインにかかわ らずデータに対する障壁を取り除きます。 1つのデータコピーから迅速にアクセスし、配布することがで きます。 クロスクラウドなガバナンスコントロール データに沿った柔軟なポリシーによりガバナンスを 大規模に簡略化し、ユーザーやワークロードに対する一貫し た適用を実現します。 拡張されたエコシステムの活用 ネットワークでつながったサードパーティデータが インサイトを充実させます。 AWS GCP Azure Snowflakeのリージョン
13. © 2021 Snowflake Inc. All Rights Reserved 13 従来の方法 データのコピーと移動 データの遅延 管理と維持にコストがかかる データの移動後に安全性が確保されない エラーが生じやすい、パイプラインの破損 SNOWGRIDがデータ共有を実現 Snowflake FTP | API | ETL | クラウドバケット 安全なデータ共有 ライブデータの単一コピー、遅延なし 移動、コピー、統合のコストが不要 データレイクのサイロなし プライバシー遵守 ガバナンスの効いた、取消可能なアクセス
14. © 2021 Snowflake Inc. All Rights Reserved April 30th, 2021 April 30th, 2020 Data Cloudの成長(2020〜) 14 *Visualizations based on actual Data Cloud sharing activity as of April 30, 2020 and April 30, 2021 as applicable July 31st, 2021
15. © 2021 Snowflake Inc. All Rights Reserved 今日のData Cloud 何千もの企業が、 自社のエコシステムと データを共有 ソフトウェア企業 は、 何テラバイトものデータを 数百の顧客と共有 新型コロナデータ は、 米国その他の組織から Snowflake Data Marketplaceで リアルタイムに利用可能 データパイプラインがなくても、 当日 の金融データに 即座にアクセス可能 何千社もの企業 が、 サプライヤー、パートナー、 その他の部門とデータを共有 *2021年7月現在の実際のデータクラウド共有状況を図示
16. © 2021 Snowflake Inc. All Rights Reserved デモ
17. © 2021 Snowflake Inc. All Rights Reserved Snowflakeへのデータロード方法
 ①バルクローディング 
 • COPYコマンド
 • ユーザ管理の
 コンピュートリリソース
 
 ②連続ローディング 
 • Snowpipe
 • Snowflake管理の
 コンピュートリソース
 S
18. © 2021 Snowflake Inc. All Rights Reserved イベント告知
19. 12月7日(火)・8日(水)の2日間、オンラインで開催！ 1. グローバルなマルチクラウドレプリケーション レプリケーションをデータベースからアカウントのメタデータにまで拡張し、障 害発生時にクラウドやリージョンを超えたシームレスな相互運用を実現する 新機能をご紹介します。 2. データレイクのための Snowflake データアーキテクチャをシンプルにするデータストレージに関する Snowflake のビジョンを披露し、最新のデータレイク機能のデモを行います。 3. データサイエンスのための Snowflake いよいよデータサイエンティストにも Snowparkをご活用いただける時が来まし た！Snowparkの新機能の説明とデモに加え、新しい使用事例をご紹介しま す。 4. データエンジニアリングのための Snowflake 最もご都合のよい言語を Snowparkで使い、より速く、より高性能で、よりス マートなデータパイプラインを構築する方法を最新機能のデモを通してご紹 介します。 DAY1は、Snowflakeの最新情報を扱う技術セッション ご登録はこちら
20. 12月7日(火)・8日(水)の2日間、オンラインで開催！ 午前：特別エグゼクティブ対談 午後：Snowflake国内ユーザー事例 DAY2は、Snowflakeの国内ユーザ15社+ が語ります • 株式会社NTTドコモ • CCCマーケティング株式会社 • ジヤトコ株式会社 • 株式会社セゾン情報システムズ • Chatwork株式会社 • Datagem合同会社 • dely株式会社 • 東京海上日動システムズ株式会社 • 野村ホールディングス株式会社 • 株式会社FOOD＆LIFE COMPANIES • 株式会社ファミリーマート • ラクスル株式会社 • 横河電機株式会社 • 電気通信大学 • 株式会社デンソー ご登録はこちら
21. © 2021 Snowflake Inc. All Rights Reserved THANK YOU