Managed_Kafka_by_Red_Hat_202106.pdf

Red Hatによる Managed Kafka のサービス 〜 OpenShiftベースでハイブリッドクラウド環境に対応したイベントストリーミングプラットフォーム 〜 をご紹介！

Transcript

1. OpenShiftベースでハイブリッドクラウド環境に対応した イベントストリーミングプラットフォーム Red Hat OpenShift Streams for Apache Kafka Red Hatによる Managed Kafka サービス (RHOSAK) 1 Red Hat Application Services Solution Architect Taku Sugimoto
2. 2 ▸ イントロダクション ▸ Red Hat OpenShift Streams for Apache Kafka 概要 ▸ ユースケース ▸ トライアルの始め方 アジェンダ
3. 3 イントロダクション A Red Hat OpenShift Application Service
4. 4 次世代のメッセージング - 少ないオーバーヘッドで大量 データを保持、連携、ストリーミングできるように設計 イントロダクション Apache Kafkaのインパクト リアルタイムなイベント処理のためのオープンソーステクノロジーとしてデファクトスタンダード リアルタイムなデータ処理 - バッチ処理や ETLアプリ ケーションの遅延を無くし、より良い顧客体験を提供 イベント駆動型アーキテクチャのベース - データドリブン でマイクロサービスベースのアプリケーションのデリバ リーを簡素化
5. イントロダクション 5 Apache Kafkaのユースケース 顧客体験の向上 情報へのアクセス時間や応答時間を改善する ことで、よりリアルタイムな体験を提供 マイクロサービス アプリケーション マイクロサービスを疎結合にすることで、ア プリケーション開発のアジリティを改善 ETLの ストリーミング処理 バッチ処理をリアルタイム化することによる アプリケーションのモダナイズ リアルタイムな分析 より適切なビジネス判断を行えるようにする ために様々なデータソースからデータを収集 エッジやハイブリッド でのデータ連携 エッジやクラウドなど、様々なデバイスやシ ステムに散在するデータの収集
6. 6 イントロダクション Kafka関連製品へのRed Hatの貢献 数々のイノベーションと成功事例 Red HatはKafkaをKubernetesで 実行できるようにし、Red Hat AMQ Streamsをリリース (Red Hat Integrationの一部) イベント駆動型の ソリューションを実現する Kafkaのエコシステム 成功事例 Kafkaに関連する イノベーション
7. 7 Red Hat OpenShift Streams for Apache Kafka (RHOSAK) 概要 A Red Hat OpenShift Application Service
8. クラウド プロバイダー アプリケーション レイヤー 8 OpenShift+Services = オープンなハイブリッドクラウドエクスペリエンス クラウドネイティブなアプリケーションを開発するための統合プラットフォーム アプリケーション サービス KUBERNETES ENGINE 最適化されたデベロッパーエクスペリエンス Database services Integration services Partner services Data services Workflow services Identity services Customer services Decision services native integration お客様の データセンター
9. 9 Red Hat OpenShift Streams for Apache Kafka ストリーム処理アプリケーションのための ホステッドかつマネージドなKafkaのサービス オンプレミスやハイブリッドクラウド環境にまたがる リアルタイムアプリケーションの開発に際しての 運用コストの削減、複雑さの軽減を実現
10. 概要 Red Hat OpenShift Streams for Apache Kafkaの価値 10 アプリケーションの ベロシティの向上 全てのクラウド環境において 統一されたエクスペリエンス パブリック/プライベートな クラウドにまたがるアプリ ケーションをシームレスに 接続 ストリーム処理アプリケーション のためのKafkaのエコシステム すぐに開発に取り掛かるこ とができ、変更に対しても 継続的に対応可能 ストリーム処理アプリケー ションのデリバリーを簡素 化するための様々なKafka と連携するサービスを提供
11. Red Hat OpenShift Streams for Apache Kafka ストリームベースのアプリケーションのためのソリューション 概要 11 メトリクスと監視 構成管理 Hosted & managed (99.95% SLA) Kafkaクラスタ Broker(s) Topic(s) 開発がスムーズに行えるように、開発者目線で最適化さ れ、一貫性のあるUI/UXを提供 Red Hat SREによるマネージドサービス - 24x7のグ ローバルなサポートと99.95%のSLA DedicatedなApache Kafkaクラスタをマネージドサー ビスとして提供 ▸ Kafkaブローカ、トピック、パーティションへのア クセス ▸ マネージドのZooKeeper ▸ メトリクスと監視 ▸ OpenShiftに統合されたIDとアクセス管理 最適化されたデベロッパーエクスペリエンス UI service binding API CLI
12. Red Hat OpenShift Streams for Apache Kafka 概要 12 Kafkaのエコシステム パブリック/プライベートクラウドへのストリーム処理アプリケーションのデリバリーを簡素化 API mgmt Monitor, share and secure your APIs Data Science Tools for AI/ML Connectors Data from/to Kafka topics Schema Registry Publish, communicate and discover topics 3rd party systems OpenShift Native integration Kafkaと統合されたサービス • Service Binding Operators - OpenShift 上のワークロードと容易に接続 • Connectors - 既存システムや3rdパーティ システムとの連携を可能にするコネクタ • Registry - APIとトピックのディスカバリ を容易にするレジストリ • SSO - IDとクレデンシャルの共有 上記以外の機能もリリース予定
13. 概要 最適化されたデベロッパーエクスペリエンス 13 アプリケーションの開発、テスト、スケーリングをシームレスに実現できる環境 セルフサービス化 - 開発者はKafkaのサービスに単一のロケーションからアクセス可能 クイックスタート - 一般的なストリーム処理のタスクのチュートリアル デベロッパーファーストのインタフェース - 開発者向けの機能は管理タスクとは別画面 開発者向けのツール - 既存の開発フローとの連携も可能なCLIとAPIを提供 Kafka サービス Kafka エコシステム 他のサービスとの一貫性 - 全てのRed Hatのサービスを通じて統一されたモニタリング/メトリクス/アラート機能 他のサービスと統合されたKafkaの機能 - 他のアプリケーションやデータサービスと連携できるような設計 Service Binding Operators - ハイブリッドなクラウド環境にまたがるOpenShift上のワークロードと容易に接続 共通のエクスペリエンス - パブリック/プライベートなクラウドにまたがって一貫性のあるエクスペリエンス
14. 概要 14 Streams for Apache Kafka and OpenShift ハイブリッドなクラウド環境にまたがるシームレスな運用を実現 OpenShift Dedicated clusters Microservices Kafka cluster topics consumers producers Red Hat OpenShift on IBM Cloud Microservices Azure Red Hat OpenShift Microservices Red Hat OpenShift Service on AWS Microservices • 複数のクラウドで共通の Kafkaインスタンス • Kafkaのインフラを意識する 必要がない • Serviceのバインディング: 容易に接続可能 • Schema Registry: APIやス キーマを容易に見つけるこ とが可能
15. プレミアムサポート マネージドのインフラ コンテナ基盤と統合 99.95% uptime 概要 15 ソフトウェアを超えた価値を提供 テクノロジーを最もよく知るチームによるプラットフォームの運用 コミュニティのリーダーによるエンタープライズレベル のサポート 常時利用可能で最新のものが利用可能 面倒な環境構築作業からデベロッパーを解放 SLAはRed Hatの責務
16. 概要 16 コンサンプション (消費) ベースの価格体系 使用した分だけの支払い データ転送 ストレージ クラスタ マルチAZ、マルチブロー カーアーキテクチャのシ ンプルなクラスタ単位で の課金 ユーザ定義のリテンショ ンポリシーによるスト レージコストの制御 インバウンドとアウトバウ ンドのデータ転送 (30MB/ 秒) による課金
17. 概要 17 Red Hatが提供するApache Kafka (i) 要件に応じて選べる2つの選択肢 AMQ Streams Red Hat OpenShift Streams for Apache Kafka 利用に関する比較 利用モデル • ミドルウェア • パフォーマンス、セキュリティ、信頼性 は同等 • セルフマネージド: OperatorとCRDによ る制御 • SaaS • パフォーマンス、セキュリティ、信頼性は同等 • Red Hatマネージド: 運用管理のリソース不要 • デベロッパーにフォーカスしたUXを提供 操作方式 Operator & Kube CRDs UI (cloud.redhat.com), RHOAS CLI, REST API (JSON) Egress/ingress の上限 ユーザ自身による制御 Red Hatによる制御 Brokerの上限 無制限 3 brokers Connectors セルフマネージド: Kafka Connect, Camel Connectors (Red Hat Fuseの一部) マネージド: Red Hat OpenShift Connectors (2021年後半にリリース予定) セルフマネージドのオプションも使用可能
18. 概要 18 Red Hatが提供するApache Kafka (ii) 要件に応じて選べる2つの選択肢 AMQ Streams Red Hat OpenShift Streams for Apache Kafka 実装に関する比較 ストレージの種類 永続/エフェメラル 永続 TLS Yes Yes Security 認証 Mutual TLS OAuth 2.0 SASL SCRAM-SHA-512 SASL PLAIN SASL OAUTHBEARER 認可 ACLを設定可能 サービスアカウントのスコープ
19. 概要 19 Red Hatが提供するApache Kafka (iii) 要件に応じて選べる2つの選択肢 AMQ Streams Red Hat OpenShift Streams for Apache Kafka 運用管理に関する比較 環境 オンプレミス, パブリック/プライベートクラ ウド パブリッククラウド モニタリング カスタマーマネージド サポートされるツール: Prometheus & Grafana Red Hatマネージド ツールはRed Hatが提供 アップグレード カスタマーマネージド ツール: CruiseControl Red Hatマネージド 運用管理 セルフサポート Red Hat SREによる24/7/365のサポート SLA セルフマネージド 99.95% SLA
20. Red Hat OpenShift Streams for Apache Kafka (RHOSAK) ユースケース 20
21. 21 イベント駆動型 アーキテクチャ基盤の構築 マイクロサービス間の 疎結合な連携 Kafkaを中心としたスケーラブル で、信頼性の高い、セキュアなマイ クロサービスアーキテクチャを実現 データのバッチ処理から リアルタイムなイベント処理へ ユースケース よりスピーディーかつより良い デジタルな顧客体験を提供 ストリーミングデータのユースケース イベントのキャプチャ、通信、処理 を行い、先進的な分散アプリケー ションアーキテクチャの軸となる Red Hat OpenShift Streams for Apache Kafka in action
22. Publish/subscribe messaging system Data sources Single source of truth 22 リアルタイムなイベント処理へのアプローチ: ▸ 様々なデータソースからの大量データをアプリケー ションがリアルタイムに送受信できるようにする ▸ 必要に応じてKafkaクラスタにノードを追加するこ とで水平スケールを行うことができるようにする ▸ 時間を区切ってデータを収集・分析することによ り、現実世界のイベントやリクエストに迅速にレス ポンスを返せるようにする ▸ データ連携の仕組みを実装することから開発者を解 放し、ストリームデータの処理にフォーカスできる ようにする ユースケース データのバッチ処理からリアルタイムなイベント処理へ よりスピーディーかつより良いデジタルな顧客体験を提供 ETL Analyzing Destination Real-time stream ingestion, sharing and processing Destination
23. Event producer 23 既存システムのモダナイズのためのアプローチ ▸ イベントの識別を行い、重要度に応じて即座に対 応できるようにする ▸ 組織内のチーム間あるいは社外のパートナー企業 と即時にデータ共有を行う ▸ データのストリーミング処理、イベントの分析、 意思決定をサポートするようなイベント駆動型の アプリケーションを開発する ▸ システムとデータを疎結合にすることにより、 データ連携をより簡単に実現できるようにする ▸ 既存のシステムやサービスのモダナイズを行って いく RHOSAK - USE CASES イベント駆動型アーキテクチャ基盤の構築 イベント処理を行う先進的な分散アプリケーションアーキテクチャ Event broker Event consumer
24. 24 ユースケース マイクロサービス間の疎結合な連携 Kafkaを中心としたマイクロサービスアーキテクチャでアジリティを実現 マイクロサービスでアジリティを実現するために ▸ Kafkaブローカーにイベントをパブリッシュ し、イベントのコンシューマーであるサービス からデータ送信元サービスを疎結合にする ▸ イベントのボリュームに応じてマイクロサービ スごとに個別にスケールアップ・ダウンを行う ▸ マイクロサービスアプリケーション間での直接 的な連携や接続を避ける
25. Red Hat OpenShift Streams for Apache Kafka (RHOSAK) トライアルの始め方 25
26. トライアルの始め方 26 Kafkaを試そう！ 無料で特に条件もありません！ red.ht/TryKafka • 自分のKafkaクラスタ環境を作りましょう • トピックとパーティションを作成します • プロデューサとコンシューマを接続します • クイックスタートに従って実際に操作 • 自分のアプリケーションをサービスに接続してみま しょう マネージドのKafkaクラスタの試し方 • クラスタ作成後48時間 • トピックとブローカには上限あり 利用可能な時間とリソース • アクセス先: red.ht/TryKafka • Red Hatアカウントを作成しましょう • サインインしてトライアルが可能になります 登録方法
27. cloud.redhat.com にサインイン RHOSAK 開発者向けページ トライアルの始め方 27 Streams for Apache Kafkaのトライアルの流れ Kafka UIへの アクセス Kafkaクラスタへの サインアップ Kafkaアプリケーショ ンの開発とデプロイ
28. トライアルの始め方 28 Kafkaのクイックスタート Red Hat OpenShift Streams for Apache Kafkaのメニュー クイックスタートでは Kafkaへの一般的な 接続方法やアプリケーション開発のタスク に関するガイドを提供 操作方法がステップ byステップで分かる 演習付き
29. トライアルの始め方 29 Kafkaインスタンスの作成画面 Kafkaインスタンスの 作成
30. トライアルの始め方 30 Kafkaインスタンスの一覧画面 管理ユーザによって 作成されたKafkaイン スタンス
31. CONFIDENTIAL INTERNAL RED HAT DOCUMENT linkedin.com/company/red-hat youtube.com/user/RedHatVideo s facebook.com/redhatinc twitter.com/RedHat 31 Red Hat is the world’s leading provider of enterprise open source software solutions. Award-winning support, training, and consulting services make Red Hat a trusted adviser to the Fortune 500. Thank you