Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Managed_Kafka_by_Red_Hat_202106.pdf

 Managed_Kafka_by_Red_Hat_202106.pdf

Red Hatによる Managed Kafka のサービス 〜 OpenShiftベースでハイブリッドクラウド環境に対応したイベントストリーミングプラットフォーム 〜 をご紹介!

Taku Sugimoto

June 18, 2021
Tweet

More Decks by Taku Sugimoto

Other Decks in Technology

Transcript

  1. 2 ▸ イントロダクション ▸ Red Hat OpenShift Streams for Apache

    Kafka 概要 ▸ ユースケース ▸ トライアルの始め方 アジェンダ
  2. 4 次世代のメッセージング - 少ないオーバーヘッドで大量 データを保持、連携、ストリーミングできるように設計 イントロダクション Apache Kafkaのインパクト リアルタイムなイベント処理のためのオープンソーステクノロジーとしてデファクトスタンダード リアルタイムなデータ処理

    - バッチ処理や ETLアプリ ケーションの遅延を無くし、より良い顧客体験を提供 イベント駆動型アーキテクチャのベース - データドリブン でマイクロサービスベースのアプリケーションのデリバ リーを簡素化
  3. イントロダクション 5 Apache Kafkaのユースケース 顧客体験の向上 情報へのアクセス時間や応答時間を改善する ことで、よりリアルタイムな体験を提供 マイクロサービス アプリケーション マイクロサービスを疎結合にすることで、ア

    プリケーション開発のアジリティを改善 ETLの ストリーミング処理 バッチ処理をリアルタイム化することによる アプリケーションのモダナイズ リアルタイムな分析 より適切なビジネス判断を行えるようにする ために様々なデータソースからデータを収集 エッジやハイブリッド でのデータ連携 エッジやクラウドなど、様々なデバイスやシ ステムに散在するデータの収集
  4. 6 イントロダクション Kafka関連製品へのRed Hatの貢献 数々のイノベーションと成功事例 Red HatはKafkaをKubernetesで 実行できるようにし、Red Hat AMQ

    Streamsをリリース (Red Hat Integrationの一部) イベント駆動型の ソリューションを実現する Kafkaのエコシステム 成功事例 Kafkaに関連する イノベーション
  5. 7 Red Hat OpenShift Streams for Apache Kafka (RHOSAK) 概要

    A Red Hat OpenShift Application Service
  6. クラウド プロバイダー アプリケーション レイヤー 8 OpenShift+Services = オープンなハイブリッドクラウドエクスペリエンス クラウドネイティブなアプリケーションを開発するための統合プラットフォーム アプリケーション

    サービス KUBERNETES ENGINE 最適化されたデベロッパーエクスペリエンス Database services Integration services Partner services Data services Workflow services Identity services Customer services Decision services native integration お客様の データセンター
  7. 9 Red Hat OpenShift Streams for Apache Kafka ストリーム処理アプリケーションのための ホステッドかつマネージドなKafkaのサービス

    オンプレミスやハイブリッドクラウド環境にまたがる リアルタイムアプリケーションの開発に際しての 運用コストの削減、複雑さの軽減を実現
  8. 概要 Red Hat OpenShift Streams for Apache Kafkaの価値 10 アプリケーションの

    ベロシティの向上 全てのクラウド環境において 統一されたエクスペリエンス パブリック/プライベートな クラウドにまたがるアプリ ケーションをシームレスに 接続 ストリーム処理アプリケーション のためのKafkaのエコシステム すぐに開発に取り掛かるこ とができ、変更に対しても 継続的に対応可能 ストリーム処理アプリケー ションのデリバリーを簡素 化するための様々なKafka と連携するサービスを提供
  9. Red Hat OpenShift Streams for Apache Kafka ストリームベースのアプリケーションのためのソリューション 概要 11

    メトリクスと監視 構成管理 Hosted & managed (99.95% SLA) Kafkaクラスタ Broker(s) Topic(s) 開発がスムーズに行えるように、開発者目線で最適化さ れ、一貫性のあるUI/UXを提供 Red Hat SREによるマネージドサービス - 24x7のグ ローバルなサポートと99.95%のSLA DedicatedなApache Kafkaクラスタをマネージドサー ビスとして提供 ▸ Kafkaブローカ、トピック、パーティションへのア クセス ▸ マネージドのZooKeeper ▸ メトリクスと監視 ▸ OpenShiftに統合されたIDとアクセス管理 最適化されたデベロッパーエクスペリエンス UI service binding API CLI
  10. Red Hat OpenShift Streams for Apache Kafka 概要 12 Kafkaのエコシステム

    パブリック/プライベートクラウドへのストリーム処理アプリケーションのデリバリーを簡素化 API mgmt Monitor, share and secure your APIs Data Science Tools for AI/ML Connectors Data from/to Kafka topics Schema Registry Publish, communicate and discover topics 3rd party systems OpenShift Native integration Kafkaと統合されたサービス • Service Binding Operators - OpenShift 上のワークロードと容易に接続 • Connectors - 既存システムや3rdパーティ システムとの連携を可能にするコネクタ • Registry - APIとトピックのディスカバリ を容易にするレジストリ • SSO - IDとクレデンシャルの共有 上記以外の機能もリリース予定
  11. 概要 最適化されたデベロッパーエクスペリエンス 13 アプリケーションの開発、テスト、スケーリングをシームレスに実現できる環境 セルフサービス化 - 開発者はKafkaのサービスに単一のロケーションからアクセス可能 クイックスタート - 一般的なストリーム処理のタスクのチュートリアル

    デベロッパーファーストのインタフェース - 開発者向けの機能は管理タスクとは別画面 開発者向けのツール - 既存の開発フローとの連携も可能なCLIとAPIを提供 Kafka サービス Kafka エコシステム 他のサービスとの一貫性 - 全てのRed Hatのサービスを通じて統一されたモニタリング/メトリクス/アラート機能 他のサービスと統合されたKafkaの機能 - 他のアプリケーションやデータサービスと連携できるような設計 Service Binding Operators - ハイブリッドなクラウド環境にまたがるOpenShift上のワークロードと容易に接続 共通のエクスペリエンス - パブリック/プライベートなクラウドにまたがって一貫性のあるエクスペリエンス
  12. 概要 14 Streams for Apache Kafka and OpenShift ハイブリッドなクラウド環境にまたがるシームレスな運用を実現 OpenShift

    Dedicated clusters Microservices Kafka cluster topics consumers producers Red Hat OpenShift on IBM Cloud Microservices Azure Red Hat OpenShift Microservices Red Hat OpenShift Service on AWS Microservices • 複数のクラウドで共通の Kafkaインスタンス • Kafkaのインフラを意識する 必要がない • Serviceのバインディング: 容易に接続可能 • Schema Registry: APIやス キーマを容易に見つけるこ とが可能
  13. 概要 16 コンサンプション (消費) ベースの価格体系 使用した分だけの支払い データ転送 ストレージ クラスタ マルチAZ、マルチブロー

    カーアーキテクチャのシ ンプルなクラスタ単位で の課金 ユーザ定義のリテンショ ンポリシーによるスト レージコストの制御 インバウンドとアウトバウ ンドのデータ転送 (30MB/ 秒) による課金
  14. 概要 17 Red Hatが提供するApache Kafka (i) 要件に応じて選べる2つの選択肢 AMQ Streams Red

    Hat OpenShift Streams for Apache Kafka 利用に関する比較 利用モデル • ミドルウェア • パフォーマンス、セキュリティ、信頼性 は同等 • セルフマネージド: OperatorとCRDによ る制御 • SaaS • パフォーマンス、セキュリティ、信頼性は同等 • Red Hatマネージド: 運用管理のリソース不要 • デベロッパーにフォーカスしたUXを提供 操作方式 Operator & Kube CRDs UI (cloud.redhat.com), RHOAS CLI, REST API (JSON) Egress/ingress の上限 ユーザ自身による制御 Red Hatによる制御 Brokerの上限 無制限 3 brokers Connectors セルフマネージド: Kafka Connect, Camel Connectors (Red Hat Fuseの一部) マネージド: Red Hat OpenShift Connectors (2021年後半にリリース予定) セルフマネージドのオプションも使用可能
  15. 概要 18 Red Hatが提供するApache Kafka (ii) 要件に応じて選べる2つの選択肢 AMQ Streams Red

    Hat OpenShift Streams for Apache Kafka 実装に関する比較 ストレージの種類 永続/エフェメラル 永続 TLS Yes Yes Security 認証 Mutual TLS OAuth 2.0 SASL SCRAM-SHA-512 SASL PLAIN SASL OAUTHBEARER 認可 ACLを設定可能 サービスアカウントのスコープ
  16. 概要 19 Red Hatが提供するApache Kafka (iii) 要件に応じて選べる2つの選択肢 AMQ Streams Red

    Hat OpenShift Streams for Apache Kafka 運用管理に関する比較 環境 オンプレミス, パブリック/プライベートクラ ウド パブリッククラウド モニタリング カスタマーマネージド サポートされるツール: Prometheus & Grafana Red Hatマネージド ツールはRed Hatが提供 アップグレード カスタマーマネージド ツール: CruiseControl Red Hatマネージド 運用管理 セルフサポート Red Hat SREによる24/7/365のサポート SLA セルフマネージド 99.95% SLA
  17. 21 イベント駆動型 アーキテクチャ基盤の構築 マイクロサービス間の 疎結合な連携 Kafkaを中心としたスケーラブル で、信頼性の高い、セキュアなマイ クロサービスアーキテクチャを実現 データのバッチ処理から リアルタイムなイベント処理へ

    ユースケース よりスピーディーかつより良い デジタルな顧客体験を提供 ストリーミングデータのユースケース イベントのキャプチャ、通信、処理 を行い、先進的な分散アプリケー ションアーキテクチャの軸となる Red Hat OpenShift Streams for Apache Kafka in action
  18. Publish/subscribe messaging system Data sources Single source of truth 22

    リアルタイムなイベント処理へのアプローチ: ▸ 様々なデータソースからの大量データをアプリケー ションがリアルタイムに送受信できるようにする ▸ 必要に応じてKafkaクラスタにノードを追加するこ とで水平スケールを行うことができるようにする ▸ 時間を区切ってデータを収集・分析することによ り、現実世界のイベントやリクエストに迅速にレス ポンスを返せるようにする ▸ データ連携の仕組みを実装することから開発者を解 放し、ストリームデータの処理にフォーカスできる ようにする ユースケース データのバッチ処理からリアルタイムなイベント処理へ よりスピーディーかつより良いデジタルな顧客体験を提供 ETL Analyzing Destination Real-time stream ingestion, sharing and processing Destination
  19. Event producer 23 既存システムのモダナイズのためのアプローチ ▸ イベントの識別を行い、重要度に応じて即座に対 応できるようにする ▸ 組織内のチーム間あるいは社外のパートナー企業 と即時にデータ共有を行う

    ▸ データのストリーミング処理、イベントの分析、 意思決定をサポートするようなイベント駆動型の アプリケーションを開発する ▸ システムとデータを疎結合にすることにより、 データ連携をより簡単に実現できるようにする ▸ 既存のシステムやサービスのモダナイズを行って いく RHOSAK - USE CASES イベント駆動型アーキテクチャ基盤の構築 イベント処理を行う先進的な分散アプリケーションアーキテクチャ Event broker Event consumer
  20. トライアルの始め方 26 Kafkaを試そう! 無料で特に条件もありません! red.ht/TryKafka • 自分のKafkaクラスタ環境を作りましょう • トピックとパーティションを作成します •

    プロデューサとコンシューマを接続します • クイックスタートに従って実際に操作 • 自分のアプリケーションをサービスに接続してみま しょう マネージドのKafkaクラスタの試し方 • クラスタ作成後48時間 • トピックとブローカには上限あり 利用可能な時間とリソース • アクセス先: red.ht/TryKafka • Red Hatアカウントを作成しましょう • サインインしてトライアルが可能になります 登録方法
  21. cloud.redhat.com にサインイン RHOSAK 開発者向けページ トライアルの始め方 27 Streams for Apache Kafkaのトライアルの流れ

    Kafka UIへの アクセス Kafkaクラスタへの サインアップ Kafkaアプリケーショ ンの開発とデプロイ
  22. トライアルの始め方 28 Kafkaのクイックスタート Red Hat OpenShift Streams for Apache Kafkaのメニュー

    クイックスタートでは Kafkaへの一般的な 接続方法やアプリケーション開発のタスク に関するガイドを提供 操作方法がステップ byステップで分かる 演習付き
  23. CONFIDENTIAL INTERNAL RED HAT DOCUMENT linkedin.com/company/red-hat youtube.com/user/RedHatVideo s facebook.com/redhatinc twitter.com/RedHat

    31 Red Hat is the world’s leading provider of enterprise open source software solutions. Award-winning support, training, and consulting services make Red Hat a trusted adviser to the Fortune 500. Thank you