Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LT : Strimziの紹介 : Apache Kafka on OpenShift

LT : Strimziの紹介 : Apache Kafka on OpenShift

11/08/2018 Red Hat Tech Night にてLTを行った際のスライドです。

E97429c2e98f0ada69d7d890a894e295?s=128

Tomonari Yamashita

November 08, 2018
Tweet

Other Decks in Technology

Transcript

  1. LT : Strimziの紹介 Apache Kafka on OpenShift Tomonari Yamashita Senior

    Technical Support Engineer (Red Hat Fuse / AMQ) 11/08/2018
  2. Strimzi の紹介 2 10/25 AMQ Streams GA 1.0 リリース AMQ

    Streams = +
  3. Strimzi の紹介 3 • 超高スループット • 大規模にスケール • 高い耐障害性 •

    Linuxの機能を利用して高効率 ストリーム処理のデファクト
  4. Strimzi の紹介 4 でもKafkaの運用は大変 • 構築、設定、全体的な整合性 ◦ Kafkaブローカー群、Zookeeper ◦ ネットワーク、認証、暗号化

    ◦ トピックやパーティション • 下位インフラ ◦ ヘルスチェック、ログ集約、メトリクス、 etc • 運用管理 ◦ 設計、運用手順書、障害管理、体制、 etc...
  5. Strimzi の紹介 「Welcome to the Kubernetes Era!」 5

  6. Strimzi の紹介 6 • Kubernetes上のyaml (CRD)に一元管理 ◦ 本来Kafka設定していた項目を含む • クラスタに求める姿を記述(宣言的)

    • Kafkaの各種リソース定義 ◦ ブローカー、Zookeeper ◦ Kafkaトピック、パーティション ◦ ユーザ、ACL、暗号化 ◦ CPU、メモリ、ストレージ ◦ JVM、ログ 1: 一元管理されたリソース定義
  7. Strimziの紹介 7 リソース定義 [欲しい姿] オペレータ [同期する] Kafkaクラスタ [実体] 2:オペレータによる運用管理の自動化 リソース定義とクラスタ状態の差分を継続的に検出して同期させる

  8. Strimzi の紹介 8 3:インフラはKubernetesにお任せ • StrimziはKubernetesのさまざま機能を積極的に活かして実現 ◦ Kubernetes Nativeな統合のためにKafka本来の設定方法とは異なることも •

    KubernetesやOpenShiftの提供する共通インフラの利用 ◦ ヘルスチェック ◦ ログ収集 ◦ メトリクス ◦ ビルドデプロイ
  9. Strimzi の紹介 「Kubernetesはクラウド時代のLinuxだ」 9 Jim Zemlin Executive Director, Linux Foundation

  10. THANK YOU plus.google.com/+RedHat linkedin.com/company/red-hat youtube.com/user/RedHatVideos facebook.com/redhatinc twitter.com/RedHatNews