Upgrade to Pro — share decks privately, control downloads, hide ads and more …

LT : Strimziの紹介 : Apache Kafka on OpenShift

LT : Strimziの紹介 : Apache Kafka on OpenShift

11/08/2018 Red Hat Tech Night にてLTを行った際のスライドです。

Tomonari Yamashita

November 08, 2018
Tweet

Other Decks in Technology

Transcript

  1. LT : Strimziの紹介
    Apache Kafka on OpenShift
    Tomonari Yamashita
    Senior Technical Support Engineer (Red Hat Fuse / AMQ)
    11/08/2018

    View Slide

  2. Strimzi の紹介
    2
    10/25 AMQ Streams GA 1.0 リリース
    AMQ Streams = +

    View Slide

  3. Strimzi の紹介
    3
    ● 超高スループット
    ● 大規模にスケール
    ● 高い耐障害性
    ● Linuxの機能を利用して高効率
    ストリーム処理のデファクト

    View Slide

  4. Strimzi の紹介
    4
    でもKafkaの運用は大変
    ● 構築、設定、全体的な整合性
    ○ Kafkaブローカー群、Zookeeper
    ○ ネットワーク、認証、暗号化
    ○ トピックやパーティション
    ● 下位インフラ
    ○ ヘルスチェック、ログ集約、メトリクス、 etc
    ● 運用管理
    ○ 設計、運用手順書、障害管理、体制、 etc...

    View Slide

  5. Strimzi の紹介
    「Welcome to the Kubernetes Era!」
    5

    View Slide

  6. Strimzi の紹介
    6
    ● Kubernetes上のyaml (CRD)に一元管理
    ○ 本来Kafka設定していた項目を含む
    ● クラスタに求める姿を記述(宣言的)
    ● Kafkaの各種リソース定義
    ○ ブローカー、Zookeeper
    ○ Kafkaトピック、パーティション
    ○ ユーザ、ACL、暗号化
    ○ CPU、メモリ、ストレージ
    ○ JVM、ログ
    1: 一元管理されたリソース定義

    View Slide

  7. Strimziの紹介
    7
    リソース定義
    [欲しい姿]
    オペレータ
    [同期する]
    Kafkaクラスタ
    [実体]
    2:オペレータによる運用管理の自動化
    リソース定義とクラスタ状態の差分を継続的に検出して同期させる

    View Slide

  8. Strimzi の紹介
    8
    3:インフラはKubernetesにお任せ
    ● StrimziはKubernetesのさまざま機能を積極的に活かして実現
    ○ Kubernetes Nativeな統合のためにKafka本来の設定方法とは異なることも
    ● KubernetesやOpenShiftの提供する共通インフラの利用
    ○ ヘルスチェック
    ○ ログ収集
    ○ メトリクス
    ○ ビルドデプロイ

    View Slide

  9. Strimzi の紹介
    「Kubernetesはクラウド時代のLinuxだ」
    9
    Jim Zemlin
    Executive Director, Linux Foundation

    View Slide

  10. THANK YOU
    plus.google.com/+RedHat
    linkedin.com/company/red-hat
    youtube.com/user/RedHatVideos
    facebook.com/redhatinc
    twitter.com/RedHatNews

    View Slide