Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Speaker Deck
PRO
Sign in
Sign up for free
GitOps と Apache Kafka Part 1 / GitOps and Apache Kafka Part 1
suzukiry
December 27, 2021
Technology
0
58
GitOps と Apache Kafka Part 1 / GitOps and Apache Kafka Part 1
suzukiry
December 27, 2021
Tweet
Share
More Decks by suzukiry
See All by suzukiry
Strimzi Kafka Operator を試す Part 3 / Try Strimzi Part3
suzukiry
0
42
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2022-01-12 / Apache Kafka Workshop QA 2022-01-12
suzukiry
0
6
Strimzi Kafka Operator を試す Part 2 / Try Strimzi Part2
suzukiry
0
49
Apache Kafka on Kubernetes 基礎編 ワークショップ QA 2021-11-24 / Apache Kafka Workshop QA 2021-11-24
suzukiry
0
41
Apache KafkaとKubernetes / Kafka and K8s
suzukiry
1
610
Other Decks in Technology
See All in Technology
技術広報の役割を定義してみた 2022年春
afroscript
3
2.4k
長年運用されてきたモノリシックアプリケーションをコンテナ化しようとするとどんな問題に遭遇するか? / SRE NEXT 2022
nulabinc
PRO
15
7.3k
エンタープライズにおけるSRE立ち上げとNew Relic選定に至った背景とは / SRE Startup and New Relic in the Enterprise
tomoyakitaura
2
140
如何使用 Argo Event& Workflow 快速建置自定義的工作流程 @ #CNTUG #47
line_developers_tw
PRO
0
6.5k
Power BI ”を” 可視化しよう!
hanaseleb
0
150
次期LTSに備えよ!AOS 6.1 HCI Core 編
smzksts
0
170
組織でPower Virtual Agentsを導入するために知っておきたいこと
miyakemito
0
1.6k
1,000万人以上が利用する「家族アルバム みてね」のSRE組織は4年間でどのように作られてきたのか/SRE NEXT 2022
isaoshimizu
4
2.7k
動画配信技術について
yaminoma
0
210
1年間のポストモーテム運用とそこから生まれたツール sre-advisor / SRE NEXT 2022
fujiwara3
6
3k
アルプの 認証/認可分離戦略と手法
ma2k8
PRO
1
260
runn is a package/tool for running operations following a scenario. / golang.tokyo #32
k1low
1
120
Featured
See All Featured
What the flash - Photography Introduction
edds
61
9.9k
Building Applications with DynamoDB
mza
83
4.6k
JazzCon 2018 Closing Keynote - Leadership for the Reluctant Leader
reverentgeek
172
8.3k
Making the Leap to Tech Lead
cromwellryan
113
6.9k
The Most Common Mistakes in Cover Letters
jrick
PRO
4
24k
Side Projects
sachag
449
37k
For a Future-Friendly Web
brad_frost
164
7.4k
VelocityConf: Rendering Performance Case Studies
addyosmani
316
22k
The Cult of Friendly URLs
andyhume
68
4.7k
Ruby is Unlike a Banana
tanoku
91
9.2k
Build The Right Thing And Hit Your Dates
maggiecrowley
19
1.1k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
224
49k
Transcript
GitOps と Apache Kafka Part 1
GitOps と Kafka
GitOps とは Introduction to GitOpsより GitOps*は、Kubernetes Infrastructure-as-Codeのデプロイ、設定、監視、更 新、管理方法に関する標準的なワークフローです。 GitOpsのコアとなる考え方は、本番環境で現在望まれるインフラストラクチャの 宣言的な記述を常に含むGitリポジトリを持ち、本番環境をリポジトリ内の記述
状態に一致させるための自動化されたプロセスを持つことです。 *2017年にWeaveworks 社によって作られたコンセプト Git 宣言型インフラストラクチャ とアプリケーションのための the single source of truth
1. システム全体が宣言的に記述されていること 2. Gitでバージョン管理された正規の希望するシステム状態 3. 自動的に適用できる承認済みの変更点 4. Software Agentで正しさを保証し、分岐に警告を出す GitOps
の原則 Software Agent check/ pull deploy/ prune
Kubernetes と GitOps • 宣言的なリソースの管理による の簡素化 • コントロールループによる継続 的な監視、差異があれば復元・ 復旧できる仕組み
• 開発者は使い慣れたツールを使っ てプルリクエストを行い、リソー スの操作ができる Kubernetes GitOps 開発者・運用者の両者の視点で、 デプロイと運用タスクの両方を簡略化できる
ガバナンスにおけるメリット ◦ プルリクエストでコミットされるので現在の開発フローのガバナンスをそのまま 利用できる ◦ すべての変更はGitから確認できるし、検証、監査も可能 セキュリティにおけるメリット ◦ CIツールにCluster Adminロールを共有しなくてよい
◦ Cluster Adminロールのトラックもできる ◦ Gitのレポジトリやブランチ権限も利用して、セキュリティ管理できる リスク管理におけるメリット ◦ アプリケーションの完全なロールバックとロギング GitOps のメリット
Apache Kafka とは • リアルタイムのデータパイプラインを構築するための主要なプラットフォーム ◦ 分散システム、水平スケーラブル・冗長性・コミットログ ◦ Pub/Sub型メッセージングシステム •
高いスループットと拡張性が不可欠なさまざまなユースケースをサポート ◦ イベントを介してサービス同士が通信することが可能 ◦ イベントストリームのSubcribe、保存や処理をリアルタイムで行うことが可能 • SparkやCassandraといった分散システムのKubernetes利用と同じく、Kafkaも Operator化(例 Strimzi Operatorなど)。コンテナ基盤でのKafka利用も一つの選択 肢となってきている。
なぜ Apache Kafka on Kubernetes なのか? • 分散システムの課題を、Kubernetes の仕組みで緩和する リソースの抽象化
宣言的な記述だけでインフラリソースの 作成・管理ができる。 →開発者がほしいとき構築・変更が可能 Kubernetesの価値 自動回復・自動スケーリング 現在のシステム状態 (Current Status)が 望ましい状態 (Desired Status)に一致する ように繰り返し動作できる。 →運用者の負担を減らす Apache Kafkaの運用面の課題 分散システムの構築負荷 アプリ開発者が俊敏性を持ってKafka を 使った開発をしたい 複数ノードの運用管理の煩雑さ スケーラブルな分、比較的多くなりやす いノードの運用管理、障害対応の作業負 荷は増え続ける
Kafka の GitOps 環境を作る
KafkaにGitOpsを採用する意義 開発者としての意義 • 開発チームの独立性 ◦ 必要なTopicや設定をすぐに構築・利用することができる。開発者主導で進めることができる ようになり、運用者との連携プレーを減らし、開発作業に注力できる。 • アプリケーション+データハブ(Kafka)でのデプロイが可能 ◦
アプリだけでなくデータハブまでを含めてストリーミングプラットフォームアプリケーショ ンとして、デプロイ・スケールアウトの操作が行える 運用者としての意義 • 運用軽減 ◦ Topicなどの簡易作業に手を煩わすことなく、Resilency プランニングやカオステスティング など、システムにより価値がでる本来の作業に注力ができる。 • ガバナンス ◦ Pull Requestを活用できるので、アプリ側の既存のGitフローをそのまま使えるのでガバナン スを保てる
Kafka + GitOps で必要になるツール Kubernetes Operator GitOpsツール(CD機能) Secrets管理 • Strimzi
Operator • Confluent Operator • koperator • Aiven Operator • Lense operator • Argo CD • Flux CD • Jenkins X • External Secrets • HashiCorp Vault • Bitnami Sealed Secrets 宣言的にKafka クラスタから Topic設定などまで操作が可能 GitをSingle Source Of Truth としてリソースを運用 外部ストレージで機密情報を 保管し復号防止
Kafka + GitOps に関連する取り組み • Kubernetesベースの Kafka + GitOps 種類
概要 Red Hat ・AMQ Streams(Strimzi) Operatorの提供 ・GitOpsツール(OpenShift GitOps *Argo CD)も提供しており、Kafka の GitOps環境まで構築できる Confluent ・Confluent Cloud上で、GitOpsでKafkaを利用するための独立したプロ ジェクト(streaming-ops project *中はshell operator+同プロジェクト専用Operator+Flux CD+Bitnami Sealed Secrets 構成)。 ・Confluent Operatorの提供 Banzai Cloud、 Aiven、 Lenses ・各社Operator(koperator、Aiven Operator、Lense operator)を提供 し、CD(Jenkinsなど)と組み合わせGitOpsを実現
Kafka + GitOps に関連する取り組み • 独自ユーティリティを使った Kafka + GitOps 種類
概要 Lenses ・lenses-cliユーティリティ ・パラメータを管理したyamlを読み込みながら、Kafka クラスタのTopicな どを管理する Jikkou(Apache 2.0) ・jikkouユーティリティ ・パラメータを管理したyamlを読み込みながら、Kafka クラスタのTopicな どを管理する JulieOps(MIT) ・julie-ops-cli.sh ・パラメータを管理したyamlを読み込みながら、Kafka クラスタのTopicな どを管理する
Argocd Operator Strimzi Operator + Argo CD StrimziとArgoCDを使った構成イメージ Rep Kafka
Cluster (Prod) Kafka Cluster (DR) Strimzi Operator 開発者 運用者
Thank you
AMQ Streams • Apache Kafka のエンタープライズ向けディストリビューション ◦ 2018年から Kafka をサポート、Kubernetes
上でも提供 ◦ Red Hat AMQ Streams としてローンチ • 提供形態 ◦ Red Hat Enterprise Linux ◦ Red Hat OpenShift Container Platform Apache Kafka on Kubernetes 基礎編 ワークショップ: https://redhat-open.connpass.com/ Strimzi/AMQ Streamsをハンズオンをしてみたい
OpenShift GitOps • Argo CDをアップストリームとしたCDプロセスを担うOpenShiftのDeveloper Serviceの一つ • マルチクラスタ OpenShift および
Kubernetes インフラストラクチャのクラスタと アプリケーションの設定を宣言的に管理ができます • Argo CDとTektonを使用することで、エンドツーエンドのGitOpsワークフローを 構築できます OpenShift CI/CD 基礎編 ワークショップ: https://redhat-open.connpass.com/ OpenShift GitOpsをハンズオンをしてみたい
記事は別途まとめています。 https://suzukiry.medium.com/gitops-and-apache-kafka-part-1-705bdde95fea