Copy_of_CloudNative_Days.pdf

Transcript

1. PostgreSQLとApache Kafka のマルチクラウド環境を ワンクリックで構築
2. Webアプリケーションやデータサイエンスのプロジェクトをエンジニアとして長年、担 当。 その経験を基に、エンジニアによるエンジニアのための Developer Experienceを 向上させることを使命として、活動しています。 2022年 - Aiven スタッフ・ソリューション・アーキテクト 2021年 - Stripe ソリューション・アーキテクト 2016年 - Heroku アジアパシフィック地域マネージャー 三谷 知廣 Staff Solutions Architect tomohiro.mitani@aiven.io linkedin.com/in/tmitani/
3. アジェンダ 1. データインフラをシンプルに！ 2. ユニファイドソリューション 3. Aiven for PostgreSQL マルチクラウド DR 4. PostgreSQL デモ 5. Aiven for Apache Kafka 6. Apache Kafka デモ
4. データインフラをシンプルに
5. Aivenは、最高のオープンソースデータ テクノロジーをフルマネージドクラウド サービスに変えています。 • 2016年にヘルシンキで起業 • 500人以上の従業員のグローバルカンパニー • バリュエーション$3.2Bのユニコーンのステータ ス Aiven.io Finland USA Australia Germany Canada Singapore UK France Italy
6. ソフトウェアはオープンソースが主流になっています。
7. Open Sourceを使用する際の課題 エリア • 管理・運用 • セキュリティ • マルチクラウド 課題 • 障害時のダウンタイム • 障害時の対応 • 頻繁に発生するメインテナンス • エンジニアの対応が必要 • Ops（運用）に時間がさかれ、 Dev(開発)のスピードが遅い
8. Open Sourceを使用する際の課題 エリア • 管理・運用 • セキュリティ • マルチクラウド 課題 • オープンソースのセキュリティ • 各種コンプライアンスへの準拠 • セキュアなネットワーク構築 • 暗号化の対応
9. Open Sourceを使用する際の課題 エリア • 管理・運用 • セキュリティ • マルチクラウド 課題 • 異なるクラウド間でのレプリケー ションの構築 • 障害時の冗長構成 • 障害時のマニュアル対応によるオ ペレーションミス • 障害時のマニュアル対応によるダ ウンタイムの増加
10. 10 Open Source Cloud Services across 100+ Regions セットアップ 可用性 セキュリティ モニタリング App 1 App 2 App 3 App n OpenSearch Cassandra Redis PostgreSQL MySQL M3 Grafana InfluxDB Flink Kafka MirrorMaker RDBMS NOSQL / インメモリ ストリーミング 時系列DB / 可視化 Connect Aiven REST API CLI (Python, Node, Go) Terraform Kubernetes Clickhouse
11. クラウドベンダー5社のオープンソースデータベース データ モニタリング データ 可視化 データ 分析 データ ストレージ データ インジェスショ ン Apache Kafka, Kafka Connect (25+ connectors) ストリーミング ベンダーロックインなし Prometheus Jolokia Aiven metrics Syslog RDBMS Flink PostgreSQL MySQL No SQL DB Redis Cassandra 時系列DB サーチエンジン M3 Clickhouse Grafana ビジュアライゼーション Log Integration インテグレーション Datadog OpenSearch
12. 保証された信頼性 • 業界最高水準の99.99%SLA • 複数のアベイラビリティーゾーンへの展開 • 障害時の自動復旧 • 自動バックアップ
13. Aivenのお客様の声 出典 IDC調査 2021年エイヴン顧客対象 比較する IaaS上で自己管理 OPEXの節約 37% ROI 5ヶ月 従来のDBaaSプロバイダー との比較 DBA一人当たりの DB数増加 2x 従来のDBaaSプロバイダー との比較 生産性向上 13% 比較する IaaS上で自己管理 より速い展開 4x 2021年の可用性 99.997%
14. 世界のリーディングカンパニーから信頼を得ています。
15. ユニファイド ソリューション
16. セットアップ 可用性 セキュリティ モニタリング ストリーミング アナリティクス データウェアハウス+ BIアナリティクス アプリケーション ワークロード マルチクラウドに対応するユニファイドソリューション すべてのクラウドにあるすべてのデータインフラを一箇所で管理できます。
17. Aiven - API ファースト API コンソール CLI TERRAFORM Kubernetes
18. プラン 1. Hobbyist + Startup 2. Business 3. Premium
19. AZ-3 AZ-2 AZ-1 AZ-1 Hobbyist + Startup プラン 分散型: インスタンス: . .
20. AZ-3 AZ-2 AZ-1 AZ-2 AZ-1 Business プラン Replication インスタンス: 分散型: . .
21. AZ-3 AZ-2 AZ-1 Premium プラン Replication AZ-3 AZ-2 AZ-1 2-10 インスタンス: 分散型: 2-10 2-10 . .
22. マルチクラウド DRプラン
23. AWS, 東京 AWS, 東京 App 1 App 2 App 3 … Read Only Read Only GCP, 大阪 Read Only マルチクラウドでのレプリケーション作成 DNS DNS Premium Plan Replication Startup Plan Remote Replication Replica Backups n1,n2,n3...n Primary Backups n1,n2,n3...n
24. AWS, 東京 AWS, 東京 App 1 App 2 App 3 … Read Only Read Only GCP, 大阪 Read Only マルチクラウドでの災害時対応 Application detects outage after failed timeout DNS DNS Premium Plan Replication Startup Plan Remote Replication Replica Backups n1,n2,n3...n Primary Backups n1,n2,n3...n
25. AWS, 東京 AWS, 大阪 App 1 App 2 App 3 … Read Only Read Only GCP, 大阪 Read Only フェイルオーバー 1. Application detects outage after failed timeout. 2. Change connection params to the remote read replica DNS DNS Premium Plan Replication Startup Plan Remote Replication Replica Backups n1,n2,n3...n Primary Backups n1,n2,n3...n Applications enter READ_ONLY mode
26. AWS, 東京 AWS, 大阪 App 1 App 2 App 3 … Premium Plan Replication Read Only Read Only GCP, 大阪 Read Only 復旧後のプロセス DNS DNS Revert connection to primary region and exit READ_ONLY mode Startup Plan Remote Replication Replica Backups n1,n2,n3...n,n+1 Primary Backups n1,n2,n3...n,n+1
27. Demo
28. デモ 1. Postgresのインスタンスを作成 2. GCPにあるPostgresのデータベースに対し、AWSへリードレプリカを 構築することでマルチクラウド環境を構築 3. Aivenのモニタリングソリューションのご紹介
29. Aiven for Apache Kafka®
30. Aiven for Apache Kafkaで アプリケーション間の膨大な データを迅速に移動させる
31. Aiven for Apache Kafka: お客様専用のクラスタ 競合他社の管理するApache Kafka マルチテナントブローカー - セキュアネットワーキング （VPC）や高度な設定が不可能 すべてのプランで専用の仮想マシンリソースを提供。 すべての高度な機能が含まれています。
32. Aiven for Apache Kafka：自己修復 Broker 1 Broker 3 Broker 2 Aivenの管理ソフトウェアは、ノードが故障し たことを検知し、自動的にその代替ノードを作 成し、残りのクラスタメンバーからデータを同 期し、リバランスします。 New Broker
33. Aiven for Apache Kafka : オートリバランス Kafkaクラスタのバランスが崩れたとき。 • レスポンスタイムが遅くなる • メモリ不足のエラー • ディスクがいっぱいになり、ブローカーが 停止する
34. Aiven for Apache Kafka : オートリバランス Aivenの管理ソフトウェアは、パーティ ション分散を頻繁にチェックし、パ フォーマンスと可用性のためにデータ が最適に配置されるように自動で調整 します。 トピック内のデータは、以下の 3つの ゾーンに自動的に複製され、可用性を 確保します。
35. Ecosystem Toolings
36. Kafkaだけでなく、豊富なオープンソースのエコシステム Kafka Connect - Kafkaと外部システムを接続 Kafka Mirrormaker2 - Kafkaクラスタのレプリケーション Karapace - Kafka用オープンソーススキーマレジストリ＋REST API
37. Kafka Mirrormaker2 - クラスタレプリケーション Aiven for Apache Kafka MirrorMaker 2
38. Apache Flink : KafkaのイベントストリームをSQL言語で処理 SQL言語によるイ ベントの処理 Consume date from Kafka topics 個人情報を含む顧客情報を 含むトピック 個人情報を含まない顧客情 報を含むトピック インジェスト フィルタリングされたデータを新しいトピックとして Kafkaに戻し、 個人情報にアクセスできないはずの消費者が利用できるようにする。 イベントストリーム処理の例：プライバシー保護のため、データから個人を特 定できる情報（PII）をフィルタリングする。
39. Kafka ユースケース
40. 活用事例：マルチリージョン/クラウドクラスター(DR) AWS, 東京 GCP, 大阪 AWS, 東京 App 1 App 2 App 3 …
41. Kafkaの使用例：ECでのイベントドリブンアーキテクチャ オーダー サービス 決済 サービス ユーザー サービス インベントリー サービス Aiven for Kafka Aiven for Kafka Connect
42. 使用例：IoTストリーミング - 分散型プロデューサー AWS, Region 1 [IoT Edge] GCP, Region 3 [App Processing] App 1 App 2 App 3 … Pub Pub Pub AWS, Region # [IoT Edge] Pub Pub Pub . . .
43. 使用例：GCP内のCDCデータパイプライン Aiven for Apache Kafka Event Streaming Platform KAFKA CONNECT SINK Google Big Query KAFKA CONNECT SOURCE Debezium Connector* Transactional database (MySQL, PostgreSQL, MongoDB, etc) Google Cloud Storage CDC data Write data via sinks
44. Kafka Customers
45. Why Aiven? Pricelineは、Aiven for Apache Kafka on Google Cloudに移行し、グローバル に分散したKafkaクラスタ群を 展開しました。移行コストだけ で85万ドルを節約し、現在で はより費用対効果の高い、信 頼性の高いサービスを運営し ています。 Active services today: Priceline.comは、航空券やホテルなど の旅行関連商品を割引価格で購入で きるオンライン旅行代理店です。 E-commerce 🇸 Apache Kafka OpenSearch Apache Kafka MirrorMaker
46. Why Aiven? • PCI DSS準拠の要件 を満たす • マルチクラウド/リー ジョンの高度なDR機 能 • Change Data Captureのユース ケースを満たす能力 • マーケットプレイス経 由での調達が可能 Active services today: Fintech–Payments 🇷 Grafana PostgreSQL M3 Apache Kafka Redis ブラジル（そして世界）の決済業界を民主 化し、技術的、包括的、そして人生を変え るソリューションを通じて起業家に力を与 える、評価額70億ドルのフィンテック企業 です。
47. Demo
48. デモ 1. Stripe => Kafka => BigQuery のデータパイプラインを構築 2. Kafka Connectorを使用し、PostgresのCDCを実現
49. データパイプライン (Stripe => Kafka => BigQuery)
50. ３０日間無料トライアル 「aiven トライアル」