Rancherで実現した、クラウドに頼らない低コストな次世 代データレイク

2026/07/07 SUSE Summit Tokyo
Rancherで実現した、クラウドに頼らない低コストな次世 代データレイク

Transcript

1. Rancherで実現した、 クラウドに頼らない低コストな次世 代データレイク 株式会社マイクロアド Platform Engineering Unit 齊藤 大貴・伊東 直弥
2. 自己紹介 2 齊藤 大貴 Saito Daiki 株式会社マイクロアド システム開発部 Platform Engineering Unit チーフエンジニア ストレージ基盤と仮想化基盤の設計・構築・運用 RancherJP Meetup #08 #09 で登壇 趣味：ウォーキング・カラオケ
3. 自己紹介 3 伊東 直弥 Ito Naoya 株式会社マイクロアド システム開発部 Platform Engineering Unit シニアエンジニア 自社Network（AS131957）の設計構築運用 データ分析基盤、広告配信基盤の設計構築運用 趣味：日曜電子工作、 　　　Urban Fishing
4. Rancher 導入経緯 4
5. 事業紹介（データ・アドプラットフォーム事業） 5 DSP(Demand Side Platform) SSP(Supply Side Platform) 「広告を出したい」 「広告枠を売りたい 広告主/代理店 広告代理店 広告主 広告主 ・・・ 広告 広告A 広告B 広告C ・・・ 来訪ユーザー ユーザーA ユーザーB ユーザーC ・・・ メディア ニュース コスメ グルメ ・・・ Ad 広告出稿料 広告表示 ✕ リアルタイムオークション 数億のWEB行動データ Data Management Platform 分析
6. 組織体制 6 プラットフォーム • 10名弱 • Python • ミドルウエア以下全て 開発 • 30名弱 • Scala, Java, Python • 入札システム、バッチ処理 データマネージメント • 4名 • Python, SQL • 集計クエリ、 ETL データサイエンス • 10名弱 • Python, go • 分析、AI 機械学習
7. 検討項目の多角的な評価 7 技術要件 人的 コスト 持続可能性 システム コスト
8. 検討項目の多角的な評価 8 技術要件 • 柔軟なスキーマ変更 • JSON対応 • 既存周辺システムとの接続性 • 技術のオープン性 • 処理性能・スケールアウト 人的コスト • 移行開発 • 運用 • 学習・育成 システムコスト • ライセンス • ハードウエア • データセンター • 使用料（クラウド） 持続可能性 • エンジニアの成長 • 人材確保 • 技術動向 • コミュニティの現況 • AIなど新しい要件への対応
9. アナリスト向け BATCH Hadoop エコシステム 刷新対象 旧データ基盤 9 10TB/Day
10. Kubernetes Kubernetes アナリスト向け 新データ基盤 10 10TB/Day オブジェクト ストレージ BATCH
11. Rancher の活用 11
12. Kubernetes cluster Kubernetes 複数のノードで構成するコンテナ管理プラットフォーム • セルフヒーリング（障害からの自動復旧） • オートスケーリング（負荷状況に応じて自動でスケールイン・アウト） • Reconciliation Loop（あるべき構成に自動調整） 12 worker Container Container worker Container Container worker Container Container
13. Rancher K8s 向けの包括的な運用管理ソリューション 複数プラットフォームの K8s クラスタを一元管理できる 13 ライフサイクル管理（クラスタ構築、Version up） 運用支援機能 ・ダッシュボード ・アクセス制御 ・CI/CD（Fleet） ・モニタリング
14. Rancher & Kubernetes 環境 • クラスタ数：4（Rancher含め） • ノード数：49台（Proxy、Rancher , Kubernetes cluster） 14 Browser Rancher 管理の K8s Rancher 3台 ストリーミング 8台 K8s client L4/L7 proxy 2台 ACE に関するブログ : HAProxy で提供する Rancher × Kubernetes エンドポイント ACE に関する登壇 : Rancher × Hashicorp Vault で 実現する秘密情報管理 クエリエンジン 10台 バッチ処理 26台 ACE (Authorized Cluster Endpoint) を使用して K8s の APIサーバにダイレクトで接続
15. バージョンアップ戦略 K8s の EOL にあわせて、8 カ月毎に 1バージョン飛ばしで実施 15 Step 1. Release note のチェック & 関係部門との日程合わせ Step 2. Rancher バージョンアップ Step 3. K8s バージョンアップ
16. ロールベースアクセス制御 16 Spark streaming cluster Trino cluster Spark cluster Team B Team A Team B Infra Rancher UI から簡単にチーム単位のアクセス制御を設定
17. Kubernetes Kubernetes アナリスト向け 今後の展望：現時点の構成 17 10TB/Day オブジェクト ストレージ BATCH
18. アナリスト向け BATCH 今後の展望 18 オブジェクト ストレージ Kubernetes
19. アナリスト向け BATCH 今後の展望 19 オブジェクト ストレージ Kubernetes Kubernetes を活用し、 耐障害性とスケーラビリティに優れた 持続可能なプラットフォームを目指していく