Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
ホスティング事業におけるSREの取り組みとSREの面白さ/SRE Efforts in the Hosting Business and the Interest of SRE
Search
Takuma Kume
April 14, 2023
Technology
1
1.3k
ホスティング事業におけるSREの取り組みとSREの面白さ/SRE Efforts in the Hosting Business and the Interest of SRE
Pepabo tech conference #20
Takuma Kume
April 14, 2023
Tweet
Share
More Decks by Takuma Kume
See All by Takuma Kume
ホモグラフドメインを検出してみた/detect homograph domain
takumakume
0
230
ソフトウェアの継続的アップデートをコンテナ化によって加速させる/Accelerate continuous software updates with containerization
takumakume
0
4k
KubernetesにおけるSBOMを利用した脆弱性管理/Vulnerability_Management_with_SBOM_in_Kubernetes
takumakume
0
1.2k
GitOpsで実現するPull Request毎のプレビュー環境/Preview environment for each Pull Request by GitOps
takumakume
0
1.1k
Goでkubernetes operatorを実装してアプリのプレビュー環境を作る/go-kubernetes-operator
takumakume
0
130
クラウドネイティブな開発環境への移行/Move to the cloud native development environment
takumakume
1
500
200万ドメインを超えるレンタルサーバのコンテンツキャッシュ機能の裏側/2_million_more_than_the_domain_the_back_of_the_rental_server_content_cache
takumakume
10
2.6k
DDoS攻撃との終わりなき戦い/endless_battle_with_ddos_attack
takumakume
5
12k
toward_systematization_of_linux_trace_tool
takumakume
0
130
Other Decks in Technology
See All in Technology
Meta Quest 3 で動く桜マシマシ WebXR アプリを IBM Cloud Code Engine と Babylon.js で作った話
1ftseabass
PRO
0
120
20240418_Google ColabにLLMが搭載されたようなのでPython x データ分析の勉強方法を考えてみる
doradora09
0
120
VS CodeでAWSを操作しよう
smt7174
7
1.6k
MapLibreとAmazon Location Service
dayjournal
1
150
家族アルバム みてねにおけるGrafana活用術 / Grafana Meetup Japan Vol.1 LT
isaoshimizu
1
450
私が trocco を推す理由
__allllllllez__
1
210
開発生産性大幅アップ!Postman VS Code拡張機能
nagix
2
370
AOAI をきっかけに 社内の Azure 管理を見直した話
recruitengineers
PRO
1
260
チームでロジカルシンキングに改めて向き合っている話 〜学習環境と実践⽅法〜
sansantech
PRO
2
2k
Postman v10リリース後を振り返る / Looking back at Postman v10 after release
yokawasa
1
160
自己改善からチームを動かす! 「セルフエンジニアリングマネージャー」のすゝめ
shoota
6
320
Delivering Millions of Messages within seconds @ Duolingo
pelelgrino
0
350
Featured
See All Featured
Rebuilding a faster, lazier Slack
samanthasiow
73
8.2k
Adopting Sorbet at Scale
ufuk
68
8.6k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
17
1.4k
Side Projects
sachag
451
41k
VelocityConf: Rendering Performance Case Studies
addyosmani
320
23k
Unsuck your backbone
ammeep
663
57k
Embracing the Ebb and Flow
colly
80
4.1k
WebSockets: Embracing the real-time Web
robhawkes
59
7k
Designing with Data
zakiwarfel
96
4.8k
10 Git Anti Patterns You Should be Aware of
lemiorhan
648
58k
個人開発の失敗を避けるイケてる考え方 / tips for indie hackers
panda_program
60
14k
Clear Off the Table
cherdarchuk
84
310k
Transcript
ホスティング事業における SREの取り組みと面白さ 久米拓馬 / GMO PEPABO inc. 2023.4.14 Pepabo Tech
Conference #20 春のSREまつり 1
2 自己紹介 ホスティング事業部 SREチーム シニアエンジニア 2016年 中途入社 久米拓馬 @takumakume • Webアプリケーションプラットフォームの開発・ 運用
• Kubernetes / Cloudnative • 信頼性と生産性のバランスを取る • 子育てと感染症対策
3 本セッションでお話すること • ホスティング事業部におけるSREの領域 • SREの取り組み • 現状の課題と今後 • ホスティング事業部におけるSREの面白さ
4 本セッションでお話すること • ホスティング事業部におけるSREの領域 • SREの取り組み • 現状の課題と今後 • ホスティング事業部におけるSREの面白さ
ホスティングSREの仕事の全体像がイメージできる セッションにしたいと思っています!
ホスティング事業部における SREの面白さ • 世にないアーキテクチャを生み出す面白さ • ホスティングはコストを抑えつつ大量の Webサイトを運用するというニッチな領域 • 前例のないミドルウェアやアーキテクチャを生み出すチャレンジングな仕事 •
幅広い技術を取り扱うことの面白さ • ホスティングは一般的な Webアプリケーションと異なり、数百人で 1台のサーバを共有するマルチ テナントアーキテクチャのため Linux Kernelなどの低レイヤの技術も必要 • WebアプリやKubernetesを始めとしたプラットフォームの運用 • オンプレのBaremetal Server、プライベートクラウド、パブリッククラウドの使用 • 様々な技術スタックに触れることができるためエンジニアとしての成長機会が多い 5
ホスティング事業部に おけるSREの領域
ホスティング事業部における SREの領域 7 ペパボのサービス
ホスティング事業部における SREの領域 8 ホスティング事業部のサービス
ホスティング事業部における SREの領域 9 • Webホスティング • データベース • メール •
ドメイン • DNS 主な機能
ホスティング事業部における SREの領域 10 規模 Web site 250万+ Traffic 18Gbps+ Baremetal
1000+ VM 500+
ホスティング事業部における SREの領域 11 技術スタック ref https://tech.pepabo.com/tech-stack/hosting/ SREの領域
ホスティング事業部における SREの領域 12 ホスティングサービスの全体像 プライベートクラウド( OpenStack) Kubernetes Web Apps (サービスサイト、
コントロールパネル 等) ユーザ向けホスティングサーバ (Web、DB 等) Baremetal Baremetal
ホスティング事業部における SREの領域 13 ホスティングサービスの全体像 プライベートクラウド( OpenStack) Kubernetes Web Apps (サービスサイト、
コントロールパネル 等) ユーザ向けホスティングサーバ (Web、DB 等) Baremetal ホスティング事業部のSREの領域 Baremetal
ホスティング事業部における SREの領域 14 • Baremetal Serverの運用 • ホスティングインフラプラットフォームの開発・運用 • Webアプリケーションプラットフォームの開発・運用
• プロダクトの安定性や信頼性向上のためのモニタリングと改善 • 各種オペレーションの自動化 • SRE文化の醸成、各チームへの展開 SREの仕事
ホスティング事業部における SREの領域 15 ホスティングインフラプラットフォームの開発・運用 • サーバの構成管理(IaC) • ユーザーのオーダーからホスティング環境のプロビジョニングを行う API •
マルチテナントホスティングサーバのセキュリティ担保 • 新機能や技術課題を解決するためのアーキテクトやミドルウェア等の開発
ホスティング事業部における SREの領域 16 Webアプリケーションプラットフォームの開発・運用 • Kubernetesクラスタの運用 • アプリケーションのコンテナライズ • 開発環境の整備
• CI/CDパイプラインの構築
ホスティング事業部における SREの領域 17 プロダクトの安定性や信頼性向上のためのモニタリングと改善 • PrometheusやGrafana等を用いた可観測性の向上 • SLI/SLOの策定、運用 • パフォーマンス改善、可用性の向上
SREの取り組み
SREの取り組み 19 Web Server Web Server Web Server API Control
Panel FTP Proxy SSH Proxy Reverse Proxy … a.jp b.jp c.jp z.jp 全体像 ユーザーからのオーダーを受け取り Web Server にセットアップ FTPアクセスを制御 SSHアクセスを制御 TLS終端 キャッシュ、フィルタリングルールの実行 HTTPアクセスを制御 500+ 250万+
SREの取り組み 20 大量のドメインに対するリクエストハンドリング • 課題 • リバースプロキシは大量のドメインに対して以下の要件を満たさなければならない。 • コンテンツをホストしているWebサーバを選択してリクエストを転送する •
キャッシュやフィルタリングのルールを適用する • TLS終端を行う • リソースの観点で静的な設定をリバースプロキシに適用することができない。 • メモリが枯渇する • 解決方法 • matsumotory/ngx_mruby を用いて、動的にリクエストをハンドリングしている
SREの取り組み 21 Web Server Web Server Web Server Reverse Proxy
… a.jp b.jp c.jp z.jp 大量のドメインに対するリクエストハンドリング へアクセス Database ngx_mruby a.jp Databaseから取得したデータを元にハンドリング - TLS終端 - キャッシュ、フィルタリングルールの実行 - Web Serverへプロキシ 以下の情報をDatabaseから取得 - TLS証明書 - キャッシュやフィルタリングルール - Web Server ホスト
SREの取り組み 22 大量のドメインに対するリクエストハンドリング https://speakerdeck.com/takumakume/2-million-more-than-the-domain-the-back-of-the-rental-server-content-cache
SREの取り組み 23 大量のドメインに対するリクエストハンドリング https://rand.pepabo.com/article/2017/06/16/iot37-matsumotory/ (スライド、論文)
SREの取り組み 24 動的なSSH/FTPのハンドリング • 課題 • サーバの収容変更をしたときに、 SSH/FTPのエンドポイントが変わってしまい不便。 • 解決方法
• 以下のソフトウェアを用いて動的に接続先を決定している • SSH: tsurubee/sshr • FTP: pyama86/pftp
SREの取り組み 25 Web Server Web Server Web Server FTP Proxy
SSH Proxy … a.jp b.jp c.jp z.jp 動的なSSH/FTPのハンドリング へアクセス Database a.jp 各プロキシミドルウェアは、プロトコルの処理に割って入り、 動的に転送先を決めている。 接続元ユーザ名をもとに転送先を取得 Pluggable Hook
SREの取り組み 26 動的なFTPのハンドリング https://speakerdeck.com/heat1024/gochu-xin-zhe-gagoroutinedetiao-ndaftppurokisi https://speakerdeck.com/pyama86/golangdezuo-ruftppurokisisaba
SREの取り組み 27 動的なSSHのハンドリング https://speakerdeck.com/tsurubee/golangtesshhurokisisahawoshi-zhuang-sita-6ff62aee-12f3-40f5-9e99-f21c5e169d97
SREの取り組み 28 各種Webアプリケーションのコンテナ化 VM + Chef による構成管理から、イミュータブルなコンテナへ Kubernetes を始めとしたクラウドネイティブなエコシステムによりアプリケーション開発に集中できるようにする
SREの取り組み 29 開発体験の向上 アプリケーションの動作確認を Pull Request毎に自動生成して生産性を上げていく
SREの取り組み 30 SLI/SLOの運用 ホスティング、Webアプリケーション環境それぞれ SLI/SLOを策定し運用する
現状の課題と今後
現状の課題と今後 32 • ユーザ向けサーバ群の可用性向上 • ハードウェア故障などで一時的なサービス断が発生してしまう • 数百円から利用できる安価なホスティングサービスを提供している。コストを抑えつつ可用性が 高いアーキテクチャを作る •
コントロールパネルからのオペレーションを非同期かつ冪等に実装し、アプリケーションとイ ンフラ間の不整合が発生しにくいアーキテクチャにする • 現状はアプリケーションからインフラへ同期的にオペレーションをするアーキテクチャとなってお り、失敗した後の検知とリカバリをしなければ整合性が取れない • Kubernetesのアーキテクチャのように、定義した状態に収束する実装にしていく
現状の課題と今後 33 • 可能な限りコンテナ化していく • Baremetal Serverに直接OSとアプリケーションをプロビジョニングしている。 • リソース要求の変更に弱く、ミュータブルなため管理コストが高い。 •
可観測性を向上させノイジーネイバーに対応する • ホスティングサーバはユーザが任意のプログラムを実行することができる。 • 極論、CPUをぶん回す処理も実行可能。 • ノイジーネイバーの発生原因を観測し、適切な手段でリソース分離をする技術が必要。
ホスティング事業部における SREの面白さ
ホスティング事業部における SREの面白さ • 世にないアーキテクチャを生み出す面白さ • ホスティングはコストを抑えつつ大量の Webサイトを運用するというニッチな領域 • 前例のないミドルウェアやアーキテクチャを生み出すチャレンジングな仕事 •
幅広い技術を取り扱うことの面白さ • ホスティングは一般的な Webアプリケーションと異なり、数百人で 1台のサーバを共有するマルチ テナントアーキテクチャのため Linux Kernelなどの低レイヤの技術も必要 • WebアプリやKubernetesを始めとしたプラットフォームの運用 • オンプレのBaremetal Server、プライベートクラウド、パブリッククラウドの使用 • 様々な技術スタックに触れることができるためエンジニアとしての成長機会 35 再掲
36 Thank You! Thank You! GMOペパボのSREに興味がある方は @takumakume までご連絡ください! カジュアル面談でもお待ちしております。