Link
Embed
Share
Beginning
This slide
Copy link URL
Copy link URL
Copy iframe embed code
Copy iframe embed code
Copy javascript embed code
Copy javascript embed code
Share
Tweet
Share
Tweet
Slide 1
Slide 1 text
マイクロサービス環境におけるToilを 削減するTerraformの活用 in DMMプラットフォーム @pospome
Slide 2
Slide 2 text
登壇者 名前：pospome（ぽすぽめ） 所属：DMM.com Twitter:@pospome
Slide 3
Slide 3 text
内容について マイクロサービス環境におけるTerraformの活用についてToil削減という観点で 話します。
Slide 4
Slide 4 text
DMMプラットフォーム 扱う領域：DMM会員、決済、DMMポイント、不正対策など エンジニア数：120名以上 開発チーム数：16チーム マイクロサービス数：約40サービス ピーク時のリクエスト：19,000RPS ＊2016年くらいからマイクロサービスに取り組んでいる。
Slide 5
Slide 5 text
プラットフォームエンジニアリングへの取り組み DMMプラットフォームはプラットフォームエンジニアリングに取り組むことで開 発効率を向上させている。 開発 チーム プラットフォーム チーム 共通利用するインフラ環境や ツールを提供している
Slide 6
Slide 6 text
プラットフォームエンジニアリングへの取り組み 提供するツールの例 ● EKS/GKE ● ArgoCD ● Container Registry ● Datadog ● Pager Duty
Slide 7
Slide 7 text
コミュニケーションコストを低くする必要がある 開発チームからプラットフォームチームに申請や作業依頼をする形にすると、 待ちが発生してしまう。 開発 チーム プラットフォーム チーム 共通利用するインフラ環境や ツールを提供している 申請 or 作業依頼
Slide 8
Slide 8 text
開発チームに独立性を持たせる 開発チームが自身で責任を持ってツールを利用することで、 プラットフォームとコミュニケーションせずに開発を進めることができる。 対象 プラットフォームチーム 開発チーム k8s(GKE & EKS) クラスターの構築・運用 k8sマニフェストの管理 CDパイプライン ArgoCDの構築・運用 ArgoCDを利用したデプロイの実行
Slide 9
Slide 9 text
開発チームに独立性を持たせる 提供するツールを開発チーム自身で適切に利用できる世界を目指す。 ● EKS/GKE ● ArgoCD ● Container Registry ● Datadog ● Pager Duty
Slide 10
Slide 10 text
トイルが発生してしまう 開発チームに独立性を持たせても、プラットフォームチームへの作業依頼をゼ ロにすることはできない。 ● k8sへのアクセス権限の付与 ● Datadogへのログインアカウント発行 ● Container Registryのリポジトリ作成
Slide 11
Slide 11 text
トイルが発生してしまう 開発チームを待たせないためにも即時対応しなければいけないものが多い。 作業自体は数分で終わるものでも単純な作業工数で計れない悪影響がある。 ● コンテキストスイッチの切り替えによる作業効率の低下 ● 作業者のモチベーション低下
Slide 12
Slide 12 text
どうやって解決しているのか?
Slide 13
Slide 13 text
Terraformを利用することでトイルを削減している “Super Terraform”という リソース管理の仕組みで トイルを削減している。 実体としてはTerraformである。
Slide 14
Slide 14 text
Super Terraformのコンセプト
Slide 15
Slide 15 text
Super Terraformはリソース管理の仕組み Super Terraformはプラットフォームチームが提供するツール群に関連するリ ソースを管理するための仕組みである。 単なるクラウドインフラのIaCではなく、“トイルを削減する” という思想をベース に設計されている。
Slide 16
Slide 16 text
Super Terraformはリソース管理の仕組み 開発者が自身でSuper Terraform上のTerraform定義を編集することで以下の 作業を完了することができる。 ● k8sへのアクセス権限の付与 ● Datadogへのログインアカウント発行 ● Container Registryのリポジトリ作成
Slide 17
Slide 17 text
Terraformの変数の値を編集するだけ 開発者フレンドリーな形で 抽象化されており、 開発者はTerraformのプロバイダーを 直接扱う必要はない。 開発チームはTerraformの変数を 編集するだけで任意の設定が できるようになっている。
Slide 18
Slide 18 text
最低限のガードレールは用意している Super Terraform内のディレクトリとファイルは CODEOWNERによって権限設定がされている。
Slide 19
Slide 19 text
最低限のガードレールは用意している Terraformの変数に指定する値も バリデーションしていたり、 特定の値しか指定できないようにしている。
Slide 20
Slide 20 text
あくまでも最低限のガードレール ガードレールを厳しくすると申請の承認などが発生してしまい、本末転倒なので ガードレールとはいえ最低限のものである。 誤操作や本当にヤバい設定を防ぐことを目的にしている。
Slide 21
Slide 21 text
各種トイルの解消例
Slide 22
Slide 22 text
トイルの種類 トイルには大きく分けて2つの種類がある。 1. 開発者管理 2. アプリケーション管理
Slide 23
Slide 23 text
トイルの種類 トイルには大きく分けて2つの種類がある。 1. 開発者管理 2. アプリケーション管理
Slide 24
Slide 24 text
開発者管理 Super Terraformで扱う開発者管理のユースケースは以下である。 1. 各種ツールの利用申請 2. 各種ツールの権限設定 3. 各種ツールの権限削除
Slide 25
Slide 25 text
開発者管理 Super Terraformで扱う開発者管理のユースケースは以下である。 1. 各種ツールの利用申請 2. 各種ツールの権限設定 3. 各種ツールの権限削除
Slide 26
Slide 26 text
各種ツールの利用申請 DMMプラットフォームで 開発をするエンジニアは 最初に各種ツールの利用申請を することになる。 申請者自身がSlack Workflowで 必要情報を入力することで申請できる。
Slide 27
Slide 27 text
なぜSlackなのか? DMMは入社時に Slackアカウントが付与されているので、 誰でもWorkflowを実行できる。 誰かが代わりに申請する手間が省ける。
Slide 28
Slide 28 text
各種ツールの利用申請 Slack Workflowの実行によって、 Super Terraform上にPRが作られる。 このPRをmergeすると、 指定した権限で 各種ツールが利用できる状態になる。
Slide 29
Slide 29 text
各種ツールの利用申請 PRをmergeできる権限を持つのは、 各チームの限られた人のみである。 具体的には github_approver という 属性がtrueになっている人であれば、 merge できるようになっている。
Slide 30
Slide 30 text
各種ツールの利用申請 申請者は自チームのエンジニアに PRのmergeを依頼することになる。 利用申請が各チームで完結する。
Slide 31
Slide 31 text
各種ツールの利用申請 誰を github_approver=true にするかは、 各チームに任せている。 各チームに責任を持って管理してもらう 方針に倒している。
Slide 32
Slide 32 text
Super Terraformでも開発チームに独立性を持たせる Super Terraformでも開発チームに独立性を持たせることで、 プラットフォームチームとのコミュニケーションをなくす。 ● Slack Workflowで申請者自身が利用申請できるようにする。 ● 各チームに承認者を配置する。
Slide 33
Slide 33 text
開発者管理 Super Terraformで扱う開発者管理のユースケースは以下である。 1. 各種ツールの利用申請 2. 各種ツールの権限設定 3. 各種ツールの権限削除
Slide 34
Slide 34 text
各種ツールの権限設定 Slack Workflowによる利用申請が完了すると、申請者自身がSuper TerraformにPRを作成することができるようになる。 申請後は任意のタイミングで任意の権限設定が可能になる。
Slide 35
Slide 35 text
開発者管理 Super Terraformで扱う開発者管理のユースケースは以下である。 1. 各種ツールの利用申請 2. 各種ツールの権限設定 3. 各種ツールの権限削除
Slide 36
Slide 36 text
各種ツールの権限削除 Super Terraformから定義を削除すれば各種ツールの利用も停止することがで きる。
Slide 37
Slide 37 text
Super Terraformの退職者検知機能について 退職者が出た場合、Super Terraformが自動的に定義を削除してくれる。削除 した場合、退職者の所属チームにSlackで連絡がいく。
Slide 38
Slide 38 text
Super Terraformの退職者検知機能について 各チームで適切に退職者対応をしない可能性があるので、 ガードレールとして用意している機能である。
Slide 39
Slide 39 text
トイルの種類 トイルには大きく分けて2つの種類がある。 1. 開発者管理 2. アプリケーション管理
Slide 40
Slide 40 text
アプリケーション管理のユースケースについて 開発者管理のユースケースは以下である。 1. 新規アプリケーションの開発に必要なリソースを作成する 2. 各種設定変更
Slide 41
Slide 41 text
アプリケーション管理のユースケースについて 開発者管理のユースケースは以下である。 1. 新規アプリケーションの開発に必要なリソースを作成する 2. 各種設定変更
Slide 42
Slide 42 text
新規アプリケーションに必要なリソースを作成する DMMプラットフォームでは各種ツールを利用してアプリケーションを開発するた めに以下のリソースが必要になる。 1. k8s上で動かすアプリケーションのマニフェストファイル 2. ArgoCDのデプロイ設定ファイル（k8sのCRD定義） 3. コンテナイメージを保存するContainer Registry 4. AWS Transit Gatewayの接続設定（EKSを利用する場合のみ）
Slide 43
Slide 43 text
新規アプリケーションに必要なリソースを作成する アプリケーションを開発するためのリソースは Super TerraformのGitHubリポジトリの GitHub ActionsのWorkflowで 作成することができる。
Slide 44
Slide 44 text
作成されるPR Workflowを実行すると、PRが作成される。 PRを適切に編集して、 mergeすると各種リソースが作られる。
Slide 45
Slide 45 text
新規アプリケーションに必要なリソースを作成する Super Terraformで各種ツールの利用申請をした人であれば、 誰でもWorkflowを実行することができる。 PRのmergeも各チームで実行可能になっている。 ツールの利用申請と同様に開発チームで作業が完結する方針で設計してい る。
Slide 46
Slide 46 text
アプリケーションと開発者の紐づけ developersというフィールドで、 アプリケーションと開発者を 紐付けることができる。 この設定は以下に利用される。 ● アプリケーションごとのリソース権限管理 ● 連絡用のSlack User Groupの作成
Slide 47
Slide 47 text
Slack User Groupの作成
Slide 48
Slide 48 text
k8sマニフェストの生成とGitHubリポジトリ間の連携について k8sマニフェストは他のリポジトリで管理されているので、そのリポジトリに対し てPRを作成する形になっている。 Super Terraform k8sマニフェスト GitHubリポジトリ PRをmerge PRを作成
Slide 49
Slide 49 text
k8sマニフェストの生成とGitHubリポジトリ間の連携について k8sマニフェストを管理するGitHubリポジトリに k8sマニフェストのPRが作成される。 開発チームはPRを適切に編集し、 mergeするだけでいい。
Slide 50
Slide 50 text
アプリケーション管理のユースケースについて 開発者管理のユースケースは以下である。 1. 新規アプリケーションの開発に必要なリソースを作成する 2. 各種設定変更
Slide 51
Slide 51 text
各種設定を変更する アプリケーションの各種設定を変更する場合はTerraformの定義を編集するだ けでいい。
Slide 52
Slide 52 text
おまけ：アプリケーションの削除 Super Terraformではアプリケーションの削除をサポートしていない。 アプリケーションを削除する機会が少ないからである。 削除する場合はプラットフォームチームが手動で削除する。 削減効果の高いToilのみ対応する方針になっている。
Slide 53
Slide 53 text
Super Terraformの課題
Slide 54
Slide 54 text
マイクロサービスと開発者の管理が甘い 最終的にサービスカタログとして機能させる予定なので、 Backstage, Datadog Service Catalog とのインテグレーションを進める予定だっ た。 しかし、現状のSuper Terraformはリソース設計が甘く、改修を入れる必要があ る。
Slide 55
Slide 55 text
複雑な処理になると辛い Super TerraformはTerraformとGitHub Actions（シェル）で開発しているが、複 雑な自動化になると、これらで完結させることが難しい。 何かしらのプログラミング言語と組み合わせてプログラマブルに処理できるよう にする必要がある。 現時点では Dagger の採用を検討している。
Slide 56
Slide 56 text
まとめ
Slide 57
Slide 57 text
まとめ Super Terraformによってプラットフォームチームが抱えていた各種トイルを削 減することができた。 しかし、今後作り込もうとすると、辛くなりそうな雰囲気を感じている。