コンテナのCIについてインフラ目線で気にしておきたいこと

Transcript

1. ίϯςφͷCIʹ͍ͭͯΠϯϑϥ໨ઢͰ ؾʹ͓͖͍ͯͨ͜͠ͱ NRIネットコム株式会社 基盤デザイン事業部 尾澤公亮 2023-12-19
2. ඌᖒ ެ྄ Kosuke Ozawa インフラエンジニア AWS、コンテナを中⼼とした Webシステム設計/開発/運⽤/保守 ex.︓ ECS, EKS, Codeシリーズ
3. ࢲͷܦྺΛ͝঺հ 今⽇の話をする上で、 どういう経験を経てこのお話するかを 最初にお伝えしておきます
4. ࣾձਓ1~2೥໨ オンプレ中⼼ AWSも触ってた → インフラエンジニアという⾃負はある
5. ࣾձਓ3~4೥໨ コンテナ（Amazon ECS）案件 Codeシリーズ（CodePipeline/CodeBuild/CodeCommit）と⼤の仲良しになる AWS CodePipeline AWS CodeBuild AWS CodeCommit AWS CodeDeploy Amazon Elastic Container Registry (Amazon ECR) Amazon Elastic Container Service (Amazon ECS)
6. Ҏ߱ʙݱࡏʹࢸΔ 担当案件みなコンテナ CI/CDは必須
7. ࢲͷ੒Γཱͪ 最初オンプレ、その後AWS 途中でコンテナ、後もコンテナ 気づけばCI/CDが当たり前のように横にいる CI/ CD
8. ࠓ೔͓఻͍͑ͨ͜͠ͱ
9. CI͸΍Δ͜ͱଟ͍ɺ೉͍͠ɺ ʢج൫Λʣ࡞Δͷʹ͕͔͔࣌ؒΔ なのでインフラ屋さんだから全部できる、わけではない そうは⾔ってもやらないといけない時がある
10. ͦ͏͍͏࣌͸Πϯϑϥ԰͞Μͷ؍఺Ͱ௅΋͏ だからと⾔ってアプリ観点が不要なわけではない これ⼤事
11. ͬ͘͟Γࠓ೔ͷྲྀΕ コンテナとは CIとは CIにおけるアプリインフラの役割 CIについてインフラ⽬線で気にしておきたいこと
12. ίϯςφͱ͸ 仮想化技術 スピード（開発/処理） デリバリーの良さがメリット Amazon Web Services, Inc. 「What is Docker?」https://aws.amazon.com/docker/ （参照︓How Docker works）
13. CIͱ͸ Continuous Integration 継続的インテグレーション アプリケーションコードの更新→ビルド→テスト 上記を⾃動化した仕組み
14. CIͱ͸ Amazon Web Services, Inc.「What is Continuous Integration?」https://aws.amazon.com/devops/continuous-integration/ （参照︓How does Continuous Integration Work?）
15. ίϯςφʹ͓͚ΔCI この辺りの作業を⾃動化→ → 毎回⼿動でやりたくない → CIが機能することで 開発者は機能実装に注⼒できる # タグ付与 docker build -t your-image-name:tag . # テスト docker run -it your-image-name:tag rake test # イメージプッシュ docker login docker push your-image-name:tag
16. ίϯςφʹ͓͚ΔCI コンテナ稼働環境の再現性の⾼さ 基本Docker⼊ってればOK Local Docker System Docker Container Container
17. ։ൃʹٻΊΒΕΔεϐʔυੑ 開発したら。。。 早くテストして 早くデプロイして 早く検証したい →必然的にCIが求められる
18. 機能開発 アプリソースコード実装 CIʹ͓͚ΔΞϓϦΠϯϑϥͷ໾ׂ AWS環境整備 性能チューニング
19. ݁࿦ お互いどっちも知るべき
20. ر๬ アプリ ビルドスクリプトが書ける →actions.yml →buildspec.yml インフラ Dockerfileが書ける →アプリビルド部分含めて
21. ࠷௿ݶ஌ͬͯཉ͍͠ͱ͜Ζʢݸਓతʹʣ アプリ どこで何をやるのか ビルドフェーズでの処理 イメージ戦略 インフラ アプリビルドのシーケンス
22. ͦ͏͸ݴͬͯ΋ 全部わかるんだったら困らない
23. ʢ࠶ܝʣ CI͸΍Δ͜ͱଟ͍ɺ೉͍͠ どこで動かすか︖ 何をするのか︖ テストはどこまでやるのか︖ イメージ戦略はどうするか︖ ベースイメージを作る︖ ⽬標時間は︖ いかに早く終わらせるか CIしたあとは︖ そのままデプロイ︖or ステイ︖ 環境ごと、ブランチごとにかえる部分は︖ etc… 考慮事項が多い
24. ࣮৘ʢࢲͷഽײ֮ʣ 多分作るのはインフラ主導 → クラウド上でCI/CDが簡単に構築できるようになった → クラウド＝インフラという安易な考え
25. ͦ͏ͳͬͨΒ 何から⼿をつければ良いのやら。。。
26. ࢲࣗ਎͸ アプリわからん、とりあえずビルドして突っ込めば良いのでは︖ →できる範囲でそれっぽく作った AWS CodeBuild AWS CodeCommit AWS CodeDeploy Amazon Elastic Container Registry (Amazon ECR) Amazon Elastic Container Service (Amazon ECS) 再掲
27. ݁ՌɺͦΕͰ΋ྑ͍ʢͱࢥ͍·͢ʣ エンハンスで対応する 最初から完成形を作るのは難しい 運⽤コストの話もある
28. ࠓ·Ͱ΍͖ͬͯͨதͰ インフラ⽬線で気にしておきたい（気にしやすい）点について これからお話しします
29. CIʹ͍ͭͯΠϯϑϥ໨ઢͰ ؾʹ͓͖͍ͯͨ͜͠ͱ ビルド時間の短縮 環境をどこに置くか セキュリティ
30. どこ置こ CircleCI GitHub AWS Google Cloud Jenkins GitLab
31. SaaSܥ 基盤の管理をしなくて済む 何かあったときはツール頼み クラウドとの繋ぎこみを考慮 → AWS/GCP → OIDC利⽤可能なので ある程度負荷は軽減できそう CircleCI GitHub
32. Ϋϥ΢υαʔϏε ある程度基盤設定をこちらで管理で きる → CPU/Memory等 → 逆に⾔うと管理しないといけない サービス仕様、制約 → スクリプト記述、性能 クラウドサービスとの親和性 CircleCI GitHub Google Cloud AWS
33. OSSπʔϧ ホスト含めて管理が必要 → 逆に⾔うと基盤部分は好き放題できる インフラ設定は割と柔軟 → ツールの更新等の運⽤負荷がかかる クラウドとの繋ぎ込みは考慮が必要 → ネットワークの考慮 AWS Jenkins GitLab
34. Ҏ߱͸ɻɻɻ ⼀旦下記構成を前提に話を進めます User AWS CodeCommit AWS CodeBuild Amazon Elastic Container Registry (Amazon ECR) Code Push Build Image Push
35. Ωϟογϡͷར༻ ホスト側でのキャッシュ（レイヤーキャッシュ） BuildKitを使ったキャッシュ
36. ΠϝʔδϨΠϠʔ Docker Inc,「docker docs」https://docs.docker.com/build/guide/layers/（参照：Guides/Build with Docker/Layers）
37. Docker͸σϑΥϧτͰΩϟογϡΛ࢖͏ Docker Inc,「docker docs」https://docs.docker.com/build/guide/layers/（参照：Guides/Build with Docker/Layers）
38. CodeBuildͰϩʔΧϧΩϟογϡΛར༻ タイプは⼆つ ローカル S3 基本的にはローカルを使う S3は⼤規模データ向け
39. BuildKitΛ࢖ͬͨΩϟογϡར༻ apt キャッシュを保持 → パッケージ毎の差分が発⽣しても、 レイヤーを⼀から作らず、 キャッシュを使う # BuildKitを使ってaptパッケージをキャッシュする RUN --mount=type=cache, ¥ target=/var/cache/apt ¥ apt-get update
40. ηΩϡϦςΟͷ୲อ ビルド環境の権限管理 イメージ署名
41. Ϗϧυ؀ڥʹରͯ͠ͷݖݶ෇༩ CodeBuildであれば それ⾃⾝に付与されるIAMポリシー → 与えられている権限が過剰ではないか 取り急ぎアクセスアドバイザー確認 → 使⽤されていないポリシーを削除
42. Πϝʔδॺ໊ Amazon Web Services, Inc.「Cryptographic Signing for Containers」 https://aws.amazon.com/jp/blogs/containers/cryptographic-signing-for-containers/ （参照︓Where do signing and verification integrate?）
43. ࣮ࡍ࢖ͬͨ͜ͱͳ͍ が、これからは当たり前になるかも︖ → 署名ツールの整備、パイプラインへの組み込み等が必要
44. ؾʹ͓͖͍ͯͨ͠ϙΠϯτ·ͱΊ ビルド時間の短縮 ホスト、BuildKit機能による キャッシュの利⽤ 環境をどこに置くか SaaS/クラウド/OSSの特徴 セキュリティ 最⼩権限の原則 イメージ署名
45. ͍͔͕Ͱ͔ͨ͠ CIについてインフラ⽬線でお話ししました • CIは難しい、時間がかかる • ⼤体インフラが⾯倒みる（私の観測範囲上） • インフラだからといってアプリを知らなくていいわけではない
46. ͍͔͕Ͱ͔ͨ͠ ⼿始めにインフラ屋さんは、 得意な領域（⾮機能⾯）から 気にしていけば良い 気にすべきポイントは 環境 ビルド時間短縮 セキュリティ これ以外にももちろんあります
47. ࣮ࡍͷͱ͜Ζ CI基盤を「作る」と⾔うのはあまり経験しない気がしています 最初の⽴ち上げで「動くもの」をほぼ作り切ってしまうため あとは、速度改善、細かいチューニング等々の改修
48. ࠓޙΑ͋͘Γͦ͏ͳͷ͸ すでにあるCI基盤の保守 そんな時にどうやって仲良くなっていくか インフラ屋さん⽬線で切り込んでいくのがベスト その後、アプリも知っていく
49. Links Amazon Web Services, Inc. 「What is Docker?」 https://aws.amazon.com/docker/ Amazon Web Services, Inc. 「What is Continuous Integration?」 https://aws.amazon.com/devops/continuous-integration/ Docker Inc, 「docker docs」 https://docs.docker.com/ Amazon Web Services, Inc.「Cryptographic Signing for Containers https://aws.amazon.com/jp/blogs/containers/cryptographic- signing-for-containers/