Upgrade to Pro — share decks privately, control downloads, hide ads and more …

数行の変更でDockerビルドを最大91%高速化~GitLab CIの実行基盤を社内40リポジ...

picopico
November 22, 2026

数行の変更でDockerビルドを最大91%高速化~GitLab CIの実行基盤を社内40リポジトリに展開するまで~

CloudNative Days Winter 2026の発表資料

picopico

November 22, 2026

Transcript

110 slides
  1. ⾃⼰紹介 picopico @picopico_dev ピクシブ株式会社 Platform Division Infrastructure Unit 2023 年

    4 ⽉に新卒⼊社 picopico.me PHP のエンジニアとして⼊ったら、いつの 間にかインフラエンジニアになっていた 導入 6
  2. キャッシュの種類 レイヤーキャッシュ regular マウントキャッシュ exec.cachemount ローカルのビルドコンテキスト source.local Git から取得したソース source.git.checkout

    Dockerfile を解釈するフロントエンド frontend BuildKit の内部⽤ internal 出典:docker buildx prune(--filter type) https://docs.docker.com/reference/cli/docker/buildx/prune/ キャッシュ編 11
  3. キャッシュの種類 レイヤーキャッシュ regular マウントキャッシュ exec.cachemount ローカルのビルドコンテキスト source.local Git から取得したソース source.git.checkout

    Dockerfile を解釈するフロントエンド frontend BuildKit の内部⽤ internal 出典:docker buildx prune(--filter type) https://docs.docker.com/reference/cli/docker/buildx/prune/ キャッシュ編 12
  4. レイヤーキャッシュ Dockerfile イメージのレイヤー FROM node:26-slim → sha256:dd57f90311a2 ほか ベースイメージのレイヤー(4 層)

    WORKDIR /app → sha256:ff738ac66463 WORKDIR /app → sha256:f61bc1768172 RUN /bin/sh -c npm ci # buildkit COPY . . → sha256:118f8c65254a COPY . . # buildkit RUN npm run build → sha256:ce998e6df94c RUN /bin/sh -c npm run build # buildkit RUN --mount=type=bind,src=package.json,dst=package.json \ --mount=type=bind,src=package-lock.json,dst=package-lock.json \ --mount=type=cache,target=/root/.npm \ npm ci キャッシュ編 13
  5. 変更なしで再ビルドする場合 => CACHED [2/5] WORKDIR /app => CACHED [3/5] RUN

    --mount=type=bind,… npm ci => CACHED [4/5] COPY . . => CACHED [5/5] RUN npm run build キャッシュ編 14
  6. ソースコードを変更して再ビルドする場合 => CACHED [2/5] WORKDIR /app => CACHED [3/5] RUN

    --mount=type=bind,… npm ci => [4/5] COPY . . ← ソースコードが変わった => [5/5] RUN npm run build ← その先も再実⾏ キャッシュ編 15
  7. キャッシュの種類 レイヤーキャッシュ regular マウントキャッシュ exec.cachemount ローカルのビルドコンテキスト source.local Git から取得したソース source.git.checkout

    Dockerfile を解釈するフロントエンド frontend BuildKit の内部⽤ internal 出典:docker buildx prune(--filter type) https://docs.docker.com/reference/cli/docker/buildx/prune/ キャッシュ編 16
  8. マウントキャッシュが使える例(1/2) apt RUN --mount=type=cache,target=/var/cache/apt \ --mount=type=cache,target=/var/lib/apt \ apt-get install -y

    curl apk RUN --mount=type=cache,target=/var/cache/apk \ apk add curl npm RUN --mount=type=cache,target=/root/.npm \ npm ci キャッシュ編 19
  9. マウントキャッシュが使える例(2/2) Go RUN --mount=type=cache,target=/go/pkg/mod \ --mount=type=cache,target=/root/.cache/go-build \ go build ./...

    pnpm RUN --mount=type=cache,target=/pnpm/store \ pnpm install --frozen-lockfile ccache RUN --mount=type=cache,target=/root/.cache/ccache \ make ほかにも Composer、uv、pip、Next.js のビルドキャッシュなど キャッシュ編 20
  10. キャッシュの保存先 BuildKit の内部キャッシュ ローカルキャッシュ。常に有効 registry レジストリキャッシュ inline local gha beta

    s3 experimental azblob experimental 出典:Cache storage backends https://docs.docker.com/build/cache/backends/ キャッシュ編 22
  11. キャッシュの保存先 BuildKit の内部キャッシュ ローカルキャッシュ。常に有効 registry レジストリキャッシュ inline local gha beta

    s3 experimental azblob experimental 出典:Cache storage backends https://docs.docker.com/build/cache/backends/ キャッシュ編 23
  12. ローカルキャッシュ $ docker buildx du --verbose Type Description Size regular

    pulled from docker.io/library/node:26-slim 235.3MB regular mount / from exec /bin/sh -c npm ci 2.72MB regular [stage-0 4/5] COPY . . 28.67kB exec.cachemount cached mount /root/.npm from exec /bin/sh -c npm ci 12.29kB source.local local source for context 24.58kB キャッシュ編 27
  13. キャッシュの保存先 BuildKit の内部キャッシュ ローカルキャッシュ。常に有効 registry レジストリキャッシュ inline local gha beta

    s3 experimental azblob experimental 出典:Cache storage backends https://docs.docker.com/build/cache/backends/ キャッシュ編 28
  14. レジストリキャッシュ レジストリ push ジョブ A app:a1b2c3 イメージ コミット a1b2c3 をビルド

    cache-from / cache-to ジョブ B キャッシュ⽤のタグ app:d4e5f6 コミット d4e5f6 をビルド push キャッシュ編 app:cache イメージ 29
  15. 全体構成 GitLab Google Cloud / GKE Autopilot ノード(Local SSD 付き)

    ns: gitlab-runner-buildkit ns: buildkit CronJob ジョブ Pod GitLab CI ID トークンを発⾏ buildkitd 毎⽇ 05:00 に Pod を削除 rootful buildx TLS + Container Registry Envoy ID トークン ID トークンを付ける Envoy mTLS Local SSD ID トークン検証 + RBAC OTel Collector インターネット emptyDir OTLP pull / push 許可したドメイン レジストリ、Datadog など 構築編 Cloud NGFW 許可したドメインだけ外へ出られる 41
  16. docker build の中⾝ docker build CLI → buildx CLI プラグイン

    gRPC → buildkitd BuildKit のデーモン Docker Engine 23.0 から BuildKit が既定。ふだんは Docker Engine に内蔵のものを使っている 構築編 43
  17. buildx はビルダーを切り替えられる ドライバ BuildKit がどこで動くか docker Docker Engine に内蔵のもの docker-container

    コンテナとして起動する kubernetes Pod として起動する remote すでに動いている buildkitd につなぐ docker buildx create --name shared --driver remote tcp://buildkitd:1234 docker buildx build --builder shared -t app . 構築編 44
  18. buildkitd とキャッシュ GitLab Google Cloud / GKE Autopilot ノード(Local SSD

    付き) ns: gitlab-runner-buildkit ns: buildkit CronJob ジョブ Pod GitLab CI ID トークンを発⾏ buildkitd 毎⽇ 05:00 に Pod を削除 rootful buildx TLS + Container Registry Envoy ID トークン ID トークンを付ける Envoy mTLS Local SSD ID トークン検証 + RBAC OTel Collector インターネット emptyDir OTLP pull / push 許可したドメイン レジストリ、Datadog など 構築編 Cloud NGFW 許可したドメインだけ外へ出られる 47
  19. キャッシュは emptyDir に保持する buildkitd の Pod cache-from レジストリ ローカルに無いときだけ buildcache

    buildkitd 読み書き emptyDir ノードの Local SSD に載る レイヤーキャッシュとマウントキャッシュ 構築編 ふだんは cache-to しない 送ると転送に時間がかかる CronJob 毎⽇ 05:00 に Pod ごと消す 48
  20. ジョブ Pod GitLab Google Cloud / GKE Autopilot ノード(Local SSD

    付き) ns: gitlab-runner-buildkit ns: buildkit CronJob ジョブ Pod GitLab CI ID トークンを発⾏ buildkitd 毎⽇ 05:00 に Pod を削除 rootful buildx TLS + Container Registry Envoy ID トークン ID トークンを付ける Envoy mTLS Local SSD ID トークン検証 + RBAC OTel Collector インターネット emptyDir OTLP pull / push 許可したドメイン レジストリ、Datadog など 構築編 Cloud NGFW 許可したドメインだけ外へ出られる 51
  21. ジョブ Pod から remote で接続する ジョブ Pod buildx(remote ドライバ) gRPC

    ジョブ Pod buildx(remote ドライバ) buildkitd の Pod 1 つを共⽤。キャッシュも共⽤ ジョブ Pod buildx(remote ドライバ) 構築編 52
  22. ジョブ Pod からの接続 .gitlab-ci.yml include: - component: $CI_SERVER_FQDN/pixiv/ci-templates/docker/docker@2 コンポーネントの中身(抜粋) buildx

    create --name "$BUILDKIT_BUILDER" --driver remote "$BUILDKIT_HOST" buildx bake --builder "$BUILDKIT_BUILDER" \ --set "*.args.BUILDKIT_CACHE_MOUNT_NS=${CI_PROJECT_PATH_SLUG}" \ --set "$t.cache-from=type=registry,ref=$cache_repo:$t" 構築編 53
  23. OpenTelemetry でビルドを⾒る GitLab Google Cloud / GKE Autopilot ノード(Local SSD

    付き) ns: gitlab-runner-buildkit ns: buildkit CronJob ジョブ Pod GitLab CI ID トークンを発⾏ buildkitd 毎⽇ 05:00 に Pod を削除 rootful buildx TLS + Container Registry インターネット ID トークン Envoy ID トークンを付ける Envoy mTLS Local SSD ID トークン検証 + RBAC OTel Collector ジョブ側のスパンも送る emptyDir OTLP ステップごとのスパン pull / push 許可したドメイン レジストリ、Datadog など 構築編 Cloud NGFW 許可したドメインだけ外へ出られる 56
  24. 計測条件 題材 Mastodon v4.7.3 ケース 1 ファイル変更/変更なし 計測⽅法 各 2

    回の平均 ビルドする場所 共⽤ buildkitd(c4-standard-24-lssd) レジストリキャッシュ ⼿元のキャッシュを使わず、毎回レジストリから取り込む 構築編 57
  25. レジストリキャッシュ vs ローカルキャッシュ レジストリキャッシュ 89 s レイヤーを取得 COPY . COPY

    .(precompiler) yarn install assets:precompile COPY bundle bootsnap 最後の RUN キャッシュを送信 ローカルキャッシュ 49 s レイヤーを取得 COPY . COPY .(precompiler) yarn install assets:precompile COPY bundle bootsnap 最後の RUN キャッシュを送信 なし なし 0s 構築編 20s 40s 60s 80s 100s 58
  26. 命令ごとの差分 命令 レジストリ ローカル 差 キャッシュの送信 28.8 s なし −28.8

    s キャッシュ済みの層の取得 16.4 s なし −16.4 s assets:precompile 23.0 s 21.9 s −1.1 s COPY bundle 5.5 s 4.3 s −1.2 s yarn install 8.2 s 7.7 s −0.5 s COPY .(2 か所) 3.4 s 4.4 s +1.0 s 合計 87.9 s 48.4 s −39.5 s 構築編 59
  27. ストレージの IOPS ランダム書き込み IOPS 4 KB × 2 万個の書き込み ストレージ

    ノード ⼿元の WSL2 ̶ 88,223 41.6 s PV(Hyperdisk) c4-standard-32 30,174 22.3 s PV(pd-ssd) t2d-standard-32 38,830 24.3 s Local SSD c4-standard-24-lssd 約 315,000 4.5〜5.1 s Local SSD c4-standard-32-lssd 384,579 3.2 s 構築編 60
  28. コストの内訳 c4-standard-24-lssd(東京) 単価 vCPU × 24 $0.0445/vCPU・時 $780 メモリ 90

    GiB $0.00506/GiB・時 $332 Local SSD 1,500 GiB $0.205/GiB・月 $308 合計 構築編 ⽉額 $1,420 62
  29. 機種ごとのコストと IOPS(Google Cloud) 機種 vCPU/メモリ Local SSD ⽉額 CUD 1

    年 CUD 3 年 書き込み IOPS c4-standard-16-lssd 16/60 GB 750 GB $895 $564 $403 — c4-standard-24-lssd 24/90 GB 1.5 TB $1,420 $895 $639 約 315,000 c4-standard-32-lssd 32/120 GB 1.9 TB $1,868 $1,177 $840 約 319,000 c4-standard-48-lssd 48/180 GB 3 TB $2,840 $1,789 $1,278 — 構築編 63
  30. 起きた事例 Codecov 2021-04 改ざんされた Bash Uploader が、利⽤者の環境からデータを外へ送った Ultralytics 2024-12 ブランチ名から命令を注⼊され、リリースにマイニングツールが混⼊

    tj-actions 2025-03 タグが書き換えられ、CI のシークレットがログに出た Nx s1ngularity 2025-08 依存が AI の CLI を起動し、シークレットを探させて公開した AI の Action 2026-04 issue の⽂⾯で Gemini CLI が認証情報をログに出した agent-framework 2026-11 改ざん版が起動時に CI のトークンなどの認証情報を盗んだ 出典(Wiz):https://threats.wiz.io/all-incidents/codecov-incident https://www.wiz.io/blog/ultralytics-ai-library-hacked-via-github-for-cryptomining https://www.wiz.io/blog/github-action-tj-actions-changed-files-supply-chain-attack-cve-2025-30066 https://www.wiz.io/blog/s1ngularity-supply-chain-attack https://www.wiz.io/blog/github-actions-security-ai-powered-actions-vulnerabilities https://www.wiz.io/blog/malicious-version-of-microsofts-agent-framework-published-to-pypi セキュリティ編 68
  31. 何も対策していない runner のリスク カーネルをほかのジョブと共有している 外向きの通信に制限がない ジョブの中で root や privileged になれる

    ノードの環境にアクセスできる 基盤の鍵が⾒える(SA トークン、ノードの SA) CI 変数が丸ごと渡る セキュリティ編 70
  32. よくある構成:Docker-in-Docker .gitlab-ci.yml build: image: docker:29 services: - docker:29-dind variables: ジョブごとに

    dockerd を⽴てる ジョブの docker がそこへつなぐ dockerd は privileged で動かす DOCKER_HOST: tcp://docker:2376 script: - docker build -t app . 出典:https://docs.gitlab.com/ci/docker/docker_in_docker/ セキュリティ編 72
  33. privileged のしくみ Pod の設定 securityContext: privileged: true privileged にすると capability

    をすべて持つ seccomp と AppArmor の制限を受けない ホストのデバイスが全部⾒える /proc と /sys を書き換えられる セキュリティ編 74
  34. capability とは root の権限を約 40 個に分けたもの CHOWN ファイルの所有者を変える NET_BIND_SERVICE 1024

    番より下のポートで待ち受ける NET_ADMIN ネットワークの設定を変える SYS_ADMIN mount や namespace の作成など。ほぼ何でもできる セキュリティ編 75
  35. DinD・privileged・capability の関係 privileged: true capability を全部持つ CHOWN Docker-in-Docker NET_ADMIN SYS_ADMIN

    … ノードの root とほぼ同じ 必要 ジョブごとに dockerd seccomp・AppArmor の制限を受けない ホストのデバイスが全部⾒える /proc・/sys を書き換えられる セキュリティ編 76
  36. 対策 1:gVisor でホストカーネルを分離する ふつうのコンテナ gVisor RUN のプロセス RUN のプロセス Sentry

    syscall が そのままホストへ ユーザー空間で動くカーネル Gofer ファイルの出⼊り ユーザー空間 ユーザー空間 カーネル空間 カーネル空間 ホストカーネル 限られた syscall だけ ホストカーネル gVisor:https://gvisor.dev/ セキュリティ編 81
  37. runc から gVisor にしたオーバーヘッド 同時ビルド数 runc gVisor 差 1 169

    s 171 s ほぼ同じ 10 237 s 264 s +11% 30 531 s 622 s +17% 40 678 s 848 s +25% セキュリティ編 82
  38. rootless に要るフラグ args: - --oci-worker-no-process-sandbox Kubernetes で rootless の BuildKit

    を動かすときに必須 外すには procMount: Unmasked が要る。Autopilot では使えない セキュリティ編 85
  39. フラグを付けると RUN が分かれない rootful(既定) --oci-worker-no-process-sandbox buildkitd の Pod buildkitd の

    Pod 同じ PID namespace buildkitd buildkitd PID namespace PID namespace ほかのプロセスが⾒える。⽌められる ビルド A の RUN セキュリティ編 ビルド B の RUN ビルド A の RUN ビルド B の RUN 86
  40. privileged にせず capability で絞る buildkitd の Pod runtimeClassName = "gvisor"

    automountServiceAccountToken = false securityContext = { runAsUser = 0 capabilities = { drop = ["ALL"] add = ["CHOWN", "SETUID", "SETGID", "SYS_ADMIN", "NET_ADMIN", ...] } } セキュリティ編 88
  41. frontend のイメージを固定する buildkitd.toml # "# syntax=" で外部イメージを # frontend にさせない

    [frontend."gateway.v0"] allowedRepositories = ["docker/dockerfile"] セキュリティ編 89
  42. BuildKit に要る capability capability 何に要るか RUN の既定の 14 個 buildkitd

    が持っていないと RUN に渡せない SYS_ADMIN RUN ⽤の namespace を作る。overlayfs を mount する NET_ADMIN # syntax= の frontend を起動するとき lo を上げる セキュリティ編 90
  43. 対策 2:ジョブから外部通信(Egress)を制限する GitLab Google Cloud / GKE Autopilot ノード(Local SSD

    付き) ns: gitlab-runner-buildkit ns: buildkit CronJob ジョブ Pod GitLab CI ID トークンを発⾏ buildkitd 毎⽇ 05:00 に Pod を削除 rootful buildx TLS + Container Registry インターネット ID トークン Envoy Envoy ID トークンを付ける ID トークン検証 + RBAC 外向きは Envoy と認証先だけ OTel Collector mTLS emptyDir Local SSD OTLP pull / push 許可したドメイン レジストリ、Datadog など セキュリティ編 Cloud NGFW 許可したドメインだけ外へ出られる 92
  44. Cloud NGFW のルールの例 - priority: 1000 direction: EGRESS action: allow

    match: destFqdns: [registry.example.com, pkg.example.com] layer4Configs: [{ipProtocol: tcp, ports: ["443"]}] - priority: 2000 direction: EGRESS action: deny match: destIpRanges: [0.0.0.0/0] layer4Configs: [{ipProtocol: all}] セキュリティ編 94
  45. 対策 3:Envoy で buildkitd の呼び出しを認証する GitLab Google Cloud / GKE

    Autopilot ノード(Local SSD 付き) ns: gitlab-runner-buildkit ns: buildkit CronJob ジョブ Pod GitLab CI ID トークンを発⾏ buildkitd 毎⽇ 05:00 に Pod を削除 rootful buildx TLS + Container Registry Envoy ID トークン ID トークンを付ける Envoy mTLS Local SSD ID トークン検証 + RBAC OTel Collector インターネット emptyDir OTLP pull / push 許可したドメイン レジストリ、Datadog など セキュリティ編 Cloud NGFW 許可したドメインだけ外へ出られる 96
  46. ID トークンの検証で守るもの 検証しない場合 buildkitd に届く Pod なら 誰でも呼べる キャッシュの全削除も呼べる 誰が呼んだか分からない

    セキュリティ編 検証する場合 呼べるのは GitLab が発⾏した CI ジョブだけ 通すのはビルドに要るメソッドだけ プロジェクト・ジョブ・ユーザーがログに残る 鍵を配らない。トークンはジョブの間だけ有効 97
  47. ID トークンを検証する流れ GitLab ジョブ Pod Envoy buildkitd buildx + Envoy

    前段のプロキシ 共⽤ BuildKit レジストリ ID トークン(aud=buildkitd) gRPC(TLS + ID トークン) JWKS を取得 署名・aud・呼べるメソッドを検証 mTLS pull・cache-from ビルド(ローカルキャッシュ) push 結果 セキュリティ編 98
  48. ジョブ側:Envoy で ID トークンを付ける ジョブ内の Envoy request_headers_to_add: - header: key:

    authorization value: "Bearer %ENVIRONMENT(BUILDKIT_ID_TOKEN)%" セキュリティ編 100
  49. Envoy:ID トークンを検証する - name: envoy.filters.http.jwt_authn typed_config: providers: gitlab: issuer: https://gitlab.example.com

    audiences: [buildkitd] forward: false remote_jwks: http_uri: { uri: "https://gitlab.example.com/oauth/discovery/keys" } cache_duration: 600s rules: - match: { prefix: "/" } requires: { provider_name: gitlab } セキュリティ編 101
  50. Envoy:呼べる gRPC を絞る - name: envoy.filters.http.rbac typed_config: rules: action: ALLOW

    policies: build: permissions: - or_rules: rules: - url_path: { path: { prefix: "/moby.buildkit.v1.frontend.LLBBridge/" } } - url_path: { path: { safe_regex: { regex: "^/moby\\.buildkit\\.v1\\.Control/(Solve|Status|Session|ListWorkers|Info|...)$" } } } principals: - sourced_metadata: セキュリティ編 # ID トークンに project_path があること 102
  51. 通すメソッドと通さないメソッド Solve ビルドを実⾏する ◦ Status 進捗とログを受け取る ◦ Session コンテキストやシークレットを送る ◦

    ListWorkers・Info 接続先の情報を得る ◦ ListenBuildHistory ビルド結果を受け取る ◦ LLBBridge frontend が使う。ビルド中のコンテナ操作も含む ◦ TraceService・Health トレースの送信とヘルスチェック ◦ Prune 全員のキャッシュを消せる × DiskUsage ほかのプロジェクトのキャッシュが⾒える × UpdateBuildHistory ビルド履歴を書き換えられる × セキュリティ編 103
  52. 脅威と対策 脅威 対策 ほかのジョブやノードに届く gVisor どこにでも送れる Egress 制限 誰でも buildkitd

    を呼べる Envoy の ID トークン検証と RBAC 基盤の鍵が⾒える SA トークンを持たせない frontend を差し替えられる allowedRepositories セキュリティ編 106
  53. まだ残る⽳と改善案 残る⽳ 改善案 共有キャッシュの汚染 ノードや buildkitd を信頼の単位で分ける CI 変数とジョブトークン DNS

    を使った持ち出し セキュリティ編 protected 変数で分ける。鍵を変数に置かず Workload Identity Federation に寄せる ジョブ Pod の宛先は Envoy とレジストリの認証先だけ。名前 解決もそこに絞る 107
  54. 全体構成 GitLab Google Cloud / GKE Autopilot ノード(Local SSD 付き)

    ns: gitlab-runner-buildkit ns: buildkit gVisor CronJob ジョブ Pod GitLab CI ID トークンを発⾏ gVisor buildkitd 毎⽇ 05:00 に Pod を削除 rootful buildx TLS + Container Registry インターネット ID トークン Envoy Envoy ID トークンを付ける ID トークン検証 + RBAC 外向きは Envoy と認証先だけ OTel Collector mTLS emptyDir Local SSD OTLP pull / push 許可したドメイン レジストリ、Datadog など まとめ Cloud NGFW 許可したドメインだけ外へ出られる 108

More Decks by picopico

Other Decks in Programming