Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BuildKit を使った Scala アプリケーションのテストと高速化 @ Docker M...
Search
i2tsuki
December 26, 2018
Technology
1
560
BuildKit を使った Scala アプリケーションのテストと高速化 @ Docker Meetup Kansai #2
BuildKit を使った Scala アプリケーションのテストと高速化
i2tsuki
December 26, 2018
Tweet
Share
More Decks by i2tsuki
See All by i2tsuki
ソーシャルゲームの長期運用 を目指すための SRE の取り組み - 10 周年を⽬指すコトダマンの場合 -
i2tsuki
5
2.3k
AWS Startup.fm 企業の上場時に必要な監査要件とマネジメントサービスによる解決
i2tsuki
0
84
20180530LINEDeveloperMeetupRedis-redis-for-mackerelio
i2tsuki
0
460
Mackerel's monitoring and checks
i2tsuki
1
6.6k
Mackerel インフラ基盤 AWS 移行の舞台裏
i2tsuki
6
10k
Python Web Application Monitoring in Mackerel
i2tsuki
1
5.7k
Other Decks in Technology
See All in Technology
君は隠しイベントを見つけれるか?
mujyun
0
380
[AWS JAPAN 生成AIハッカソン] Dialog の紹介
yoshimi0227
0
170
家具家電付アパートの冷蔵庫をIoT化してみた!
scbc1167
0
140
プロダクト成長に対応するプラットフォーム戦略:Authleteによる共通認証基盤の移行事例 / Building an authentication platform using Authlete and AWS
kakehashi
1
170
IaC運用を楽にするためにCDK Pipelinesを導入したけど、思い通りにいかなかった話
smt7174
1
130
Spring Frameworkの新標準!? ~ RestClientとHTTPインターフェース入門 ~
ogiwarat
1
210
Platform Engineering ことはじめ
oracle4engineer
PRO
7
570
リンクアンドモチベーション ソフトウェアエンジニア向け紹介資料 / Introduction to Link and Motivation for Software Engineers
lmi
4
290k
Postmanの日本市場におけるDevRel (的) 活動 / Postman's DevRelish activities in Japan
yokawasa
1
110
RAGのためのビジネス文書解析技術
eida
3
440
Gradle: The Build System That Loves To Hate You
aurimas
2
170
生成AIの強みと弱みを理解して、生成AIがもたらすパワーをプロダクトの価値へ繋げるために実践したこと / advance-ai-generating
cyberagentdevelopers
PRO
1
210
Featured
See All Featured
[RailsConf 2023] Rails as a piece of cake
palkan
51
4.9k
YesSQL, Process and Tooling at Scale
rocio
167
14k
How GitHub (no longer) Works
holman
310
140k
Producing Creativity
orderedlist
PRO
341
39k
Understanding Cognitive Biases in Performance Measurement
bluesmoon
26
1.4k
ピンチをチャンスに:未来をつくるプロダクトロードマップ #pmconf2020
aki_iinuma
108
49k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
14
2k
Fontdeck: Realign not Redesign
paulrobertlloyd
81
5.2k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
27
1.9k
Fight the Zombie Pattern Library - RWD Summit 2016
marcelosomers
231
17k
Ruby is Unlike a Banana
tanoku
96
11k
No one is an island. Learnings from fostering a developers community.
thoeni
19
3k
Transcript
BuildKit を使った Scala アプリケーションの テストと高速化 GitHub: @i2tsuki Twitter id:@kizkoh 2018-12-26
Docker Meetup Kansai #2 1 / 15
BuildKit について 須田さんのスライドが参考になる SlideShare - Docker 18.09 新機能 なにが嬉しいのか? マルチステージビルドが並行して実行できる
docker/dockerfile の syntax を使うとキャッシュできる 例) # syntax=docker/dockerfile:1.0-experimental 例) --mount=type=cache,id=ivy2,target=/user/.ivy2/cache 2 / 15
Scala のビルドとテストがめちゃ遅い!! 3 / 15
Scala の CI フロー どこが遅いの?? sbt の Scala の解決 ${HOME}/.sbt
(5 分) ivy2 キャッシュ ${HOME}/.ivy2/cache (40 分) コンパイルキャッシュ ${PROJECT}/target (5 分) 今まではバインドマウントして docker-compose run で実行してた (docker build だけでテスト、ビルドしてコンテナイメージ作りたい!) 4 / 15
とにかくステージを分ける!! & とにかくキャッシュする!! 5 / 15
Docker le buildkit/experimental.md at master · moby/buildkit · GitHub が参考になる!
# Stage app-ivy-setup FROM app-initial as app-ivy-setup RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ --mount=type=cache,id=sbt,target=/root/.sbt \ sbt compile # Stage: app-test FROM app-ivy-setup as app-test RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ # sbt は sbt.lock でロックを取得するので sharing=private にする --mount=type=cache,id=sbt,sharing=private,target=/root/.sbt \ sbt "set javaOptions ++= List(\"-Xms512M\", \"-Xmx2048M\", \"-Xss1M\", \"-XX:+C # Stage: app-scalastyle FROM app-ivy-setup as app-scalastyle RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ # sbt は sbt.lock でロックを取得するので sharing=private にする --mount=type=cache,id=sbt,sharing=private,target=/root/.sbt \ sbt "set javaOptions ++= List(\"-Xms512M\", \"-Xmx2048M\", \"-Xss1M\", \"-XX:+C 6 / 15
テストをどうするか(DB, KVS との接続)問題 7 / 15
BuildKit の問題 docker-compose 今までは docker-compose を使ってテストしていた docker-compose は BuildKit 対応中
8 / 15
BuildKit の問題 BuildKit のネットワークモード BuildKit のネットワークモードは Host or default or
none moby/builder.go at master · moby/moby 他のコンテナにアタッチできない & network を利用できない docker build --network=container:xxxxxxxxxxxx -t mackerel できない 9 / 15
どうするか 10 / 15
BuildKit でテストをする ホストのネットワークモードを使う DB, KVS は docker-compose で作成する DB, KVS
はホストネットワークモードで立てると他の CI ジョブと競合 DB, KVS はブリッジモードで作成する DB, KVS の IP は docker inspect で取ってくる 例) DB=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_db_1) 11 / 15
docker-compose.yml services: pause: image: gcr.io/google_containers/pause-amd64:3.1 networks: mackerel depends_on: - db
- redis db: image: postgres:9.6-alpine ports: - "5432" networks: mackerel redis: image: redis:2.8.17 ports: - "6379" networks: mackerel depends を解決したいのでメインのコンテナに pause コンテナ を立てている 12 / 15
BuildKit でテストをする ホストのネットワークモードを使う docker inspect を使って DB, KVS の IP
を取ってくる --add-host を使ってホスト名を解決する Tips: --add-host の IP の変更はレイヤキャッシュに影響しない docker-compose -f docker-compose.yml -p "${DOCKER_COMPOSE_PROJECT}" up -d DB=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_db_1 --format "{{json .NetworkSetting REDIS=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_redis1_1 --format "{{json .Networ docker build --pull \ --add-host db:${DB} \ --add-host redis:${REDIS} \ --network=host \ . 13 / 15
結局どれくらい早くなったのか 早くなった (12 分 -> 7 分) キャッシュがあればそこそこ早かった(docker run のバインドマウント)
Scala のコンパイル結果をキャッシュするようになった (target) 通常のテストと Style のテストをマルチステージビルド化で平行実行 何がまだ遅いのか テストが 6 分くらいかかっていて全体を占めている 一番うれしいこと レイヤキャッシュを使って本番のビルドをスキップできる 14 / 15
おわり 15 / 15