Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
BuildKit を使った Scala アプリケーションのテストと高速化 @ Docker M...
Search
i2tsuki
December 26, 2018
Technology
1
590
BuildKit を使った Scala アプリケーションのテストと高速化 @ Docker Meetup Kansai #2
BuildKit を使った Scala アプリケーションのテストと高速化
i2tsuki
December 26, 2018
Tweet
Share
More Decks by i2tsuki
See All by i2tsuki
ソーシャルゲームの長期運用 を目指すための SRE の取り組み - 10 周年を⽬指すコトダマンの場合 -
i2tsuki
5
2.6k
AWS Startup.fm 企業の上場時に必要な監査要件とマネジメントサービスによる解決
i2tsuki
0
100
20180530LINEDeveloperMeetupRedis-redis-for-mackerelio
i2tsuki
0
470
Mackerel's monitoring and checks
i2tsuki
1
7k
Mackerel インフラ基盤 AWS 移行の舞台裏
i2tsuki
6
10k
Python Web Application Monitoring in Mackerel
i2tsuki
1
6k
Other Decks in Technology
See All in Technology
今だから言えるセキュリティLT_Wordpress5.7.2未満を一斉アップデートせよ
cuebic9bic
2
170
「現場で活躍するAIエージェント」を実現するチームと開発プロセス
tkikuchi1002
3
380
20250708オープンエンドな探索と知識発見
sakana_ai
PRO
4
1k
Transformerを用いたアイテム間の 相互影響を考慮したレコメンドリスト生成
recruitengineers
PRO
2
440
モニタリング統一への道のり - 分散モニタリングツール統合のためのオブザーバビリティプロジェクト
niftycorp
PRO
1
520
ABEMAの本番環境負荷試験への挑戦
mk2taiga
5
1.3k
毎晩の 負荷試験自動実行による効果
recruitengineers
PRO
5
180
Amazon SNSサブスクリプションの誤解除を防ぐ
y_sakata
3
190
クラウド開発の舞台裏とSRE文化の醸成 / SRE NEXT 2025 Lunch Session
kazeburo
1
590
データ駆動経営の道しるべ:プロダクト開発指標の戦略的活用法
ham0215
1
100
QuickSight SPICE の効果的な運用戦略~S3 + Athena 構成での実践ノウハウ~/quicksight-spice-s3-athena-best-practices
emiki
0
290
Contract One Engineering Unit 紹介資料
sansan33
PRO
0
6.9k
Featured
See All Featured
How To Stay Up To Date on Web Technology
chriscoyier
790
250k
Into the Great Unknown - MozCon
thekraken
40
1.9k
Fireside Chat
paigeccino
37
3.5k
Facilitating Awesome Meetings
lara
54
6.5k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
The Language of Interfaces
destraynor
158
25k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.8k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Speed Design
sergeychernyshev
32
1k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
32
2.4k
Testing 201, or: Great Expectations
jmmastey
43
7.6k
Why You Should Never Use an ORM
jnunemaker
PRO
58
9.5k
Transcript
BuildKit を使った Scala アプリケーションの テストと高速化 GitHub: @i2tsuki Twitter id:@kizkoh 2018-12-26
Docker Meetup Kansai #2 1 / 15
BuildKit について 須田さんのスライドが参考になる SlideShare - Docker 18.09 新機能 なにが嬉しいのか? マルチステージビルドが並行して実行できる
docker/dockerfile の syntax を使うとキャッシュできる 例) # syntax=docker/dockerfile:1.0-experimental 例) --mount=type=cache,id=ivy2,target=/user/.ivy2/cache 2 / 15
Scala のビルドとテストがめちゃ遅い!! 3 / 15
Scala の CI フロー どこが遅いの?? sbt の Scala の解決 ${HOME}/.sbt
(5 分) ivy2 キャッシュ ${HOME}/.ivy2/cache (40 分) コンパイルキャッシュ ${PROJECT}/target (5 分) 今まではバインドマウントして docker-compose run で実行してた (docker build だけでテスト、ビルドしてコンテナイメージ作りたい!) 4 / 15
とにかくステージを分ける!! & とにかくキャッシュする!! 5 / 15
Docker le buildkit/experimental.md at master · moby/buildkit · GitHub が参考になる!
# Stage app-ivy-setup FROM app-initial as app-ivy-setup RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ --mount=type=cache,id=sbt,target=/root/.sbt \ sbt compile # Stage: app-test FROM app-ivy-setup as app-test RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ # sbt は sbt.lock でロックを取得するので sharing=private にする --mount=type=cache,id=sbt,sharing=private,target=/root/.sbt \ sbt "set javaOptions ++= List(\"-Xms512M\", \"-Xmx2048M\", \"-Xss1M\", \"-XX:+C # Stage: app-scalastyle FROM app-ivy-setup as app-scalastyle RUN --mount=type=cache,id=ivy2,target=/root/.ivy2/cache \ # sbt は sbt.lock でロックを取得するので sharing=private にする --mount=type=cache,id=sbt,sharing=private,target=/root/.sbt \ sbt "set javaOptions ++= List(\"-Xms512M\", \"-Xmx2048M\", \"-Xss1M\", \"-XX:+C 6 / 15
テストをどうするか(DB, KVS との接続)問題 7 / 15
BuildKit の問題 docker-compose 今までは docker-compose を使ってテストしていた docker-compose は BuildKit 対応中
8 / 15
BuildKit の問題 BuildKit のネットワークモード BuildKit のネットワークモードは Host or default or
none moby/builder.go at master · moby/moby 他のコンテナにアタッチできない & network を利用できない docker build --network=container:xxxxxxxxxxxx -t mackerel できない 9 / 15
どうするか 10 / 15
BuildKit でテストをする ホストのネットワークモードを使う DB, KVS は docker-compose で作成する DB, KVS
はホストネットワークモードで立てると他の CI ジョブと競合 DB, KVS はブリッジモードで作成する DB, KVS の IP は docker inspect で取ってくる 例) DB=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_db_1) 11 / 15
docker-compose.yml services: pause: image: gcr.io/google_containers/pause-amd64:3.1 networks: mackerel depends_on: - db
- redis db: image: postgres:9.6-alpine ports: - "5432" networks: mackerel redis: image: redis:2.8.17 ports: - "6379" networks: mackerel depends を解決したいのでメインのコンテナに pause コンテナ を立てている 12 / 15
BuildKit でテストをする ホストのネットワークモードを使う docker inspect を使って DB, KVS の IP
を取ってくる --add-host を使ってホスト名を解決する Tips: --add-host の IP の変更はレイヤキャッシュに影響しない docker-compose -f docker-compose.yml -p "${DOCKER_COMPOSE_PROJECT}" up -d DB=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_db_1 --format "{{json .NetworkSetting REDIS=$(docker inspect ${DOCKER_COMPOSE_PROJECT}_redis1_1 --format "{{json .Networ docker build --pull \ --add-host db:${DB} \ --add-host redis:${REDIS} \ --network=host \ . 13 / 15
結局どれくらい早くなったのか 早くなった (12 分 -> 7 分) キャッシュがあればそこそこ早かった(docker run のバインドマウント)
Scala のコンパイル結果をキャッシュするようになった (target) 通常のテストと Style のテストをマルチステージビルド化で平行実行 何がまだ遅いのか テストが 6 分くらいかかっていて全体を占めている 一番うれしいこと レイヤキャッシュを使って本番のビルドをスキップできる 14 / 15
おわり 15 / 15