CyberAgent AI事業本部2024年度MLOps研修Container編 / Container for MLOps

by sZma5a

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

Slide 9

Slide 9 text

©2024 CyberAgent Inc. Distribution prohibited Hypervisor: ハードウェアが抽象化されているため、OSレベルで分離することができる。そのため、自由に OS（Linux, Windows, macOS）を選択することができるが、起動までに時間がかかる。 ex) VirtualBox, KVM HypervisorとContainerの違い https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/

Slide 10

Slide 10 text

©2024 CyberAgent Inc. Distribution prohibited Container: プロセス単位で仮想化されるため、カーネルはホストOSと共有される。そのため、Hypervisorと比較し自由度は限られるが、起動がすごく早い。 ex) docker, podman HypervisorとContainerの違い https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/

Slide 11

Slide 11 text

Slide 12

Slide 12 text

©2024 CyberAgent Inc. Distribution prohibited ContainerはLinuxのカーネル機能であるNamespaceとcgroupを用いて実行環境を分離している。 ● Namespace プロセスやユーザグループを論理的に分割するために用いる ex) マウント名前空間, PID名前空間, ネットワーク名前空間, IPC名前空間... ● cgroup プロセスに対しリソースの制限をかけるための仕組み Container Structure

Slide 13

Slide 13 text

©2024 CyberAgent Inc. Distribution prohibited 以下の3つの仕様からなるコンテナ形式とランタイムに関するオープンな標準仕様であり、Linux Foundation のプロジェクトの1つである。 ● ランタイム仕様 (runtime-spec) ● イメージ仕様 (image-spec) ● 配布仕様 (distribution-spec) OCI (Open Container Initiative)

Slide 14

Slide 14 text

Slide 15

Slide 15 text

©2024 CyberAgent Inc. Distribution prohibited https://www.docker.com/ja-jp/blog/containerd-vs-docker/ Architecture DockerはCLIを通しdockerdでイメージのpullやコンテナの起動を行う。 dockerdはコンテナを管理する永続的なプロセスであり、クライアントとは異なるバイナリで動作している。

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 Dockerﬁleとはイメージを作成するための命令が書かれたドキュメントファイルのことである。 Dockerﬁleでは既存のイメージをベーストしたカスタムイメージを作成することができる。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

Slide 23

Slide 23 text

©2024 CyberAgent Inc. Distribution prohibited $ docker history golang:latest IMAGE CREATED CREATED BY SIZE COMMENT 295f95becd4e 3 weeks ago WORKDIR /go 0B buildkit.dockerfile.v0 3 weeks ago RUN /bin/sh -c mkdir -p "$GOPATH/src" "$GOPA… 0B buildkit.dockerfile.v0 3 weeks ago COPY /usr/local/go/ /usr/local/go/ # buildkit 220MB buildkit.dockerfile.v0 3 weeks ago ENV PATH=/go/bin:/usr/local/go/bin:/usr/loca… 0B buildkit.dockerfile.v0 3 weeks ago ENV GOPATH=/go 0B buildkit.dockerfile.v0 3 weeks ago ENV GOTOOLCHAIN=local 0B buildkit.dockerfile.v0 3 weeks ago ENV GOLANG_VERSION=1.22.2 0B buildkit.dockerfile.v0 3 weeks ago RUN /bin/sh -c set -eux; apt-get update; a… 240MB buildkit.dockerfile.v0 4 days ago /bin/sh -c set -eux; apt-get update; apt-g… 183MB 4 days ago /bin/sh -c set -eux; apt-get update; apt-g… 48.5MB 4 days ago /bin/sh -c #(nop) CMD ["bash"] 0B 4 days ago /bin/sh -c #(nop) ADD file:07ae70ad05f39a240… 139MB コンテナイメージはレイヤー構造で管理されており、docker historyでイメージの構造を見ることができる。イメージの作成

Slide 24

Slide 24 text

©2024 CyberAgent Inc. Distribution prohibited イメージの作成各レイヤはDockerﬁleに書かれた命令（FROM, RUNなど）と対応している。また、レイヤごとにキャッシュが作成されており、ビルドの効率化やレジストリへのアップロードなどで使われる。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

Slide 25

Slide 25 text

©2024 CyberAgent Inc. Distribution prohibited ベースイメージの指定 FROM: ベースとなるイメージを指定している。 golang: Debianベースのイメージ golang:-alpine 軽量なAlpineを使用したイメージ golang:-windowsservercore Windows coreをベースとしたイメージ FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

Slide 26

Slide 26 text

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 WORKDIR イメージ内での作業ディレクトリを指定している。 WORKDIRが指定されている場合、後続の命令は全て該当のディレクトリで実行される。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

Slide 27

Slide 27 text

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"] COPY ファイルをイメージ内にコピーするための命令。オプションを使うことによって、様々な方法でファイルを持って来れる。

Slide 28

Slide 28 text

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 --fromで指定することで、他のビルドステージやイメージからファイルをコピーすることができる。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"] FROM golang:1.19 as bulder … RUN go build -o /docker-gs-ping —----------------------------------------- FROM golang:1.19 COPY --from=builder /docker-gs-ping / CMD ["/docker-gs-ping"] 1つのDockerﬁle

Slide 29

Slide 29 text

©2024 CyberAgent Inc. Distribution prohibited イメージの作成他にも... --exclude: 除外指定 (labs) --chown --chmod: 権限周りを指定 etc... 様々なオプションが存在する。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

Slide 30

Slide 30 text

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 RUN イメージビルド時にコマンドを実行するための命令。 ※ コマンドの文字列からキャッシュを行う FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

Slide 31

Slide 31 text

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"] EXPOSE コンテナを実行時にリッスンするポートを示す命令。実際にポートが公開されるわけではないが、使用するポートを実行環境に示すために用いられる。

Slide 32

Slide 32 text

©2024 CyberAgent Inc. Distribution prohibited イメージの作成 CMD コンテナが起動時に実行されるコマンドを指定する命令。似たような命令としてENTRYPOINTもあり、docker run時にコマンドを指定した時の挙動が異なる。 CMDの場合はそのコマンドで上書きされるが、ENTRYPOINTの場合はオプションとして実行される。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

Slide 33

Slide 33 text

©2024 CyberAgent Inc. Distribution prohibited イメージのビルド $ docker build . -t mlops-handson/mecab:v1 コンテキストの指定. Dockerに見てほしいpath. COPY句でどこを起点にするか. 基本的にDockerﬁleのある場所でOK イメージ名. お作法的にはowner/image_name イメージタグ. イメージは更新されゆくのでいわゆるversioning イメージのビルド時はdocker buildコマンドを使用する。

Slide 34

Slide 34 text

©2024 CyberAgent Inc. Distribution prohibited コンテナの起動 $ docker run -p 8080:80 mlops-handson/mecab:v1 外部公開するポートを指定することで、ホストマシンからコンテナ内のアプリケーションにアクセスすることができるビルドしたイメージを指定必要に応じて外部公開するポートを指定しdocker runでコンテナを実行する。

Slide 35

Slide 35 text

©2024 CyberAgent Inc. Distribution prohibited Dockerでは6種類のネットワークドライバが存在し、それらを元にコンテナ間ネットワークの構築や外部との接続を行う。 Dockerネットワーク bridge (Default) コンテナ間の通信をブリッジすることでお互いに通信することができる host ホストのネットワークに直接参加する overlay 複数のDockerデーモンを接続することができる ipvlan L2またはL3からコンテナネットワークを構築することができる macvlan コンテナにMACアドレスを割り当てることができる none ネットワークを割り当てない（接続しない）

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

©2024 CyberAgent Inc. Distribution prohibited $ docker history golang:latest IMAGE CREATED CREATED BY SIZE COMMENT 295f95becd4e 3 weeks ago WORKDIR /go 0B buildkit.dockerfile.v0 3 weeks ago RUN /bin/sh -c mkdir -p "$GOPATH/src" "$GOPA… 0B buildkit.dockerfile.v0 3 weeks ago COPY /usr/local/go/ /usr/local/go/ # buildkit 220MB buildkit.dockerfile.v0 3 weeks ago ENV PATH=/go/bin:/usr/local/go/bin:/usr/loca… 0B buildkit.dockerfile.v0 3 weeks ago ENV GOPATH=/go 0B buildkit.dockerfile.v0 3 weeks ago ENV GOTOOLCHAIN=local 0B buildkit.dockerfile.v0 3 weeks ago ENV GOLANG_VERSION=1.22.2 0B buildkit.dockerfile.v0 3 weeks ago RUN /bin/sh -c set -eux; apt-get update; a… 240MB buildkit.dockerfile.v0 4 days ago /bin/sh -c set -eux; apt-get update; apt-g… 183MB 4 days ago /bin/sh -c set -eux; apt-get update; apt-g… 48.5MB 4 days ago /bin/sh -c #(nop) CMD ["bash"] 0B 4 days ago /bin/sh -c #(nop) ADD file:07ae70ad05f39a240… 139MB docker historyで各レイヤーの内容やサイズを見れるので、適宜確認しながらイメージを最適化していく。レイヤーごとのサイズ確認方法

Slide 39

Slide 39 text

Slide 40

Slide 40 text

©2024 CyberAgent Inc. Distribution prohibited 実行用とビルド用にステージを分けることによって、最終的なイメージを軽量でセキュアなものにする方法。実行に必要な物のみが含まれたイメージを作ることができるため、余分なレイヤーやライブラリを省くことができる。マルチステージビルド FROM golang:1.22 as builder RUN apt-get install -y hoge… COPY *.go ./ RUN go build -o /binary FROM distroless as runner COPY --from builder /binary /binary RUN go build -o /binary CMD ["/binary"] 1つのDockerﬁle

Slide 41

Slide 41 text

©2024 CyberAgent Inc. Distribution prohibited ベースイメージの選定ビルドと実行で使用するものは同じでなくても良い。 debian-slim Debianベースのイメージではあるが、必要最低限のパッケージしかはいっていない。 alpine Alpine Linuxを用いた軽量のイメージ。 distroless ランタイム用の軽量なイメージであり、シェルがないため安全に実行することができる。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ RUN go build -o /docker-gs-ping EXPOSE 8080 CMD ["/docker-gs-ping"]

Slide 42

Slide 42 text

©2024 CyberAgent Inc. Distribution prohibited パッケージのキャッシュに関するTips RUNとは異なりCOPYはファイルの内容を元にキャッシュが生成される。そのため、パッケージリストのみをコピーしておくことで、変更があった時のみ更新することができる。 FROM golang:1.22 WORKDIR /app COPY go.mod go.sum ./ RUN go mod download COPY *.go ./ … キャッシュ

Slide 43

Slide 43 text

©2024 CyberAgent Inc. Distribution prohibited RUN使用時の注意ファイルの取り扱いパッケージリストの更新と削除が分かれているため、レイヤに残ってしまう。パッケージのキャッシュパッケージのアップデートのみをRUNに置くと、キャッシュにより更新されない。 →レイヤーはなるべくまとめて減らす FROM ubuntu:latest # パッケージデータがレイヤに保管される RUN apt-get update RUN apt-get install -y nginx RUN rm -rf /var/lib/apt/lists/* … # 修正 RUN apt-get update \ && apt-get install nginx \ && rm -rf /var/lib/apt/lists/*

Slide 44

Slide 44 text

Slide 45

Slide 45 text

©2024 CyberAgent Inc. Distribution prohibited イメージに含めないファイルやディレクトリを定義することができ、 COPYを行う際、該当のファイルを省くことができる。 .gitignoreと形式や機能は似ているが、指定の仕方や動作に違いがあるため注意する必要がある。 Ex) .dockerignoreの場合 ● 指定は相対パスで行う必要がある ● .dockerignoreはコンテキストと同じ階層に置く必要がある etc... .dockerignore

Slide 46

Slide 46 text

©2024 CyberAgent Inc. Distribution prohibited プログラム実行時に使用する静的ファイルのサイズによっては、イメージに含めずマウントする方が適切な場合がある。・ライフサイクル　ファイルの更新と合わせイメージを最新化する必要があるか・ネットワーク　イメージのアップデートやデプロイの際のトラフィック量や経路・スケール　イメージ起動までの時間はスケール時に許容できるか →学習モデルや学習データはイメージに含めずマウントすることも考える静的ファイルの取り扱い

Slide 47

Slide 47 text

Slide 48

Slide 48 text

©2024 CyberAgent Inc. Distribution prohibited ホストマシンでContainer Runtimeを実行する際、rootで実行しない。 Dockerではホストマシンのディレクトリをコンテナ内にbindすることができるため、マシン全体が攻撃される恐れがある。セキュリティ rootlessでの実行（ホスト） https://kubernetes.io/docs/concepts/overview/what-is-kubernetes/

Slide 49

Slide 49 text

©2024 CyberAgent Inc. Distribution prohibited アプリケーションのバグなどで任意のコマンドを実行できる場合、ホストマシンに侵入される恐れがある。そのため、コンテナ実行時にあらかじめ不要な権限を与えない。セキュリティアプリケーションをrootで実行しない FROM golang:1.22 … USER noroot … CMD ["/docker-gs-ping"]

Slide 50

Slide 50 text

©2024 CyberAgent Inc. Distribution prohibited Dockerでは、イメージに脆弱性が含まれていないかの検査を行うことができる。発見された場合は、修正されたバージョンや該当CVEの情報が表示される。セキュリティ脆弱性のチェック https://docs.docker.com/reference/cli/docker/scout/cves/ $ docker scout cves ${IMAGE}:${TAG} … The image contains 46 packages with one or more vulnerability for a total of 181 vulnerabilities UNSPECIFIED | 4 LOW | 168 MEDIUM | 6 HIGH | 3 CRITICAL | 0