世界一わかりみの深い Docker＆コンテナ入門〜 Dockerのファイルシステムってどうなってるの？〜/wakarimidocker_filesystem

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© SIOS Technology, Inc. All rights Reserved. About Me 2 BCPVUNF Noriyuki TAKEI ෢Ҫ ٓߦ Information • サイオステクノロジー株式会社 • Microsoft MVP for Azure Favorites • Azure • Squash • Sweets blog https://tech-lab.sios.jp/ core skill Azure、Cloud Native、 Serverless全般 Twitter @noriyukitakei

Slide 3

Slide 3 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 3 DockerはOverlayFSという、ちょっと特殊なファイルシステムを使って、劇的な容量の削減を⾏っています。ちょうどPhotoshopのレイヤーのイメージに近い感じです。 layer01〜layer03ディレクトリにあるファイルをマージしたものがmergedディレクトリに表⽰される

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 6 重ね合わせるレイヤーのベースとなるディレクトリです。先程のイメージ図で記載した「layer01〜layer03ディレクトリ」に相当します。 OverlayFSの仕組み上、このディレクトリのファイルに対して変更がされることはないので、基本的にこのディレクトリは読み込み専⽤でOKです。 lowerdir これからOverlayFSの実際の動きをご説明するとともに、実際にコマンド叩いて実践したいと思います。まず、その前にちょっと説明させてください。OverlayFSには以下の4つのレイヤーの概念があります。内部的に利⽤される作業⽤ディレクトリです。 upperdir mergeddirに対して変更をかけたファイルが保存されるディレクトリです。 workdir lowerdirとupperdirを結合したディレクトリです。ファイルに対して追加・変更・削除などの操作を⾏うディレクトリでもあります。 mergeddir

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 8 先の図のファイルシステム構成を実現するために以下のコマンドを実⾏します。 # mkdir merged # mkdir upper # mkdir lower01 lower02 # echo "hoge" > lower01/hoge.txt # echo "fuga" > lower02/fuga.txt # mkdir work # mount -t overlay overlay \ –o lowerdir=lower02:lower01, \ upperdir=upper,\ workdir=work merged

Slide 9

Slide 9 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 9 ⼀番気になるmountコマンドの説明です。 # mount -t overlay overlay \ –o lowerdir=lower02:lower01, \ upperdir=upper,\ workdir=work merged mountのタイプです。 mountしたものに⼀意の名前をつけます。 lowerdirの指定です。 upperdirの指定です。 workdirの指定です。 mergeddirの指定です。

Slide 10

Slide 10 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 10 期待通りの動作になっているかどうかを確認します。 # ls merged fuga.txt hoge.txt # mergedディレクトリにlower01、02にあるファイルが表⽰されている # cat merged/hoge.txt # ファイルの中⾝は、lower01にあるhoge.txtと同じ hoge # cat merged/fuga.txt # ファイルの中⾝は、lower02にあるfuga.txtと同じ fuga

Slide 11

Slide 11 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 11 では、次にlower02ディレクトリにhoge2という内容のhoge.txtを追加してみます。lower02のほうがlower01より上のレイヤーなので、merged ディレクトリのhoge.txt の中⾝はhoge2になるはずです。右図のような構成ですね。

Slide 12

Slide 12 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 12 期待通りの動作になっているかどうかを確認します。 # umount overlay # 読み取り専⽤なので⼀度unmoutする # echo “hoge2” > lower02/hoge.txt # lower02にhoge2という内容の hoge.txtを追加する。 # mount -t overlay overlay -o lowerdir=lower02:lower01,upperdir=upper,workdir=work merged # ls merged fuga.txt hoge.txt # cat merged/hoge.txt # 確かにlower02にあるhoge.txtの内容が表⽰される。 hoge2

Slide 13

Slide 13 text

Slide 14

Slide 14 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 14 ファイルを追加するときの動きユーザーに⾒えるのはmergeddir であり、ユーザーはこのmerged ディレクトリにファイルを追加するオペレーションをするわけですが、OverlayFS的にはpiyo.txtは upperディレクトリに追加されます。そして、upperディレクトリに書き込まれたファイルは lower01ディレクトリやlower02 ディレクトリに書き込まれたファイルと同じように、mergedディレクトリに⾒えるようになります。図にすると以下のような感じです。 mergedディレクトリに追加・変更・削除したものは、必ずこのupperディレクトリに反映される。

Slide 15

Slide 15 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 15 ファイルを追加するときの動きでは実際にコマンドを実⾏して確認してみましょう。まずhoge.txt、fuga.txtを作成します。 # mkdir merged # mkdir upper # mkdir lower01 lower02 # echo "hoge" > lower01/hoge.txt # echo "fuga" > lower02/fuga.txt # mkdir work # mount -t overlay overlay -o lowerdir=lower02:lower01,upperdir=upper,workdir=work merged

Slide 16

Slide 16 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 16 ファイルを追加するときの動きここでmergeddirにpiyo.txtを追加してみましょう。確かにmergeddir ディレクトリにファイルが追加されていることがわかります。 # echo piyo > merged/piyo.txt # ls merged fuga.txt hoge.txt piyo.txt 本セッションのブログのURL

Slide 17

Slide 17 text

Slide 18

Slide 18 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 18 ファイルを更新するときの動き次にファイルを更新するときの動きを説明します。「ファイルを追加するときの動き」でご紹介した右図の構成のfuga.txtというファイルの内容をfugaからfuga2に変更してみます。まず、ユーザーがmergedディレクトリ内のfuga.txtをhogeから hoge2に変更するオペレーションをすると、ファイルシステム内部の動きは、まずlower02の fuga.txtがupperディレクトリにコピーされます。

Slide 19

Slide 19 text

Slide 20

Slide 20 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 20 ファイルを更新するときの動きそして、このfuga.txtというファイル名のファイルは、lower02 ディレクトリとupperディレクトリの両⽅に存在してます。 OverlayFSの仕様では、より上位の層のレイヤーのファイルがユーザーに⾒えることとなるので、 mergedディレクトリには、 upperディレクトリにあるファイルが⾒えることとなります。つまり以下のような状態です。

Slide 21

Slide 21 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 21 ファイルを更新するときの動き # echo fuga2 > merged/fuga.txt # cat merged/fuga.txt fuga2 では実践してみましょう。「ファイルを追加するときの動き」の状態で、 mergedディレクトリ内のhoge.txtの内容をhogeからhoge2に変更してみます。本セッションのブログのURL

Slide 22

Slide 22 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 22 ファイルを更新するときの動き # cat upper/fuga.txt fuga2 mergedディレクトリ内のhoge.txtの内容はhoge2になっているわけですが、upperディレクトリのhoge.txtも合わせてhoge2になっていることがわかります。つまり、mergedディレクトリに加えた変更は、⼀旦 lower01ディレクトリもしくはlower02ディレクトリのファイルを upperディレクトリにコピーし、それからその内容を変更します。この仕組をコピー・オン・ライトといいます。

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 24 ファイルを削除するときの動き hoge.txtを削除すると下図のようになります。upperディレクトリに何やら新しいファイルが出来て、 mergeddirディレクトリには hoge.txtは⾒えなくなりました。 upperディレクトリに出来たファイルは「ホワイトアウトファイル」と呼ばれるもので、ファイルが削除されたことを表すものです。OverlayFSでは、lowerdirの層にあるディレクトリには変更を加えることはしません。そういう仕様だからです(この仕様のありがたみは、このあとの説明でご説明します)。では、「ファイルが削除された」ということを表現する⽅法が難しいわけですが、そこで OverlayFSでは、先程のホワイトアウトファイルと呼ばれるものを、削除対象と同名のファイル名でupperディレクトリに置くことで、ファイルシステム的に削除されたことにしてしまうわけです。つまりmergeddirからは⾒えなくなるということになります。

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 26 ファイルを削除するときの動きでは、upperディレクトリを⾒てみましょう。 # ls upper fuga.txt hoge.txt piyo.txt [root@localhost test]# ls -la upper/hoge.txt c---------. 1 root root 0, 0 Aug 11 09:16 upper/hoge.txt あれ︖何やら新しいhoge.txtという新しいファイルが出来ていますね。しかも、先頭の⼀⽂字が「c」となっています。これはキャラクタデバイスファイルです(ディレクトリだとd、シンボリックリンクだとlとかになっています)。このキャラクタデバイスファイルという特殊なファイルを使うことにより、「このファイルは削除されたよ」というマーカーみたいな役割をしているのです。本セッションのブログのURL

Slide 27

Slide 27 text

Slide 28

Slide 28 text

Slide 29

Slide 29 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 29 DockerでのOverlayFSの動きを確かめるために以下のDockerイメージを作成します。 • ベースイメージはCentOS7 • hogeと書かれたテキストファイルを/root/hoge.txtに配置 • fugaと書かれたテキストファイルを/root/fuga.txtに配置これを実現するためのDockerfileも作ります。 1 2 3 4 5 FROM centos:centos7 ADD hoge.txt /root/hoge.txt ADD fuga.txt /root/fuga.txt 本セッションのブログのURL

Slide 30

Slide 30 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 30 そして以下のコマンドを実⾏してDockerのイメージを作成します。 # echo "hoge" > hoge.txt # echo "fuga" > fuga.txt # docker build -t testapp01 . 本セッションのブログのURL

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 32 mountコマンドでファイルシステムのマウント状況を確認します。おっと、何やら Dockerコマンドがよしなに⾊々なディレクトリをOverlayFSでマウントしています。次のページではその構造を図解してみます。 # mount | grep overlay overlay on /var/lib/docker/overlay2/1ed14519861b8d785d3265512917f70274b3f11192f184e0f025728c ad34317d/merged type overlay (rw,relatime,seclabel,lowerdir=/var/lib/docker/overlay2/l/677WTGQVA7IBOMGXUH7Z4DEXLS :/var/lib/docker/overlay2/l/NBS6NXIEXE65SYVIZ7D3HSREZY:/var/lib/docker/overlay2/l/BFQ S6YGZG6YK5HU5PPE3SLJ4NE:/var/lib/docker/overlay2/l/5CXN3KDXZ4VBENORX7ZLOHUAQU ,upperdir=/var/lib/dockeroverlay2/1ed14519861b8d785d3265512917f70274b3f11192f184e0 f025728cad34317d/diff,workdir=/var/lib/docker/overlay2/1ed14519861b8d785d3265512917 f70274b3f11192f184e0f025728cad34317d/work)

Slide 33

Slide 33 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 33 前ページのmoutオプションで指定されていた、OverlayFSのmergeddir層に相当する。前ページのmoutオプションで指定されていたupperdirに相当する。前ページの moutオプションで指定されていた lowerdirに相当する。 Dockerfileに記載されている⼀⾏ごとが、OverlayFSのlowerdirの1層に該当します。ただし、LBAELコマンドなどファイルシステムに影響のないコマンドは、OverlayFSの層は作成されません。

Slide 34

Slide 34 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 34 ここでさらにOverlayFSのコンテナでの動きを確認するために、先程作成したコンテナに新しいファイルを作成してみると、たしかにupperdirの層に新しくpiyo.txtというファイルが追加されていました。 # docker exec -it trusting_lalande /bin/bash # echo "piyo" > /root/piyo.txt # exit # cat /var/lib/docker/overlay2/1ed14519861b8d785d3265512917f70274b3f11192f184e0f025728c ad34317d/diff/root/piyo.txt piyo

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 36 OverlayFSを使⽤したDockerは以下のように同じCentOSから作られたDockerイメージは、CentOSのファイルの部分はみんなで共有します。 CeontOSのDockerイメージ /root/hoge.txtを追加したイメージ /root/fuga.txtを追加したイメージ /root/piyo.txtを追加したイメージ共有共有共有本セッションのブログのURL

Slide 37

Slide 37 text

© SIOS Technology, Inc. All rights Reserved. Dockerのファイルシステムってどうなってるの︖ 37 OverlayFSを使⽤しない場合は、以下のように個別にCentOSの部分を⽤意しなければならず、かなりファイルの容量に無駄が⽣まれます(´・ω・｀)なのでOverlayFSはすごいのです。 CeontOSのDockerイメージ /root/hoge.txtを追加したイメージ /root/fuga.txtを追加したイメージ /root/piyo.txtを追加したイメージ CeontOSのDockerイメージ CeontOSのDockerイメージ本セッションのブログのURL

Slide 38

Slide 38 text

© SIOS Technology, Inc. All rights Reserved. 最後に︕︕ 38 【連載】世界⼀わかりみが深いコンテナ & Docker⼊⾨〜その1:コンテナってなに︖ 〜 https://tech-lab.sios.jp/archives/18811 関連ブログ【連載】世界⼀わかりみが深いコンテナ & Docker⼊⾨〜その2:Dockerってなに︖ 〜 https://tech-lab.sios.jp/archives/19073 【連載】世界⼀わかりみが深いコンテナ & Docker⼊⾨〜その3:Dockerfileってなに︖ 〜 https://tech-lab.sios.jp/archives/19191 【連載】世界⼀わかりみが深いコンテナ & Docker⼊⾨〜その5:Dockerのネットワークってどうなってるの︖ 〜 https://tech-lab.sios.jp/archives/20179