Docker Composeを用いたJupyter Lab開発環境構築

LT会の登壇資料です．

Transcript

1. Docker Composeを用いた Jupyter Lab開発環境構築 Anacondaなんかに負けないぞい！ 千葉工業大学 機械電子創成工学科B2 川西浩嗣
2. この10分の流れ 1. 自己紹介 2. なんでDockerで 機械学習なのか 3. Compose is 何 4. Docker Compose の基本的な構成 5. Dockerと ボリューム 6. DockerとGPU （時間が余れば実際にコード少し読みたい）
3. 自己紹介 行動の指針 「褒められるのが すきなだけです」 かさいさん（川西浩嗣） Twitter, Zenn: streamwest1629 Github: streamwest-1629 圧倒的Gopher SQLや Dockerなど バックエンドが多い（今現在） この間 GCI 2021 Winter を修了し，機械学習初学者に！ AWS，はじめました
4. なんでDocker で 機械学習 なのか
5. Dockerは 機械学習以外でも 使える ! Dockerはコンテナ単位で 実行環境を管理するサービス 使用場面が豊富！！ SQLなどのサーバー構築に！ ビルド・開発環境に！ AWSなどのIaaSで使用可能！ ローカル環境汚しません！！
6. Dockerfileで環境管理がしやすい! コードベースな Dockerfileを用いて 環境構築をする 環境の 確認・変更・共有が 簡単！ Githubで 環境が管理できるのすごい！
7. ところで， このLTのテーマ は何？ ←かわいい
8. Docker Composeを用いた Jupyter Lab開発環境構築 Anacondaなんかに負けないぞい！ 千葉工業大学 機械電子創成工学科B2 川西浩嗣
9. Compose is 何？
10. Compose is … `a tool for running multi-container applications on Docker` (Github(docker/compose)より引用) 複数コンテナの 実行管理を簡単に行うツール dockerに内包されました🎉 > docker compose build > docker compose up
11. 機械学習で複数コンテナ 使わないよね？ それはそう
12. Dockerはむずかしい Dockerfileはあくまで環境構築ファイル Composeで実行設定を記述（YAML形式） Compose 使わなくても できるけれど... 実行設定はすべて コマンド引数で 指定することに
13. Docker Composeの 基本的な構成 ←かわいい
14. 今回の結論 docker-compose.yml (Dockerfile)
15. 今回の結論 docker-compose.yml (Dockerfile) コンテナのビルド 手順を記述 コンテナのビルド・ 実行時の設定を記述
16. Dockerfileには何を 書くのか ベースイメージを指定 （今回はnvidia/cuda） FROM: ベースイメージを指定 ENV: 環境変数を指定 RUN: コマンドを実行 （apt-getなど） WORKDIR:実行ディレクトリを指定 ADD: ローカルからファイルコ ピー ローカルから jupyter.txtをコピーし てpipインストール
17. docker-compose.y mlには何を書くのか jupyterlabという名前の サービス(コンテナ)を 定義 ${KEYNAME}とする ことで，同階層の.envの 値と置換する
18. Dockerfile, docker-compose.ymlのドキュメント オリジナル https://docs.docker.com/reference/ 日本語ドキュメント（極端な遜色ない） https://matsuand.github.io/docs.docker.jp.onthefly/ref erence/
19. ところで Dockerfileを使って環境構築 するなら， コンテナ実行中の データは？
20. コンテナ実行中のデータ保存 コンテナは常に同一環境を提供するために， 実行中のファイル変更は無視される データの 永続化 ボリューム (バインドマウント) が必要
21. Docker と ボリューム ←かあいい
22. コンテナ実行中のデータ保存 コンテナは常に同一環境を提供するために， 実行中のファイル変更は無視される データの 永続化 ボリューム (バインドマウント) が必要 ボリュームはディレクトリ単位
23. バインドマウントの 定義方法 バインドマウント 永続化のうち，保存先が ローカルのファイルシステムのもの ボリューム: Dockerが管理している保存領域で永続化する データ同期っぽい イメージ
24. ボリュームと バインドマウント コンテナ視点ではどちらも永続性 のあるだけの単なるディレクトリ
25. バインドマウントの 定義方法 docker-compose.yml での定義がすごく簡単！ `<ローカルの相対/絶対パス>:<コンテナ内の絶対パス>` 相対パスのときは .(ドット)から始める
26. バインドマウントの 定義方法 docker-compose.yml での定義がすごく簡単！ `<ローカルの相対/絶対パス>:<コンテナ内の絶対パス>` docker-compose.yml のあるローカルのディレクトリを /workspace にマウント
27. 永続化の使い方 Jupyter設定 Jupyter ノートブック - ローカルのGitリポジトリをバインドマウント データセット - GoogleドライブやMEGAなどの ローカルのファイル同期ソフトで共有 - AWS S3などのクラウドストレージサービスで共有
28. Docker と GPU ←きゃわわ
29. DockerとGPU 昨年12月にDockerがWSL2のGPUサポートに 正式対応🎉 NVIDIAによれば， 速度は ‘near-native’ 対応バージョン - Windows 11 - Windows 10 21H2~
30. GPU利用コンテナの作り方 nvidiaの出している公式ベースイメージ を使用したDockerfileを作る （ubuntuベース，楽をしたいだけ）
31. GPU利用コンテナの作り方 あとは，こんな感じで docker-compose.yml に書いておけばOK （ほぼ定型文）
32. 最後に宣伝 作業部屋Discordサーバー (このBot， ボイスチャットでしゃべるんです...) ミュート管理や時間管理，休憩中の雑談部屋の部屋 割りを行うBotが24時間体制で運営しています 気軽に声をかけてください🥺！！！
33. Docker Composeを用いた Jupyter Lab開発環境構築 Anacondaなんかに負けないぞい！ ありがとうございました