開発環境で使う Docker / docker-for-development

by shin1x1

Slide 1

Slide 1 text

開発環境で使う Docker 2018/09/29 第24 回中国地方DB 勉強会 @shin1x1

Slide 2

Slide 2 text

本発表について技術検証、開発環境での Docker 利用を想定本番環境による運用は対象外 Kubernetes 、デプロイ、オーケストレーション、クラウドサービス Linux コンテナが対象 Docker for Mac で検証

Slide 3

Slide 3 text

Agenda Docker 基礎 postgres イメージで理解するタスク実行環境として使う Web アプリケーション開発環境として使う

Slide 4

Slide 4 text

Docker 基礎

Slide 5

Slide 5 text

Docker とはコンテナを利用してアプリケーションを開発、展開、実行するプラットフォーム軽量な仮想環境分離されたプロセスコンテナは、ホスト OS のカーネルを利用 Linux コンテナには、Linux カーネルが必要 Windows コンテナには、Windows カーネルが必要

Slide 6

Slide 6 text

Build once, Run anywhere

Slide 7

Slide 7 text

開発環境で Docker を使う利点軽量分離ポータブル豊富な部品、拡張性 "works on my machine" を解決

Slide 8

Slide 8 text

イメージとコンテナイメージアプリケーション実行環境パッケージコード、ランタイム、ライブラリ、環境変数などを内包コンテナイメージの実行インスタンス

Slide 9

Slide 9 text

Docker コンテナ実行の流れ $ docker run hello-world Hello from Docker! This message shows that your installation appears to be working correctly. (snip) docker run コマンドでイメージからコンテナを生成して実行 hello-world : 実行するイメージ

Slide 10

Slide 10 text

hello-world 出力メッセージ To generate this message, Docker took the following steps: 1. The Docker client contacted the Docker daemon. 2. The Docker daemon pulled the "hello-world" image from the Docker Hub.(amd64) 3. The Docker daemon created a new container from that image which runs the executable that produces the output you are currently reading. 4. The Docker daemon streamed that output to the Docker client, which sent it to your terminal.

Slide 11

Slide 11 text

hello-world 出力の流れ（図）

Slide 12

Slide 12 text

Docker 実行環境サーバ（デーモン）クライアント型 $ docker version Client: Version: 18.06.1-ce API version: 1.38 Go version: go1.10.3 OS/Arch: darwin/amd64 # macOS Server: Engine: Version: 18.06.1-ce API version: 1.38 (minimum version 1.12) OS/Arch: linux/amd64 # Linux

Slide 13

Slide 13 text

Docker サーバコンテナ実行ランタイム Linux コンテナでは、Linux カーネルが必要 Docker for Mac は、Linux VM を内包 (HyperKit) Docker クライアント docker コマンド各 OS ネイティブアプリケーションリモートホストの Docker デーモンも操作可

Slide 14

Slide 14 text

DockerHub Docker イメージリポジトリ Docker イメージの GitHub のようなもの数多くのイメージが公開されている public と private https://hub.docker.com/explore/

Slide 15

Slide 15 text

hello-world イメージ https://hub.docker.com/_/hello-world/

Slide 16

Slide 16 text

of cial イメージ Docker, Inc. がレビューした公認イメージ OS （ディストリビューション）等のベースイメージ centos , ubuntu , amazonlinux , alpine など言語やミドルウェアなど人気のあるイメージ postgres , mysql , mariadb , redis php , golang , openjdk , python , ruby , node nginx , httpd https://hub.docker.com/explore/

Slide 17

Slide 17 text

野良イメージの危険性利用したイメージが裏でコイン発掘してたら？ OSS と似た問題自己判断バイナリなので気づきにくい対策 of cial イメージを利用信頼できる作者、イメージを利用自作

Slide 18

Slide 18 text

postgres イメージを触ってみる

Slide 19

Slide 19 text

PostgreSQL 10 イメージ実行 $ docker run --rm --name db -p 5432:5432 postgres:10 docker run : コンテナ実行コマンド --rm : コンテナ終了後に破棄 --name : コンテナに名前を付ける（db ） -p : ポートをバインド（ホスト: コンテナ） postgres:10 : PostgreSQL 10 イメージ

Slide 20

Slide 20 text

ホストの psql で接続 $ psql --version psql (PostgreSQL) 9.6.5 $ psql -Upostgres -h localhost psql (9.6.5, server 10.5 (Debian 10.5-1.pgdg90+1)) WARNING: psql major version 9.6, server major version 10. Some psql features might not work. Type "help" for help. postgres=#

Slide 21

Slide 21 text

postgres:10 コンテナで接続 $ docker exec -it db psql -Upostgres psql (10.5 (Debian 10.5-1.pgdg90+1)) Type "help" for help. postgres=# 実行中のdb コンテナの中で、psql を実行 -it : 対話的な操作が必要なコマンドで指定 psql / mysql シェル（sh, bash, zsh 等々）、less など

Slide 22

Slide 22 text

DockerHub - postgres サポートバージョン、Docker le 11 、10.5 、9.6 など利用方法設定項目環境変数による指定（POSTGRES_DB など）拡張方法 https://hub.docker.com/_/postgres/

Slide 23

Slide 23 text

環境変数によるパラメータ指定指定できる主な環境変数 POSTGRES_USER : データベースユーザ POSTGRES_PASSWORD : パスワード POSTGRES_DB : データベース名 POSTGRES_INITDB_ARGS : initdb オプション -e で指定 $ docker run -e POSTGRES_DB=app \ -e POSTGRES_USER=db_user \ -e POSTGRES_PASSWORD=pass \ --rm --name db -p 5432:5432 postgres:10

Slide 24

Slide 24 text

指定した情報で接続 $ psql -Udb_user -h localhost app Password for user db_user: psql (9.6.5, server 10.5 (Debian 10.5-1.pgdg90+1)) Type "help" for help. app=# localhost は trust $ docker exec -it db psql -Udb_user app psql (10.5 (Debian 10.5-1.pgdg90+1)) Type "help" for help. app=#

Slide 25

Slide 25 text

Slide 26

Slide 26 text

ロケールを設定するイメージを作成 Docker le # ベースイメージ FROM postgres:10 # ロケール設定 RUN localedef -i ja_JP -c -f UTF-8 \ -A /usr/share/locale/locale.alias ja_JP.UTF-8 # 環境変数 LANG 設定 ENV LANG ja_JP.utf8

Slide 27

Slide 27 text

イメージをビルド $ docker build -t shin1x1/postgres-ja . Sending build context to Docker daemon 2.048kB Step 1/3 : FROM postgres:10 ---> 084ec18124c8 Step 2/3 : RUN localedef -i ja_JP -c -f UTF-8 -A /usr/share/locale/locale.alias ja ---> Running in eaaf657d6f9e Removing intermediate container eaaf657d6f9e ---> 596109416105 Step 3/3 : ENV LANG ja_JP.utf8 ---> Running in 42486f844eca Removing intermediate container 42486f844eca ---> ef5972a28e05 Successfully built ef5972a28e05 Successfully tagged shin1x1/postgres-ja:latest

Slide 28

Slide 28 text

Slide 29

Slide 29 text

コンテナのデータを永続化ホストの pgdata ディレクトリをマウントコンテナの initdb で生成したデータをホストに格納 $ docker run --rm --name db -p 5432:5432 \ -v `pwd`/pgdata:/var/lib/postgresql/data postgres -v : ホストのファイルパスをコンテナにマウントホストの./pgdata を/var/lib/postgresql/data にマウント

Slide 30

Slide 30 text

ホストのpgdata にデータディレクトリに $ ls pgdata PG_VERSION pg_dynshmem pg_multixact pg_snapshots pg base pg_hba.conf pg_notify pg_stat pg global pg_ident.conf pg_replslot pg_stat_tmp pg pg_commit_ts pg_logical pg_serial pg_subtrans pg

Slide 31

Slide 31 text

設定ファイルを差し替えホストのpgdata にあるpostgresql.conf を変更 $ vim max_connections postgresql.conf #max_connections = 100 max_connections = 200 コンテナを実行すると設定が反映されている $ docker exec db psql -Upostgres -c 'show max_connections' max_connections ----------------- 200 (1 row)

Slide 32

Slide 32 text

Slide 33

Slide 33 text

Slide 34

Slide 34 text

docker-compose コンテナ実行設定をYAML で記述 docker-compose.yml 複数コンテナを一度に管理 nginx + php-fpm + PostgreSQL pgpool + PostgreSQL master + standby docker-compose コマンドで操作

Slide 35

Slide 35 text

docker-compose.yml postgres イメージを db サービスとして実行 version: '3' # docker-compose バージョン services: db: # サービス設定 image: postgres # イメージ environment: # 環境変数 POSTGRES_USER: db_user POSTGRES_PASSWORD: pass POSTGRES_DB: app volumes: # ボリューム - ./pgdata:/var/lib/postgresql/data # ホストをマウント ports: # ポート - "5432:5432" # ホストとマッピング

Slide 36

Slide 36 text

サービス起動 $ docker-compose up [service] サービス起動（バックグラウンド） $ docker-compose up -d [service] サービス停止、破棄 $ docker-compose down [service] サービス内でコマンド実行 $ docker-compose exec [service] [command]

Slide 37

Slide 37 text

複数サービス連携コンテナ間はサービス名で通信できる postgres サービスに、pgcli や adminer で接続 pgcli: リッチな psql adminer: データベース操作 Web アプリケーション

Slide 38

Slide 38 text

version: '3' services: db: image: postgres:10-alpine environment: - POSTGRES_USER=app - POSTGRES_PASSWORD=pass - POSTGRES_DB=app pgcli: # pgcli 用サービス image: pygmy/pgcli depends_on: - db adminer: # adminer 用サービス image: adminer ports: - 8080:8080 depends_on: - db

Slide 39

Slide 39 text

タスクの実行環境

Slide 40

Slide 40 text

タスクの実行環境実行環境をコンテナ（イメージ）で用意常に同じ環境で実行できるどこでも実行できるコンテナはステートレスな実行環境として利用入力はコンテナ外から、出力はコンテナ外にタスク終了後は、コンテナを破棄ホスト環境を汚さないビルド、CI/CD 、バッチ処理など

Slide 41

Slide 41 text

JavaScript / CSS ビルド npm イメージで、Web アプリケーションアセットをビルド入力 = ホストをマウント、出力 = ホストに出力常に同じ環境でビルドできる $ tree -L 1 . ├── README.md ├── docker-compose.yml ├── package.json ├── public # docroot ファイル └── src # JavaScript / CSS

Slide 42

Slide 42 text

docker-compose.yml version: '3' services: node: image: node:8 volumes: - ./:/app working_dir: /app npm バージョン確認 $ docker-compose run node npm -v 5.6.0

Slide 43

Slide 43 text

ビルド実行 # 依存解決 $ docker-compose run node npm install # ビルド実行 $ docker-compose run node npm run build ビルド結果 $ tree -L 1 . ├── README.md ├── build # 生成されたビルド結果 ├── docker-compose.yml ├── node_modules ├── package.json ├── public └── src

Slide 44

Slide 44 text

curl ビルド Amazon Linux 環境で利用する libcurl.so を生成 openssl を有効にするビルドスクリプトを書いて、amazonlinux コンテナでビルド Mac で ELF バリナリを生成 $ docker run --rm -v `pwd`:/opt -w /opt amazonlinux:1 \ /bin/sh build.sh $ file build/lib/libcurl.so build/lib/libcurl.so: ELF 64-bit LSB shared object, x86-64, version 1 (SYSV), dynamica

Slide 45

Slide 45 text

開発環境の構築

Slide 46

Slide 46 text

Web アプリケーション開発環境 PHP + Laravel WebAPI アプリケーションコードはホストホストの開発ツール（IDE 等）が使える実行環境はコンテナ構成 nginx php-fpm PostgreSQL

Slide 47

Slide 47 text

nginx ホストでは、8000 ポートでアクセスホストのアプリケーションコード、設定ファイルをマウント php-fpm に依存 nginx: image: nginx:1.12 ports: - '8000:80' volumes: - .:/var/www/html - ./docker/nginx/nginx.conf:/etc/nginx/nginx.conf - ./docker/nginx/conf.d:/etc/nginx/conf.d depends_on: - php-fpm

Slide 48

Slide 48 text

PHP (php-fpm) build で Docker le を指定（実行時にビルド）ホストのアプリケーションコード、設定ファイルをマウント db と db-test に依存 php-fpm: build: "./docker/php-fpm/" # Dockerfile のパスを指定 volumes: - .:/var/www/html - ./docker/php-fpm/php.ini:/usr/local/etc/php/conf.d/zzmyphp.ini - ./docker/php-fpm/php-fpm.conf:/usr/local/etc/php-fpm.d/zzmyphp-fpm.conf depends_on: - db - db-test

Slide 49

Slide 49 text

php-fpm Docker le 拡張を追加したイメージをビルド FROM php:7.2-fpm # Install PHP extensions RUN apt-get update && apt-get install -y \ libpq-dev \ && rm -r /var/lib/apt/lists/* \ && docker-php-ext-install \ pdo_pgsql \ pgsql \ opcache

Slide 50

Slide 50 text

composer PHP の依存解決を行うサービス composer: image: composer volumes: - .:/var/www/html working_dir: /var/www/html 依存解決実行 $ docker-compose run composer install

Slide 51

Slide 51 text

PostgreSQL db = アプリケーション用 db-test = 自動テスト用 db: &db image: postgres:10-alpine environment: - POSTGRES_USER=app - POSTGRES_PASSWORD=pass - POSTGRES_DB=app - LC_ALL=C db-test: # db と同じ設定 <<: *db

Slide 52

Slide 52 text

アプリケーション接続設定アプリケーション (.env) DB_CONNECTION=pgsql DB_HOST=db DB_PORT=5432 DB_DATABASE=app DB_USERNAME=app DB_PASSWORD=pass 自動テスト (phpunit.xml) データベースホストをテスト用に変更

Slide 53

Slide 53 text

アプリケーションセットアップ（Docker 関連） # 依存解決 $ docker-compose run composer install # キー生成 $ docker-compose exec php-fpm php artisan key:generate # データベースマイグレーション $ docker-compose exec php-fpm php artisan migrate # テストデータ投入 $ docker-compose exec php-fpm php artisan db:seed

Slide 54

Slide 54 text

面倒なので、Make le に書く自動テストも含む all: install test .PHONY: all install: docker-compose up -d cp .env.example .env chmod -R a+w storage/* docker-compose run composer install --prefer-dist --no-interaction docker-compose exec php-fpm php artisan key:generate docker-compose exec php-fpm php artisan migrate docker-compose exec php-fpm php artisan db:seed .PHONY: install test: docker-compose run php-fpm ./vendor/bin/phpunit .PHONY: test

Slide 55

Slide 55 text

make を実行するだけ環境がセットアップ後に自動テストでチェックテストが通る状態から開発開始 $ make docker-compose up -d Creating network "web-application_default" with the default driver Creating web-application_db_1 ... done (snip) PHPUnit 7.1.2 by Sebastian Bergmann and contributors. ..................... 21 / 21 (100%) Time: 6.24 seconds, Memory: 20.00MB OK (21 tests, 53 assertions)

Slide 56

Slide 56 text

ソースコードと一緒に管理 Git 等の VCS で管理 . ├── .git ├── Makefile ├── app ├── docker-compose.yaml # Git リポジトリに含めるチェックアウトして、make するだけ $ git clone repo $ cd repo $ make

Slide 57

Slide 57 text

Disposable な開発環境を目指すいつでも再構築できる開発環境 = いつでも捨てられる環境構築の自動化データベース含む（マイグレーション、テストデータ投入）開発環境を秘伝のタレにしない誰でもどこでも同じ環境を作れる CI 環境にもそのまま持っていける

Slide 58

Slide 58 text

Docker for Mac 遅い問題 Docker for Mac 遅い != Docker 遅いマウントしたホストファイルへのアクセスで遅いフレームワーク利用時など大量のファイルがある osxfs + HyperKit + Linux VM の問題 PC スペックによっても違う

Slide 59

Slide 59 text

Docker for Mac 遅い問題 - 解決策 Docker for Mac 再起動 docker system prune アプリケーションの書き込みは、コンテナ内に書き込むボリュームマウントのキャッシュ設定

Slide 60

Slide 60 text

ボリュームマウントのキャッシュ設定 consistent : 完全な一貫性（デフォルト） cached : ホストが正。コンテナ側では遅延する場合がある。ホストに置くソースコード delegated : コンテナが正。ホスト側では遅延する場合がある。コロン: の後ろに指定 php-fpm: build: "./docker/php-fpm/" volumes: - .:/var/www/html:cached # cached を指定

Slide 61

Slide 61 text

cached の効果 phpunit の実行時間実行時間が、61% に短縮バラツキはある。キャッシュ実行時間比 consistent(default) 3.97s - cached 2.42s 0.61

Slide 62

Slide 62 text

さいごに手軽に使えるコンテナ環境 Disposable にするデファクトスタンダードプラットフォーム、ツール、情報が充実

Slide 63

Slide 63 text

Q? @shin1x1

Slide 64

Slide 64 text

参考 https://docs.docker.com/get-started/ http://docs.docker.jp/get-started/toc.html https://github.com/moby/hyperkit https://hub.docker.com/ https://docs.docker.com/docker-for-mac/osxfs/ https://docs.docker.com/docker-for-mac/osxfs-caching/