Microsoft Azure での Deep Learning 用仮想マシンの構築

Microsoft Azureでの Deep Learning⽤仮想マシンの構築 Kakeru Tsunekawa

Contents 2 1. Azureとは 2. 仮想マシンの作成 3. 接続設定 4. 環境構築
5. 使い⽅

5. 使い⽅

© Presentation Design © Presentation Design 4 １．Azureとは Microsoft AzureでのDeep
Learning⽤仮想マシンの構築 Microsoft Azure とは Microsoftが提供するクラウドサービスの集合体 https://azure.microsoft.com/ja-jp/overview/what-is-azure/ → 機械学習，認証管理，IoTなど，さまざまな分野で利⽤されている

© Presentation Design © Presentation Design 5 １．Azureとは Microsoft AzureでのDeep
Learning⽤仮想マシンの構築やること Azureのサービスを利⽤して，機械学習⽤の仮想環境(GPU)を構築する︕ 仮想環境とは︖ パソコンの中で仮想的にパソコンを動かす例︓Anaconda メリット・管理コストの削減新しいシステムを導⼊したときに，元のシステムとの⼲渉を防ぐ・セキュリテイ・異なるOSの両⽴など

5. 使い⽅

© Presentation Design © Presentation Design 7 ２．仮想マシンの作成 Microsoft AzureでのDeep
Learning⽤仮想マシンの構築参考URL https://docs.microsoft.com/ja-jp/azure/machine-learning/data-science-virtual- machine/provision-deep-learning-dsvm

Learning⽤仮想マシンの構築 Microsoft Azureへログイン

Learning⽤仮想マシンの構築仮想マシンの作成 Viratual Machines をクリック

Learning⽤仮想マシンの構築仮想マシンの作成追加をクリック所有している仮想マシンの⼀覧が表⽰される

Learning⽤仮想マシンの構築仮想マシンの作成クリック

Learning⽤仮想マシンの構築仮想マシンの作成 Deep Learning Virtual Machine を検索して選択

Learning⽤仮想マシンの構築仮想マシンの作成 Name : 仮想マシンの名前 OS : Linuxを選択 User Name : 仮装マシンに登録するユーザ名 Password : ユーザのパスワード（⼤⽂字，⼩⽂字，数字＋12⽂字以上）

Learning⽤仮想マシンの構築仮想マシンの作成リソースグループ : 新規作成で適当に名付ける（仮想マシン間のアクセスが必要な場合等は必要に応じて適当に選ぶ）場所 : リソースの存在する場所．適当に選ぶ（場所によっては必要なリソースがない場合もあるので，適宜変える）

Learning⽤仮想マシンの構築仮想マシンの作成 GPUの種類を選択（必要な性能に応じて決めるもし所望のGPUが出てこない場合には場所の再選択）

Learning⽤仮想マシンの構築仮想マシンの作成無事に終了するとVirtual Machinesに追加される

5. 使い⽅

© Presentation Design © Presentation Design 21 ３．接続設定 Microsoft AzureでのDeep
Learning⽤仮想マシンの構築参考URL https://qiita.com/suthio/items/2760e4cff0e185fe2db9

Learning⽤仮想マシンの構築接続設定⾃分のパソコン仮想マシン遠隔操作暗号化 • SSH (Secure SHell) … ネットワークを介して他のコンピュータを制御するためのプロトコル通信途中の情報は全て暗号化される

Learning⽤仮想マシンの構築 SSHの認証の仕組み⾃分のパソコン送信仮想マシン秘密鍵＆公開鍵の作成ユーザに公開鍵を登録ログイン要求（ユーザ名とIPを指定）乱数の⽣成ハッシュ化公開鍵で暗号化秘密鍵で復号くぁｗせｄｒｆｔｇｙふじこｌｐハッシュ化くぁｗせｄｒｆｔｇｙふじこｌｐ送信結果の照合くぁｗせｄｒｆｔｇｙふじこｌｐくぁｗせｄｒｆｔｇｙふじこｌｐ接続許可 or 拒否ログイン完了︕ 22番ポート

Learning⽤仮想マシンの構築 SSH接続の設定 1. 仮想マシンのSSHポートの開放 2. 鍵の登録

Learning⽤仮想マシンの構築 SSH接続の設定 1. SSHポートの開放 22番ポートの開放が必要ポート… 接続を⾏う際の窓⼝．通信規約ごとに番号が決まっている．

Learning⽤仮想マシンの構築 SSH接続の設定 1. SSHポートの開放クリック

Learning⽤仮想マシンの構築 SSH接続の設定 1. SSHポートの開放 SSHを選択 SSHに

Learning⽤仮想マシンの構築 SSH接続の設定 1. SSHポートの開放 SSHが追加された（受信ポートが開いた）

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜鍵の作成〜鍵ペアの作成

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜鍵の作成〜 SSH認証時のパスワードを設定（VMのユーザパスワードとは別）鍵が作成された︕ 隠しフォルダ ~/.ssh へ移動（秘密鍵はここに⼊れておく必要がある）鍵の作成鍵作成コマンドの詳細 ssh-keygen ssh鍵を作ります -t rsa ⽅式 -b 4096 パスワードの⻑さ -C "<メールアドレス>" githubで使ってるやつとか -f id rsa karakuri ファイル名（必要な場合）

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜鍵の作成〜 ssh-rsa 〜メールアドレスまで全てコピーしてメモ帳とかに貼り付けておく .pub の内容をコピー cat <作成した公開鍵（.pubの⽅）> で表⽰してコピー

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜鍵の作成〜鍵の登録

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜ログイン〜クリック

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜ログイン〜クリックしてクリップボードにコピー

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜ログイン〜ターミナルに貼り付けて実⾏ → ユーザーのパスワードを要求されるので，マシンの作成時に登録したものを⼊⼒

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜ログイン〜ログイン成功鍵のパスワードを要求されるが，まだ登録していないので適当に打って流す（もっと賢い⽅法があるはず）やりすごすとユーザパスを要求されるので登録したものを⼊⼒する

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜ログイン〜隠しフォルダ ~/.ssh/ にauthorized_keys というファイルがあるので，ここに公開鍵を登録するコピーしておいた公開鍵の中⾝を全て貼り付けて，登録完了︕

Learning⽤仮想マシンの構築 vimの使い⽅基本的な操作 https://www.sejuku.net/blog/5570 以下は覚えておく︕ （モード） vimではモードを切り替えて操作する・コマンドモードカーソル移動や編集を⾏う・インサートモード書き込みをする（コマンド）・i インサートモードへ移⾏・esc コマンドモードへ移⾏・:w 保存・:q 終了・:wq 保存して終了・:q! 変更を破棄して強制終了コマンドモードインサートモード保存して終了するとき（コマンドモード）

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜ログイン〜 vim authorized_keys でファイルを開く iでインサートモードへコピーしていた内容を貼り付け escでコマンドモードへ :wqで保存して完了︕

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜鍵の作成〜接続⽅法の設定簡単に接続できるようにする

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜接続情報の設定〜隠しフォルダ ~/.ssh/ に configというファイルがあるので，ここに接続情報を登録する⼀旦ログアウトして，接続情報の設定を⾏う．ログアウトはctrl+D vim <ファイル名> ︓vim（エディタ）で<ファイル名>を開く

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜接続情報の設定〜 Host : 接続名．好きなように決める． Host name : IPアドレス（パブリック） user name : ユーザ名 port : 22 （ssh接続はポート番号が22と決まっている） IdentityFile : 秘密鍵のディレクトリ通常のssh接続では ssh -I <秘密鍵> <ユーザ名>@<IPアドレス> とする必要があるが，この登録により ssh <接続名> で接続できるようになる iでインサートモードにして⼊⼒． escでコマンドモードへ移⾏して:wqで保存して終了．

Learning⽤仮想マシンの構築 SSH接続の設定 2. 鍵の登録〜接続名によるログイン〜簡単にログインできるように︕ ssh <接続名> sshのパスワードが要求される ※ 今後使⽤するときにはこの⽅法でログインを⾏います

5. 使い⽅

© Presentation Design © Presentation Design 46 ４．環境構築 Microsoft AzureでのDeep
Learning⽤仮想マシンの構築流れ Pyenvをインストール Pyenvを⽤いてAnacondaをインストール Chainer と Cudaのインストール

Learning⽤仮想マシンの構築 Pyenvとは Pythonのバージョン管理を⾏うシステム →複数のバージョンのPythonを切り替えて扱うことができる公式info https://github.com/pyenv/pyenv-installer

Learning⽤仮想マシンの構築 Pyenvのインストールサイトからダウンロードし，インストール curl https://pyenv.run | bash

Learning⽤仮想マシンの構築 Pyenvのパスの開通隠しフォルダ.bashrcに設定を書き込み，パスを通す echo 'export PATH="$HOME/.pyenv/bin:$PATH"' >> ~/.bashrc echo 'eval "$(pyenv init -)"' >> ~/.bashrc echo 'eval "$(pyenv virtualenv-init -)"' >> ~/.bashrc source ~/.bashrc .bashrc … bashを起動したときに⾃動で読み込む設定ファイル bash … シェルの⼀種．Linux系OSで使われる．（ターミナル） echo … 画⾯に⽂字列や数値、変数を表⽰するLinuxコマンド echo <表⽰したいもの> >> ファイルで出⼒をファイルに追記できる

Learning⽤仮想マシンの構築 Anacondaのインストール Anacondaのバージョンを検索 pyenv install --list | grep ana インストール可能なプログラムの⼀覧を表⽰ ana とつくプログラムを検索最新のバージョンをインストール pyenv install anaconda<version> 最新バージョンインストールには数分かかる

Learning⽤仮想マシンの構築環境の切り替えインストールしたanaconda環境に切り替え pyenv global anaconda<version> 所有しているバージョンの確認 pyenv versions （使⽤しているpythonの確認） which python anacondaに切り替わるとこれがつく所有しているバージョン *つきが稼働中

Learning⽤仮想マシンの構築 chainerとcupyのインストール chainerのインストール pip install chainer==5.4.0 バージョン指定をする（このバージョンが⼀番いいらしい） pipの更新 pip install --upgrade pip

Learning⽤仮想マシンの構築 chainerとcupyのインストール持っているライブラリを確認（違うバージョンのcupy-cudaを持っていたらアンインストール） pip install cupy-cuda<version>==5.4.0 pip list (pip uninstall cupy-cuda<version>) 使⽤しているGPUが対応しているcupyのバージョンを調べる nvcc -V バージョン指定をしてcupyをインストール対応しているcudaのバージョン 10.0 → <version>=100 9.0 → <version>=90 9.1 → <version>=91 ... https://docs-cupy.chainer.org/en/stable/install.html 重要︕

Learning⽤仮想マシンの構築 chainerとcupyのインストール持っているライブラリを確認（違うバージョンのcupy-cudaを持っていたらアンインストール） pip install cupy-cuda〇〇==5.4.0 pip list (pip uninstall cupy-cuda〇〇) 使⽤しているGPUが対応しているcupyのバージョンを調べる nvcc -V バージョン指定をしてcupyをインストール 10.0だったので100をインストール

Learning⽤仮想マシンの構築動作確認 pythonを起動してインポートできればok 終了はctrl+D

Learning⽤仮想マシンの構築エラー cupyのバージョンがおかしい → nvcc -V で正しいバージョンを確認 pip list で持っているcupy-cudaを確認し，全てアンインストールして正しいバージョンを⼊れる

5. 使い⽅

© Presentation Design © Presentation Design 58 ５．使い⽅ Microsoft AzureでのDeep
Learning⽤仮想マシンの構築マシンの開始と停⽌マシンを使う時 → Azureからマシンを開始する

Learning⽤仮想マシンの構築マシンの開始と終了マシンを使い終わった時 → Azureからマシンを停⽌する終了時にパブリックIPを予約すると，以降も同じIPが使えるので，チェックしておく．パブリックIPが変わってしまったら... → ~/.ssh/config の設定を書き換える

Learning⽤仮想マシンの構築 Jupyter notebookを開いてみよう sshログイン時にローカルのポートと仮想マシンのポートをつないでおく ssh -L <port>:localhost:8888 <ホスト名> ローカルで<port>とすると，仮想環境の8888につながるようになるローカル側でもjupyterを開いている（8888を使っている）場合︓9999 そうでない場合︓8888 とかにしておく

Learning⽤仮想マシンの構築 Jupyter notebookを開いてみよう仮想マシンはブラウザを持っていないので，no browserで起動 →urlをコピーしてポート番号を書き換えてローカルのブラウザで開く jupyter notebook --no-browser ここを指定した<port>に書き換えて開く

Learning⽤仮想マシンの構築 Jupyter notebookを開いてみよう仮想マシンはブラウザを持っていないので，no browserで起動 →urlをコピーしてポート番号を書き換えてローカルのブラウザで開く jupyter notebook --no-browser

Learning⽤仮想マシンの構築 Jupyter notebookを開いてみよう nohupで起動（バックグラウンド実⾏，ssh接続が切れてもjupyterが落ちないようにする） nohup jupyter notebook --no-browser >> jupyter.log 2>&1 & nohup 〜 & バックグラウンド実⾏ >> jupyter.log 出⼒をjupyter.logへ（デフォルトではnohup.out）（>jupyter.logとすると追加ではなく上書きになる） 2>&1 標準エラー出⼒を標準出⼒にマージ https://qiita.com/ritukiii/items/b3d91e97b71ecd41d4ea ・この⼀⽂はコピーしておくと便利︕ ・ずっと同じファイルを使っていると出⼒が溜まっていくので，適宜ファイル名を変えても良い

Learning⽤仮想マシンの構築 Jupyter notebookを開いてみよう jupyter.logの中に出⼒があるので，そこからurlを探してくるもしくは jupyter notebook list と打つと，いま開いているjupyterのurl, token が取得できる． : : 以降はコピーしないもしtokenを要求された場合には，?token= の部分をコピーして貼り付ける

Learning⽤仮想マシンの構築 Jupyter notebookを開いてみよう nohupで開いたnotebookを終了するには，プロセスIDを調べてkillする ps aux | grep jupyter ps プロセス管理のコマンド aux すべての種類のプロセスの知り得るだけの情報がすべて網羅される grep 検索プロセスID

Learning⽤仮想マシンの構築 Jupyter notebookを開いてみよう nohupで開いたnotebookを終了するには，プロセスIDを調べてkillする kill <プロセスID>

Learning⽤仮想マシンの構築ファイルの送受信 scpコマンドを使うローカル → マシンマシン → ローカル scp <送りたいファイル> <ユーザ名>@<ホスト名>:<届け先のディレクトリ> フォルダごと移動させたいときは -r オプションを使う scp <ユーザ名>@<ホスト名>:<取ってきたいファイル> <受け取り先のディレクトリ> scp -r ...(同上) pwd カレントディレクトリの表⽰ sample.txt をhome/tsune/に作成ファイルが取得できてる仮想マシンからsample.txtを取ってくる（パスワードが要求される）

quick reference 68 l 接続⽅法 - ポートをつないで接続 ssh -L <port>:localhost:8888
<ホスト名> <port> = 8888 or 9999 など - ログアウト ctrl+D l jupyter notebook - バックグラウンド実⾏ nohup jupyter notebook --no-browser >> jupyter.log 2>&1 & - 開き⽅ vim jupyter.logで開いてurlを探すもしくは jupyter notebook list →8888を<port>に書き換えて開く - 終了⽅法 ps auxでプロセスIDを調べてkill <プロセスID> l vimコマンド - i : インサートモードへ - esc : コマンドモードへ - :w : 保存 - :q : 終了 - :wq : 保存して終了 l ファイルの送受信 - ローカル → マシン scp <送りたいファイル> <ユーザ名>@<ホスト名>:<届け先のディレクトリ> - マシン → ローカル scp <ユーザ名>@<ホスト名>:<取ってきたいファイル> <受け取り先のディレクトリ> - フォルダごと移動させるとき scp –r ...(同上)

Microsoft Azure での Deep Learning 用仮想マシンの構築

Microsoft Azure での Deep Learning 用仮想マシンの構築

Other Decks in Programming

Featured

Transcript