Colabをshellから使う

Colab をshell から使う Colab をshell から使う 2019/8/10 さとうきよし

Colab とは Colab とは無料でGPU/TPU 付きサーバを使えるサービス Web(Jupyter) 上からPython 環境が即利⽤可能最⾼！

Colab の構成 Colab の構成接続時にlinux のコンテナが起動 Web(Jupyter) 上から操作を⾏うコンテナ種によりGPU かTPU
が利⽤できる完全に独⽴した環境なのでインストールも可能コンテナは連続12 時間までしか稼働出来ない

コマンドの実⾏コマンドの実⾏ Python の他にコマンドも実⾏可能 !cat /etc/debian_version !apt install sshd だがセルからしか実⾏できないため結構不便

外からの接続は出来ない外からの接続は出来ない外には出ていけるが外からは接続できないコンテナから外にトンネルを作りそこ経由で接続

ngrok というサービス ngrok というサービスローカル上のものを外から接続可能にするサービステストで動かしてるWeb サービスを⼀時的に接続可に特定サーバ・ポートにアクセスするとフォワードする serveo という同種のサービスもある

Colab からngrok を利⽤ Colab からngrok を利⽤ sshd とngrok をコマンドで⼊れて利⽤下記内容をセルに貼って実⾏
import random, string, urllib.request, json, getpass #Generate root password password = ''.join(random.choice(string.ascii_letters + string.digits) for i in range(20)) #Download ngrok ! wget -q -c -nc https://bin.equinox.io/c/4VmDzA7iaHb/ngrok-stable-linux- ! unzip -qq -n ngrok-stable-linux-amd64.zip #Setup sshd ! apt-get install -qq -o=Dpkg::Use-Pty=0 openssh-server pwgen > /dev/null #Set root password ! echo root:$password | chpasswd ! mkdir -p /var/run/sshd ! echo "PermitRootLogin yes" >> /etc/ssh/sshd_config ! echo "PasswordAuthentication yes" >> /etc/ssh/sshd config https://stackover ow.com/questions/48459804/how-can-i- ssh-to-google-colaboratory-vm

ngrok の問題 ngrok の問題時々切れるちょっと重い ngrok へのログインがだるいセキュリティ上の懸念(MITM) がちょっと不安

ssh のリモートフォワード ssh のリモートフォワード固定IP のサーバがあればngrok と同様のことが可能 local から実⾏ ssh
-R 8081:target:80 remote /etc/ssh/sshd_con g にリモート接続許可する設定が必要 GatewayPorts yes https://qiita.com/mechamogera/items/b1bb9130273deb9426f5

Colab→ ⾃サーバへのトンネル Colab→ ⾃サーバへのトンネル Colab 側から⾃サーバへトンネルを張る⾃サーバからトンネル伝ってssh 接続 Colab 側から実⾏
ssh -fNR 20022:target:22 username@dev.example.jp dev.example.jp から実⾏ ssh -p 20022 root@localhost

⼊⼒が出来ない問題⼊⼒が出来ない問題プロンプトからのパスワード⼊⼒等が出来ないパスワード⼊⼒はフォーム機能で⼊れるパスワード受け渡しはSSH_ASKPASS で回避 HostKeyChecking もオプションで回避 proxy_password =
'password' #@param {type:"string"} !echo "echo $proxy_password" > proxy_password.sh !chmod +x proxy_password.sh get_ipython().system_raw( 'export SSH_ASKPASS=/content/proxy_password.sh; export DISPLAY=dummy:0; setsid ssh -oStrictHostKeyChecking=no -fNR 20022:localhost:22 username@dev.example.jp &')

Colab 側sshd の起動 Colab 側sshd の起動先にsshd を⼊れて起動しておく LD_LIBRARY_PATH の設定無いとエラーになるので注意
import random, string, urllib.request, json, getpass password = ''.join(random.choice(string.ascii_letters + string.digits) for i in range(20)) print(f'Root password: {password}') ! apt-get install -qq -o=Dpkg::Use-Pty=0 openssh-server pwgen > /dev/null ! echo root:$password | chpasswd ! mkdir -p /var/run/sshd ! echo "PermitRootLogin yes" >> /etc/ssh/sshd_config ! echo "PasswordAuthentication yes" >> /etc/ssh/sshd_config ! echo "ClientAliveInterval 30" >> /etc/ssh/sshd_config ! echo "GatewayPorts yes" >> /etc/ssh/sshd_config ! echo "LD_LIBRARY_PATH=/usr/lib64-nvidia" >> /root/.bashrc ! echo "export LD_LIBRARY_PATH" >> /root/.bashrc get_ipython().system_raw('/usr/sbin/sshd -D &')

問題点問題点⾃サーバがない → GCE の無料枠で踏み台サーバを⽴てるパスワードの受け渡し⽅フォーム機能だとノートにパスワードが残る

Colab でshell 使えるの便利 Colab でshell 使えるの便利ディープラーニングもののプロダクトの実験に便利⾃宅に⾼いGPU 積んだマシンなくても気軽に試せる

Colabをshellから使う

Colabをshellから使う

SATOH Kiyoshi

More Decks by SATOH Kiyoshi

Other Decks in Technology

Featured

Transcript