やさしくわかるPyTorch入門 / Easy to Learn PyTorch

by payanotty

Slide 1

Slide 1 text

やさしくわかる PyTorch入門

Slide 2

Slide 2 text

● 名前: 早野康太 ● お仕事: ○ 深層学習エンジニア ● 好きなこと: ○ 音ゲー ○ アニメ ○ ウマ娘 ○ 犬とか猫発表者紹介

Slide 3

Slide 3 text

● Facebook AI Research (FAIR)により開発された深層学習ライブラリ ● Pythonで深層学習するなら TeonsorFlowとの2択 ● モデルの構造や学習の過程を直感的に記述することができる PyTorchについて

Slide 4

Slide 4 text

● Tensor ○ numpyとほとんど同じ感覚で使える ○ 勾配 (偏微分) に関する情報を持っている ○ GPU上での行列計算が可能 ● nn.Module ○ 全てのモデルのベースとなる型 ○ 新しいモデルを定義するときはこれを継承する Tensor型とModule型

Slide 5

Slide 5 text

Slide 6

Slide 6 text

● nn.Module ○ パラメータをstate_dictの形式で書き出せる ■ {‘layer1’: Tensor()...} みたいな感じ Tensor型とModule型

Slide 7

Slide 7 text

● nn.Module ○ パラメータをstate_dictの形式で書き出せる ■ {‘layer1’: Tensor()...} みたいな感じ ○ forward ■ 入力側から変数を流す ■ モデルに合わせて自分で定義 Tensor型とModule型 forward

Slide 8

Slide 8 text

● nn.Module ○ パラメータをstate_dictの形式で書き出せる ■ {‘layer1’: Tensor()...} みたいな感じ ○ forward ■ 入力側から変数を流す ■ モデルに合わせて自分で定義 ○ backward ■ モデルの出力テンソルに対して実行する ■ 誤差逆伝播法で勾配を計算する Tensor型とModule型 backward forward

Slide 9

Slide 9 text

Slide 10

Slide 10 text

● 出力側から入力側に向かって誤差信号を伝播させていく ● 誤差信号 = 偏微分の値 ○ (正確ではないが) ∂z/∂yとか∂y/∂xが伝播するイメージ誤差逆伝播法 x y z backward forward

Slide 11

Slide 11 text

● PyTorchではTensor型同士の計算が行われる際、計算結果の中に勾配計算に必要な情報が保持される ● 計算結果にbackwardメソッドを実行することで誤差逆伝播法によって勾配が計算される自動微分

Slide 12

Slide 12 text

● y = x2, z = Σx ij 自動微分 x y z

Slide 13

Slide 13 text

● y = x2, z = Σx ij ● z.backward() 自動微分 x y z dz/dy dy/dx

Slide 14

Slide 14 text

● y = x2, z = Σx ij ● z.backward() ● backward()を実行するとgrad内に勾配値が記録される ○ y.grad = dz/dy ○ x.grad = dz/dy * dy/dx 自動微分 x y z dz/dy dy/dx

Slide 15

Slide 15 text

● 勾配の分だけパラメータを更新する微分→パラメータ更新 Loss Weight 勾配

Slide 16

Slide 16 text

● 勾配の分だけパラメータを更新する微分→パラメータ更新 Loss Weight

Slide 17

Slide 17 text

● 勾配の分だけパラメータを更新する微分→パラメータ更新 Loss Weight

Slide 18

Slide 18 text

● 勾配の分だけパラメータを更新する ○ 実際はもう少し工夫があってアルゴリズムによっていろんな更新の仕方がある ● 勾配更新のアルゴリズム ○ SGD ○ Adam ← 大体これ使とけば間違いない ○ AdaBeliaf 微分→パラメータ更新 Loss Weight

Slide 19

Slide 19 text

● forward ○ モデルに入力を流仕込む ○ モデルの出力と正解との誤差を計算する PyTorchでの深層学習の3つのステップ

Slide 20

Slide 20 text

● forward ○ モデルに入力を流仕込む ○ モデルの出力と正解との誤差を計算する ● backward ○ 誤差逆伝播で勾配を計算する PyTorchでの深層学習の3つのステップ

Slide 21

Slide 21 text

● forward ○ モデルに入力を流仕込む ○ モデルの出力と正解との誤差を計算する ● backward ○ 誤差逆伝播で勾配を計算する ● step ○ 勾配の分だけパラメータを更新する PyTorchでの深層学習の3つのステップ

Slide 22

Slide 22 text

● 手書き文字画像データ(MNIST)の分類に PyTorchでチャレンジしてみます ○ Google Colabのノートブック PyTorch実践ラベル = 5

Slide 23

Slide 23 text

● PyTorchの特徴 ○ 自動微分の機能により forward → backwardの流れを直感的に記述することができる ○ (今回は触れなかったが) ■ GPU上での計算を高速化する手法に対応している ■ モデルのレイヤーごとに学習率をいじれるなど柔軟性の高いモデル設計が可能 ● Google Colaboratoryで結構カンタンに試せちゃうので興味ある方はぜひ触ってみてくださいさいごに