Share
Embed
第0回ディープラーニング勉強会
EngineerCafe
February 05, 2022
Transcript
71 slides
-
§ 自己紹介 § 本の紹介 § 1.1機械学習と深層学習 § 1.2ニューラルネットワークの学習 § 1.3畳み込みニューラルネットワーク(CNN)
§ 1.4タスクとモデル ※1.4は内容が約16ページと膨大だったので説明はざっくりしてます。詳しい説明は次 回以降やりたいと思います。 1 -
§ 岩永拓也 § 九州工業大学 情報工学部 4年 § 藤原研究室 アルゴリズム §
趣味:ゲーム、読書、ボードゲーム、アマプラで映画 § エディタ:Atom 2 -
§ 機械学習→「きかいてきにものごとのパターンを覚えさせること」 § 機械学習の分類を下の図1に表す。 機械学習 教師あり学習 教師なし学習 強化学習 ・決定木 ・パーセプトロン
etc…. ・Q-Learning etc…. ・k-平均法 ・階層的クラスタリング etc…. 図1 機械学習の分類 4 -
§ 図1より機械学習には様々な手法があり、主に「教師あり」「教師なし」「強化学習」に 分かれる。 § 教師あり学習 →正解データ(教師データ)を与えて学習。主に分類や回帰の問題に使用。有名な手法は決定 木、パーセプトロン、サポートベクターマシンなどがある。 § 教師なし学習 →教師データを与えず学習。主にクラスタリングで使用。有名な手法はk-平均法などかあ
る。 § 強化学習 →環境を観測し、その中での最適化を学んでいき、環境に合わせて進化していくもの。有 名な手法はQ-Learningなどがある。 6 -
X<thのとき0 th<=1のとき1 1か0 A B C 𝑤! 𝑤" 𝑤# 図3
パーセプトロン § 例:図3のパーセプトロン 8 -
図にある文字の説明 § A,B,C →外からの刺激(入力)。 § X →入力を合計した値。 § 𝑤! ,
𝑤" , 𝑤# →重み(weight)。入力は全て重要度が平等ではないため、それぞれの入力を足し合わせるときに重要度合いである重みを掛 け算して調整。 図3の場合:X= 𝐴𝑤! + 𝐵𝑤" + 𝐶𝑤# となる。 § th →閾値(しきいち)。これを超えた場合活性化が起こり1を返す。超えなかった場合は0を返す。 9 -
§ 例:多層パーセプトロンの図 図4 多層パーセプトロン 𝑃$% 𝑃&& 𝑃&% 𝑃%$ 𝑃%& 𝑃%%
A B C 0か1 P'( = 𝑋'( < 𝑡ℎ'( : 0 𝑡ℎ'( ≤ 𝑋'( : 1 𝑖:層の番数 𝑗:層にあるパーセプトロンの番数 第1層 第2層 第3層 12 -
§ ニューラルネットワーク →反応として活性化、活性化していないという極端な2択でなく、出力する値の度合いで 測れるようにしたもの。 § 活性化関数 →0,1で出力していたところを0~1,-1~1などの一定の範囲の値で出力するように制御する関 数。 § 入力層
→ニューラルネットワークで外から刺激(入力)を受ける。 § 出力層 →最後に反応(活性化)を行う層。 § 隠れ層(中間層) →入力層と出力層の間で隠れている層。 13 -
§ 例:ニューラルネットワークの図 図5 ニューラルネットワーク 𝐺$% 𝐺&& 𝐺&% 𝐺%$ 𝐺%& 𝐺%%
A B C 0か1 入力層 隠れ層 出力層 G'( : さまざまな活性化関数 𝑖:層の番数 𝑗: 𝑖層にあるパーセプトロンの番数 14 -
§ 3つの関数を紹介 § ステップ関数 →もっとも歴史のある関数でニューラルネットワーク以前の活性化関数。 図6 ステップ関数 閾値:𝑡ℎ = 0とする
式 𝑦 = 2 1 𝑥 > 0 0 𝑥 ≤ 0 15 -
§ ReLU関数 →活性化関数の中では覇権を握っている。シンプルで高速に演算。 図8 ReLU関数 閾値:𝑡ℎ = 0とする 式 𝑦
= 2 𝑥 𝑥 > 0 0 𝑥 ≤ 0 17 -
§ 例:ディープニューラルネットワークの図 図9 ディープニューラルネットワーク 𝐺&& 𝐺&% 𝐺%$ 𝐺%& 𝐺%% A
B C 0か1 入力層 隠れ層1 出力層 𝐺$% 𝐺$& 𝐺$$ 𝐺("#$)$ 𝐺+% 𝐺+& 𝐺+$ … 隠れ層n 隠れ層2 G'( : さまざまな活性化関数 𝑖:層の番数 𝑗: 𝑖層にあるパーセプトロンの番数 19 -
§ 学習の目標 →入力データと教師データを与えたときニューラルネットワークにより最適な値を自 ら学習をすること。 A B ニューラルネットワーク ①順伝搬 ③誤差逆伝搬 教師データ
出力データ A D A B ②差分計算 ②差分計算 図10 ニューラルネットワークの学習の流れの図 入力データ 20 -
§ 問題集を勉強する流れを想像する。 A B 人 ①問題を解く ③復習 正解 解答 A
D A B ②答え合わせ ②答え合わせ 図11 問題集の勉強の流れの図 問題 21 -
§ 順伝搬 →入力側から出力側にデータを流すこと。図11で言う「問題を解く」。これにより出 力データを得られるが、そのデータはランダムな重みによって適当に出された。 § 差分計算 →出力データと教師データを比べてどれだけかけ離れているかを計算すること。図11 で言う「答え合わせ」。出力データと教師データがかけ離れていることを損失と言い、 この損失を決める関数を損失関数という。 §
誤差逆伝播 →②で出てきた損失(誤差)を出力側から入力側へと逆向きに伝えること。図11で言う 「復習」。そうすることで重みを変更していき、損失を小さくしていく。 22 -
§ 損失曲線(学習曲線) →学習を各繰り返しのタイミングに、データ毎の損失の平均を計算し記録してできる 曲線。曲線が0付近で収束しきるとニューラルネットワークの学習は完了! 誤差 学習回数 誤差 学習回数 誤差 学習回数
学習完了! まだいける! ・・・ 図12 学習曲線 24 -
§ 学習曲線の図 誤差 学習回数 誤差 学習回数 誤差 学習回数 誤差 学習回数
過学習 うまく行ってる! 訓練用データに対する学習曲線 訓練用データに対する学習曲線 検証用データに対する学習曲線 検証用データに対する学習曲線 図14 学習曲線と過学習 28 -
§ バッチ学習(最急降下法) 用意したデータ全てに対して①順伝搬、②差分計算を行い、全部の②で計算した損 失を平均して、一括で③誤差逆伝播を行い重みを更新する。 利点 1. 安定して損失が減っていく 2. 他の学習と比べ処理時間が短い 欠点
データ数と使用メモリが比例するため使用メモリが多くなる。 30 -
§ ミニバッチ学習 最近主流の学習法。メモリの使用量を現実的な量にまとめられ、できる限り一括で学 習する 方法 1. 用意した入力データをいくつかのまとまり(ミニバッチ)に分ける。 ※ミニバッチ内のデータ数をバッチサイズという 2. ミニバッチごとにミニバッチ内の全てのデータに①順伝搬、②差分計算を行う
3. 一括で③誤差逆伝播を行い重みを更新(一回行うことを1ステップ) 4. これを繰り返す ※繰り返す回数をエポック(Epoch)という。 31 -
§ 3つの学習の特徴をまとめた表 学習方法 ③の タイミング メモリ 使用量 学習の 安定性 学習時間
データの 追加 エポック オンライン学習 1データ毎 ⭕(小) ❌ ❌(長い) ⭕ 1エポック =nステップ ミニバッチ学習 バッチサイズ 分のデータ毎 🔺(ミニバッチ に依存) 🔺 🔺(ミニバッ チに依存) ❌ 1エポック =(n/バッチサイズ) ステップ バッチ学習 全データで 一括 ❌(大) ⭕ ⭕(短い) ❌ 1エポック =1ステップ 表1 学習方法の特徴 n:データ数 33 -
誤差 重み 誤差 重み 誤差 重み 図15 重みの更新 →目標の場所 →今の重み
傾きが負より重みを大きくする 傾きはまだ負なので重みを大きくする 傾きはせいで大きくしすぎたので小さくする 35 -
§ ニューラルネットワークの層には様々なタイプがあり、それらを組み合わせることで 様々な処理が可能! § ノード→図16で各層における入力と出力。 図16 ニューラルネットワークの層 入力層 隠れ層1 出力層
… 隠れ層n 隠れ層2 ノード ※入力するノードは入力ノード、 出力されるノードは出力ノードという 37 -
0 0 0 0 0 0 0 0 0 0
0 0 0 0 0 0 0 0 0 0 0 0 0 0 サイズは同じ パディング(0) 図22 2次元でのパディングのイメージ 入力側 出力側 47 -
✖ ✖ ✖ ✖ ✖ ✖ ✖ ✖ ✖ ✖
✖ ✖ ✖ ✖ ✖ ✖ ✖ ✖ 4 2 2 2 1 1 ✖ ✖ ✖ 3 1 1 1 2 2 ✖ ✖ ✖ 3 4 2 入力側 出力側 図25 MaxPooling層(2次元でのイメージ) 54 ・2×2カーネル ・2×2ストライド -
1 2 3 3 4 2 3 1 4 3
3 1 1 1 2 3 3 1 1 4 4 2 3 3 1 4 4 4 2 2 4 2 2 2 3 3 3 3 4 3 3 4 1 1 2 入力側 出力側 図26 UpSampling層(2次元のイメージ) 56 -
図27 TransposedConvolution層(2次元でのイメージ) d e f a b c g h
i 0 a 0 0 0 0 0 0 0 0 i 0 0 0 0 0 0 0 0 g 0 0 0 0 0 0 0 0 a 0 0 0 0 0 0 0 f 0 0 0 b 0 0 h 0 e d 0 0 𝑦%& 𝑦%' 𝑦(& 𝑦(' 𝑦&& 𝑦&' 𝑦)& 𝑦)' 𝑦'& 𝑦'' 𝑦%( 𝑦%% 𝑦%) 𝑦(( 𝑦(% 𝑦() 𝑦&( 𝑦&% 𝑦&) 𝑦)( 𝑦)% 𝑦)) 𝑦'( 𝑦'% 𝑦') 58 -
0.33 1 0 0 1 1 1 1 0 2
3 0 1 5 3 1 3 2 4 1 2 1 1 3 1 0 2 1 2 5 2 4 3 1 3 3 0 0.5 1 1 0.75 1 1 1 1 1 0 0.4 0 0 1 1 0 0 ノードごとに値を 0~1で正規化 バッチないのデータが全てくるまで待つ 図29 BatchNormalization層(2次元でのイメージ) 62 -
CV CV Pooling CV CV Pooling CV CV Pooling …
図30 CNNの基本構造 Convolutionブロック 64 -
§ タスクを見てみる § 分類(Classification) →対象物を決められた種類(クラス)を振り分けるタスク。様々な分野で行われ、使用さ れるモデルが多く存在。モデルで有名なのはVGG、ResNet。 § 異常検知(Anomaly Detection) →対象が異常な状態かどうかを判定するタスク。正常な状態を学習し、推論時にその
政情からずれている点が多いときに異常と判断。使用される有名なモデルは AutoEncoder、AnoGAN。 66