ディープラーニング入門

Introduction to Machine Learning Theory for Software Engineers 機械学習概論ディープラーニング入門
Etsuji Nakai ver6.2 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved.

目次 ▪ 第１部予備知識 - TensorFlow（low-level API）のコードの書き方 - TensorFlow（Keras API）のコードの書き方
- ロジスティック回帰と最尤推定法 ▪ 第２部畳み込みニューラルネットワーク入門 - 線形多項分類器 - 多層ニューラルネットワークによる特徴抽出 - 畳み込みフィルターによる画像の特徴抽出 - 畳み込みフィルターの動的な学習 - 少し高度な話題 2 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 2

はじめに ▪ この資料では、下図の「畳み込みニューラルネットワーク」の構造を説明しています。右側のソフトマックス関数から順に、全結合層、「畳み込みフィルター＋プーリング層」へとそれぞれの役割を解説します。線形多項分類機 3 2025/05/18 Copyright (C)
2026 National Institute of Informatics, All rights reserved. 3

サンプルコードの入手について ▪ 新しく開いたノートブック上で次のコマンドを実行すると、本講義のサンプルノートブックがダウンロードできます。 - 次のコマンドを実行すると、ユーザー認証が行われて、Colab の実行環境に該当ユーザーの Google Drive
がマウントされます。 from google.colab import drive drive.mount('/content/gdrive') - 次のコマンドを実行すると、サンプルノートブックが Google Drive に保存されます。 %%bash git clone https://github.com/enakai00/colab_tfbook.git cd 'colab_tfbook' git checkout keras3 cp -a ../colab_tfbook '/content/gdrive/My Drive/Colab Notebooks/' ▪ GitHub でコードを確認する際は、下記の URL（keras3 ブランチ）を参照してください。 - https://github.com/enakai00/colab_tfbook/tree/keras3 4 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 4

サンプルコードの入手について - Google Drive の右図の場所にフォルダーができていることを確認します。（見つからない場合は、ブラウザーの画面をリフレッシュしてください。） - ノートブックを開く際は、右クリック
のメニューから「アプリで開く」⇒ 「Colaboratory」を選びます。 5 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 5

ノートブック実行時の注意点 ▪ ノートブックの先頭部分に GPU ランタイムを使用するかどうかが記載されています。 - run with CPU
(no GPU) runtime. - run with GPU runtime. ▪ ：GPU ランタイムを使用しません。：GPU ランタイムを使用します。 GPU ランタイムは使用時間制限があるため、長時間使用を続けると、一定期間（半日程度）GPU ランタイムが使用できなくなります。 ▪ これを避けるために、GPU ランタイムを使用するノートブックは、実行が終わったらすぐに、「ランタイム」メニューの「ランタイムを接続解除して削除」で、ランタイムを停止することをお勧めします。 6 Copyright (C) 2026 National Institute of Informatics, All rights reserved.

注意 ▪ このセクションで扱うコードの全体像は、次のノートブックを参照してください。 - Chapter01/1. Least squares method with
low-level API.ipynb 8 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 8

例題：最小二乗法による気温予測 ▪ トレーニングデータ：昨年1月〜12月の平均気温 ▪ 問題：今年の1月〜12月の平均気温を予測するモデルを作成 ▪ 方針：過去データにフィットする多項式を決定して、予測モデルとする。バイアスウェイト ▪
最小二乗法 - 次の「二乗誤差」を最小にするようにパラメーター（ウェイトとバイアス）を決定する。 9 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 9

勾配ベクトルとグラフの傾きの関係 ▪ 10 2025/05/18 多変数関数 h の勾配ベクトルは、グラフの傾きが最大になる方向に対応しており、その大きさはグラフの傾きに
一致します。 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 10

勾配降下法と学習率 ① ③ ① ③ ② パラメーターが収束 ③ パラメーターが発散 ②
① 勾配降下法では、勾配ベクトルの反対方向にパラメーターを繰り返し修正することで、誤差関数を最小にします。 ▪ この際、学習率 ε の値により、パラメーターの変化の様子が変わります。 ▪ 11 2025/05/18 ② ③ ① ② Copyright (C) 2026 National Institute of Informatics, All rights reserved. 11

TensorFlow のプログラミングモデル ▪ TensorFlow で扱うデータは、すべて「多次元リスト」で表現します。 - 多くの場合、2次元リスト（すなわち「行列」）を使用します。そのため、与えられた関係式（数式）を行列形式で表現すると、自然に TensorFlow のコードに変換する
ことができます。 ▪ 例として、下記のモデル（数式）を TensorFlow のコードで記述してみます。 - この時、次の3種類の違いを意識して、コードを書くことに注意してください。 • トレーニングデータを保存した変数 • チューニング対象のパラメーター（Variable） • これらを組み合わせた計算式 12 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 12

TensorFlowのプログラミングモデル ▪ ▪ 予測値を計算する４次多項式を次のように、行列形式で表します。ただし、には、トレーニングデータるので、一般にはさまざまな値が入ります。を代入す - TensorFlow
で学習処理を行う際は、複数のデータをまとめて代入して計算します。について - そこで、すると、次の関係式が成り立ちます。の値を縦に並べた行列を用意 13 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 13

TensorFlow（low-level API）による記述例 ▪ この関係を TensorFlow のコードで表現すると次になります。トレーニングセットのデータをまとめて保存した変数最適化対象のパラメーターは Variable
として定義（ここでは初期値を0に設定） train_x = np.array(...) w = tf.Variable(tf.zeros([5, 1])) y = lambda x, w: tf.matmul(x, w) 後ほど train_x を代入 14 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 14

誤差関数とトレーニングアルゴリズムの指定 ▪ トレーニングセットを用いた学習処理を実施するには、誤差関数を定義して、勾配降下法を適用する関数が必要です。 train_t = np.array(...) loss = lambda
x, w, t: tf.reduce_sum(tf.square(y(x, w) - t)) optimizer = tf.keras.optimizers.Adam() @tf.function 勾配降下法による def train_step(x, w, t): パラメーターの修正を with tf.GradientTape() as tape: 1回だけ実施する関数 loss_val = loss(x, w, t) grads = tape.gradient(loss_val, [w]) optimizer.apply_gradients(zip(grads, [w])) return loss_val 15 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 15

勾配降下法の繰り返し適用 ▪ この後は、勾配降下法を繰り返し適用して、パラメーターの最適化を行います。 i = 0 勾配降下法による最適化を実施 for _
in range(100000): i += 1 loss_val = train_step(train_x, w, train_t) if i % 10000 == 0: print (f'Step: {i}, Loss: {loss_val}') 誤差関数の値を定期的に表示して、学習の進捗を確認 Step: 10000, Loss: 31.0147705078125 Step: 20000, Loss: 29.293682098388672 Step: 30000, Loss: 28.025081634521484 Step: 40000, Loss: 26.85442543029785 Step: 50000, Loss: 31.778268814086914 Step: 60000, Loss: 24.765493392944336 Step: 70000, Loss: 23.83963394165039 Step: 80000, Loss: 22.977985382080078 Step: 90000, Loss: 22.173564910888672 Step: 100000, Loss: 21.43476104736328 実際の出力例 16 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 16

注意 ▪ このセクションで扱うコードの全体像は、次のノートブックを参照してください。 - Chapter01/2. Least squares method with
Keras.ipynb 18 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 18

Keras によるモデルの定義例 ▪ Low-level API によるモデルの記述を Keras で書き直すと次のようになります。 - Low-level
API w = tf.Variable(tf.zeros([5, 1])) y = lambda x, w: tf.matmul(x, w) - Keras model = models.Sequential(name='regression_model') model.add(layers.Input(shape=(4,), name='input')) model.add(layers.Dense(1, name='polynomial')) 19 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 19

Keras によるモデルの定義例 ▪ 各パートの意味は次のようになります。 - Layers.Input：入力レイヤーを用意します。 - shape=(4,) : 入力データは
• という形式の1次元リストです。一般には多次元リストになるの (24,24,3) のようにタプルで指定します。 - layers.Dense : 「１次関数＋活性化関数」の計算式を表すノードを用意します。 • 計算式に含まれるウェイトは、自動的に Variables として用意されます。 • この例では活性化関数は用いていません。 - 1 : ノードを1つだけ使用します。 model = models.Sequential(name='regression_model') model.add(layers.Input(shape=(4,), name='input')) model.add(layers.Dense(1, name='polynomial')) 20 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 20

誤差関数とトレーニングアルゴリズムの指定 ▪ Low-level API による誤差関数とトレーニングアルゴリズムの指定を Keras で書き直すと次のようになります。 - Low-level
API loss = lambda x, w, t: tf.reduce_sum(tf.square(y(x, w) - t)) optimizer = tf.keras.optimizers.Adam() @tf.function def train_step(x, w, t): ... - Keras model.compile(optimizer='adam', loss='mse') トレーニングアルゴリズムに Adam Optimizer を使用誤差関数に平均二乗誤差（Mean Squares Error）を使用 21 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 21

Keras による学習処理 ▪ コンパイル済みのモデルについて、fit メソッドを呼び出すと、トレーニングループが実行されます。 - トレーニングデータは、batch_size で指定したサイズのバッチに自動で分割されます（バッチトレーニングの詳細は後で説明）。
- 全データセットを用いる処理を1エポックとして、エポック数でトレーニングの長さを指定します。 - トレーニングの情報（誤差関数の変化など）を含むオブジェクトが返り値として得られます。 history = model.fit(train_x, train_t, batch_size=12, epochs=10) この例ではバッチサイズとトレーニングデータ数は一致しており、実際には、バッチトレーニングになっていません。モデルに入力するトレーニングデータ正解ラベル 22 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 22

注意 ▪ このセクションで扱うコードの全体像は、次のノートブックを参照してください。 - Chapter02/1. Maximum likelihood estimation.ipynb 24
2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 24

線形判別法の例題 ▪ 学習に使用するデータ（トレーニングセット） - (x, y) 平面上の N 個のデータポイントトレーニングセットと
判別直線の例 - データポイントは、2タイプに分かれており、 ▪ にラベル付けされている。解くべき問題 - ２タイプのデータを分割する直線を求める。 - きれいに分割できない場合は、何らかの意味で「最善」の分割を与える。 •：t = 1 ×：t = 0 25 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 25

ロジスティック回帰の考え方 ▪ ▪ ▪ •：t = 1 ×：t = 0
ロジスティック回帰では、分割線を次式で与えます。パラメータを決定するために「最尤推定」を用います。つまり、あるデータが得られる「確率」を決めて、トレーニングセットが得られる確率を最大にします。 y x 26 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 26

ロジスティック関数による確率 ▪ ▪ ▪ 点 (x, y) で新たに取得したデータが「t = 1」
である確率を P(x, y) とします。 •：t = 1 ×：t = 0 右図において分割線から右上に進むと P は大きくなり、左下に進むと P は小さくなると考えられます。そこでこの確率を次式で定義します。：ロジスティック関数（シグモイド関数） - σ(a) は、右図のように 0 から 1 になめらかに増加する関数です。の分割線上では、確率はちょうど 27 0.5 になります。 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 27

ロジスティック回帰における尤度関数 ▪ 前ページで定義した確率を元にして、トレーニングセットが得られる確率を計算してみます。 - 点からのデータが得られた場合、それが起きる確率は： -
点からのデータが得られた場合、それが起きる確率は： - これら2つは、（技巧的ですが）次のように１つの式にまとめられます。 ▪ 従って、トレーニングセットが得られる確率（尤度関数）は次式になります。 28 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 28

勾配降下法によるパラメーターの最適化 ▪ 次式で誤算関数 E を定義すると、「確率 P 最大 ⇔ 誤差関数 E
最小」が成り立ちます。 - 上記の誤差関数を「クロスエントロピー」（より正確には「バイナリー・クロスエントロピー」）と呼びます。 x 最大 ⇔ y 最大 ※ 対数関数の性質 29 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 29

Keras による実装例 ▪ この予測モデル（１次関数＋シグモイド関数）を Keras で実装すると、次のようになります。 - activation には、１次関数の後に適用する活性化関数を指定します。
model = models.Sequential(name='logistic_regression_model') model.add(layers.Input(shape=(2,), name='input')) model.add(layers.Dense(1, activation='sigmoid', name='sigmoid')) 活性化関数 30 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 30

Keras による実装例 ▪ 最適化アルゴリズムと誤差関数の指定は、次のようになります。 - loss : パラメーターの最適化に使用する誤差関数。 - metrics
: エポックごとにモデルの性能を評価する指標。この例では、予測の正解率（Accuracy）を指定。 model.compile(optimizer='adam', loss='binary_crossentropy', metrics=['acc']) 31 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 31

練習問題 ▪ Neural Network Playground を用いて、勾配降下法による学習の様子を観察してください。 - 特にノイズ（Noise）の大きなデータに対して、学習率（Learning Rate）を大きく
設定するとどうなるでしょうか？ ▪ Neural Network Playground - https://goo.gl/nYYRjR 32 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 32

注意 ▪ このセクションで扱うコードの全体像は、次のノートブックを参照してください。 - Chapter02/4. MNIST softmax estimation.ipynb ▪
また、次のノートブックを参照して、MNIST データセットの利用方法を確認しておいてください。 - Chapter02/3. MNIST dataset sample.ipynb 34 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 34

線形多項分類器の仕組み ▪ ▪ 関数のグラフを描くと、図のように「斜めに配置した板」で平面が分割されることがわかります。同様に、3つの１次関数を用意して、「どの関数が一番大きいか」で平面を3 分割することができます。
35 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 35

ソフトマックス関数による確率への変換 ▪ ▪ 点が i 番目の領域である確率を次式で定義します。これは、の大小関係を確率に変換したもので、次の条件を満たすことがすぐにわかります。

ソフトマックス関数による画像分類 ▪ ▪ たとえば、28x28ピクセルのグレイスケール画像は、各ピクセルの値を一列にならべると、784次元空間の点とみなすことができます。大量の画像データを784次元空間にばらまくと、類似画像は互いに近くに集まると考えられないでしょうか？ - ソフトマックス関数で784次元空間を分割することで、画像を分類できるかも知れません。

Keras による線形多項分類器の実装例 ▪ 「784個の値を受取る１次関数」を10個用意した後に、それらにソフトマックス関数を適用することで、前述の分類モデルが構成できます。 model = models.Sequential(name='softmax_estimation_model') model.add(layers.Input(shape=(28*28,), name='input'))
model.add(layers.Dense(10, activation='softmax', name='softmax')) ソフトマックス関数 … ・・・ 38 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 38

誤差関数の計算 ▪ n 番目のデータの正解ラベルは、次の「One-hot 表現」で与えられます。 - 正解を k として、k
番目の要素 ▪ のみが 1 になっています。今のモデルでこのデータが得られる確率はれる確率は次式になります。なので、全データが得ら正解 k の所のみ1になる ▪ 39 次式で誤算関数 E を定義すると、「確率 P 最大 ⇔ 誤差関数 E 最小」が成り立ちます。 - この誤差関数を「カテゴリカル・クロスエントロピー」と呼びます。 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 39

テストデータによるモデルの評価 ▪ 最適化アルゴリズム、誤差関数、評価指標の指定は、次のようになります。 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['acc']) ▪ トレーニングデータとは別の「テストデータ」を指定すると、評価指標の計算は、テストデータに対して行われます。 -
トレーニングデータに対する評価指標を見ていると、トレーニングデータには高い正解率を示すにもかかわらず、その他のデータには正解率があがらない「過学習（オーバーフィッティング）」の発生を見落とす危険性があります。 history = model.fit(train_images, train_labels, validation_data=(test_images, test_labels), batch_size=128, epochs=10) テストデータの指定 40 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 40

バッチトレーニングによる確率的勾配降下法の適用 ▪ バッチトレーニングには、次のようなメリットがあります。 - 1回の最適化処理に必要なメモリー容量がおさえられます。 - 最小値に向かってランダムに最適化が進むため、極小値にはま
り込む可能性が低くなります。最小値画像データ 128個分のデータ …… …… ・・・ …… …… ・・・ラベルデータ 1回目の修正 2回目の修正最小値極小値最小値すべてのデータを使用したバッチトレーニングによる勾配降下法確率的勾配降下法 41 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 41

線形多項分類機による MNIST 画像分類の結果 ▪ 右図は、0〜9について、正解例（左３列）と不正解例（右３列）を示します。 - 基本的には「ピクセルの並び方が似ているか」で判断しており、「穴が空いている」などのトポロジカルな情報を利用できていないことがわかります。

練習問題 ▪ 次のノートブックでは、ロジスティック回帰の問題において、トレーニングデータとテストデータに対する正解率の変化を検証しています。それぞれの変化の特徴を確認してください。 - Chapter02/2. Comparing accuracy for
training and test datasets.ipynb 43 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 43

練習問題 ▪ 次のノートブックの内容を変更して、「学習率」によるトレーニング結果の違いを確認してください。 - Chapter02/4. MNIST softmax estimation.ipynb -
勾配降下法のアルゴリズムは、[MSE-04] で指定されています。AdamOptimizer は、学習率（勾配ベクトルの逆方向にどの程度パラメーターを修正するか）を自動調整するという特徴があります。 model.compile(optimizer='adam', loss='categorical_crossentropy', metrics=['acc']) - このセルの内容を次のように変更すると、学習率を0.01に固定した単純な勾配降下法が用いられます。この時、実行結果がどのように変わるか確認してください。 from keras import optimizers sgd = optimizers.SGD(lr=0.01) model.compile(optimizer=sgd, loss='categorical_crossentropy', metrics=['acc']) 44 - 学習率を0.005、0.001などに変更した場合はどうでしょうか？ [MSE-05] でトレーニングを実行する際に、エポック数を増やすなどの変更も試してください。 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 44

注意 ▪ このセクションで扱うコードの全体像は、次のノートブックを参照してください。 - Chapter03/1. Single layer network example.ipynb
- Chapter03/2. Double layer network example.ipynb - Chapter03/3. MNIST single layer network.ipynb 46 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 46

シンプルなニューラルネットワークの例 ▪ ▪ 平面上のデータを分類する、下記の線形分類器をニューラルネットワークに拡張します。シグモイド関数最もシンプルな拡張例は次になります。ハイパボリックタンジェント -
隠れ層のノードは、１次関数の計算結果を「活性化関数」で変換した値を出力します。 - 活性化関数には右図のようなものがあります。 ReLU 出力層 47 隠れ層 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 47

シンプルなニューラルネットワークの例 ▪ ハイパボリックタンジェントは、-1 から 1 に急激に変化するので、隠れ層のノードの出力は、１次関数が決定する直線の両側で、-1 と 1 に分かれる
と考えられます。 - この例では、平面は、4つの領域に分類されることになります。 ② ① ③ ④ 48 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 48

シンプルなニューラルネットワークの例 ▪ 前ページの分類結果は、次のように理解することができます。平面を直線で分類する機能を持つので、下図 - 出力層のシグモイド関数は、のように4つの領域を2種類に分類していると考えられます。 ② ① ◯
✕ ① ② ③ ◯ ③ ◯ ④ ④ 49 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 49

シンプルなニューラルネットワークの例 ▪ 一方、下図のような配置パターンは、このニューラルネットワークでは分類できないことが分かります。 - このような配置を分類するには、ニューラルネットワークをどのように拡張すればよいのでしょうか・・・？直線で分類不可能 ② ①
◯ ✕ ✕ ◯ ③ ④ 50 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 50

論理回路としてのニューラルネットワーク ▪ １次関数と活性化関数を組み合わせた1つのノードは、図のように、AND もしくは OR 演算回路と同等であることが分かります。 • • •
• • • • • 51 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 51

論理回路としてのニューラルネットワーク ▪ 先ほどの配置パターンは、XOR 演算に相当するので、下図のようにノードを組み合わせると分類可能になることが分かります。 ② ① ◯ ✕ ✕
◯ ③ ④ 52 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 52

論理回路としてのニューラルネットワーク ▪ 平面を4分割する1層目の隠れ層に、XOR 演算機能を持つ2層目の隠れ層を結合すると次のニューラルネットワークが得られます。をのバイナリー値に変換して - 1層目の隠れ層は、入力値います。これは、与えられたデータは、2つのバイナリー変数
で特徴づけられることを意味しています。特徴量を取り出す機能 XOR 回路による判定機能 53 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 53

論理回路としてのニューラルネットワーク ▪ Neural Network Playground を利用して、実際に確認してみましょう。 - http://goo.gl/VIvOaQ 54 2025/05/18
Copyright (C) 2026 National Institute of Informatics, All rights reserved. 54

（参考）MNIST へのニューラルネットワークの適用 ▪ 隠れ層が1層のニューラルネットワークで MNIST データセットを分類する場合のモデルの定義例です。 - この例では、活性化関数に ReLU
を持つ1024個のノードからの出力をソフトマックス関数を用いた線形多項分類に入力しています。 model = models.Sequential(name='single_layer_network_model') model.add(layers.Input(shape=(28*28,), name='input')) model.add(layers.Dense(1024, activation='relu', name='hidden')) model.add(layers.Dense(10, activation='softmax', name='softmax')) ・・・・・・・・・線形多項分類器 55 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 55

練習問題 ▪ ▪ Neural Network Playground で、隠れ層やノードの数を変更して、結果がどのように変わるか観察してください。次のノートブックの内容を変更して、隠れ層のノード数によるトレーニング結果の違いを確認してください。
- Chapter03/2. MNIST single layer network.ipynb - 隠れ層のノード数は、[MSL-03] の以下の部分で指定されています。ノード数を 128, 512, 4096 などに変更して、結果がどのように変わるか観察してください。 model.add(layers.Dense(1024, activation='relu', name='hidden')) 56 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 56

注意 ▪ このセクションで扱うコードの全体像は、次のノートブックを参照してください。 - Chapter04/1. ORENIST convolutional filter example.ipynb
- Chapter04/2. ORENIST classification example.ipynb 58 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 58

多層ニューラルネットワークの構造 ▪ 前セクションで次のような構造を確認しました。 - この例では、第1層の2個のノードでデータの分類に必要な特徴ました。が抽出でき - より一般的な画像ファイルの特徴を抽出するには、どのような隠れ層を用いればよいのでしょうか？
特徴量を取り出す機能 XOR 回路による判定機能 59 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 59

畳み込みフィルターの仕組み ▪ 下図は画像をぼかす効果を持った畳み込みフィルターの例です。 - あるピクセルの色を周りのピクセルの色とフィルターの重みで混ぜあわせます。 91 46 35 141 140
135 156 153 153 × 0.11 0.11 0.11 0.11 0.12 0.11 0.11 0.11 0.11 117 60 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 60

エッジを抽出する畳み込みフィルター ▪ 右図は縦のエッジを抽出するフィルターの例です。 - 横に同じ色が続く部分は、左右の±がキャンセルして0になります。 - 計算した合計が負になる場合は絶対値を取ります。
▪ フィルターのサイズを大きくすると、さらに太い幅でエッジを残します。 - 右図は、縦／横、それぞれのエッジを抽出します。 - フィルターの値が大きいと色が濃くなる効果が入るため、実際には、全体を23.0で割った値を使用します。 61 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 61

ORENIST データセットによる考察 ▪ たとえば、下図の画像を分類する場合、「縦棒」と「横棒」という特徴を抽出すればよいことが分かります。 - 画像処理の世界では、「畳み込みフィルター」によって特定方向のエッジを抽出する手法が知られています。 62 2025/05/18

エッジを抽出する畳み込みフィルター ▪ ORENIST データセットに前ページのフィルターを適用すると、次の結果が得られます。 - 下段は、プーリング層でさらに解像度を落とした結果です。2✕2ピクセルの領域を1 ピクセルで置き換えています。 63 2025/05/18

エッジを抽出する畳み込みフィルター ▪ 縦横のエッジを抽出した結果がこのデータを分類する「特徴」だとすると、その結果を全結合層に入力することで、正しく分類できると期待できます。畳み込みフィルター入力データプーリング層全結合層線形多項分類器拡張された出力層

TensorFlowにおけるフィルターの構造 ▪ TensorFlow のコード内で畳み込みフィルターを定義する際は、すべてのフィルターをまとめて、下記のサイズの多次元リストに格納します。 • 「縦✕横✕入力レイヤー数✕出力レイヤー数」 - カラー画像の場合、入力レイヤー数は、RGB の3種類になります。今はグレイスケー
ル画像なので入力レイヤー数は1です。また、1枚の画像から2枚の画像を出力するので、出力レイヤー数は2です。縦／横のエッジを抽出するフィルターを定義する関数 def edge_filter(shape=None, dtype=None): filter0 = np.array( [[ 2, 1, 0,-1,-2], [ 3, 2, 0,-2,-3], [ 4, 3, 0,-3,-4], [ 3, 2, 0,-2,-3], [ 2, 1, 0,-1,-2]]) / 23.0 filter1 = np.array( [[ 2, 3, 4, 3, 2], [ 1, 2, 3, 2, 1], [ 0, 0, 0, 0, 0], [-1,-2,-3,-2,-1], [-2,-3,-4,-3,-2]]) / 23.0 それぞれのフィルターを 2次元リストとして用意すべてのフィルターを格納する多次元リストを用意 filter_array = np.zeros([5, 5, 1, 2]) filter_array[:, :, 0, 0] = filter0 filter_array[:, :, 0, 1] = filter1 65 該当部分にフィルターの値を格納 return filter_array 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 65

静的な畳み込みフィルターの適用例 ▪ 次は、事前に定義した畳み込みフィルターを適用するモデルの例です。 model = models.Sequential(name='edge_filter_model') model.add(layers.Input(shape=(28*28,), name='input')) model.add(layers.Reshape((28, 28,
1), name='reshape')) model.add(layers.Conv2D(2, (5, 5), padding='same', kernel_initializer=edge_filter, use_bias=False, name='conv_filter')) model.add(layers.Lambda(lambda x: abs(x), name='abs')) model.add(layers.Lambda(lambda x: tf.keras.backend.relu(x-0.2), name='cut_off')) model.add(layers.MaxPooling2D((2, 2), name='max_pooling')) - name='reshape' : 入力データを 28×28 のリストに変換 - name='conv_filter' : 畳み込みフィルターを適用 • kernel_initializer : 先に定義したデータを用いてフィルターを初期化 • padding='same' : フィルターがはみ出る部分は0があるものと解釈する - name='abs' : 出力が画像データとして解釈できるように、負の値を正に変換 - name='cut_off' : カットオフを適用（この後で説明） - name='max_pooling' : プーリング層を適用 66 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 66

ReLU を用いたピクセル値のカットオフ ▪ 畳み込みフィルターでエッジを抽出した後に、ピクセル値が0.2以下の部分を強制的に0にすることで、エッジの抽出効果を強調しています。 model.add(layers.Lambda( lambda x: keras.backend.relu(x-0.2), name='cut_off'))
ReLU 67 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 67

プーリング層による画像の縮小 ▪ オプションで指定したサイズのブロックを1ピクセルに置き換えます。 - layers.MaxPooling2D は、最大値のピクセルで置き換えます。 - layers.AveragePooling2D は、ブロック内のピクセル値の平均値で置き換えます。 68

全結合層による特徴変数の変換 ▪ 先ほどのニューラルネットワークでパラメーターの最適化を行った後に、それぞれの入力データに対応するの値を散布図に描くと下記が得られます。 - のそれぞれが、縦棒と横棒の有無を表すバイナリー変数になっていることが分かります。 69

注意 ▪ このセクションで扱うコードの全体像は、次のノートブックを参照してください。 - Chapter04/3. ORENIST dynamic filter classification.ipynb
- Chapter04/4. MNIST dynamic filter classification.ipynb - Chapter04/5. MNIST dynamic filter classification result.ipynb - Chapter05/1. MNIST double layer CNN classification.ipynb - Chapter05/2. Handwritten digit recognizer.ipynb 71 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 71

畳み込みフィルターの最適化 ▪ 一般の画像データの場合、どのようなフィルターが適切なのかは、すぐには分かりません。そこで、フィルターを最適化対象のVariableにすることで、適切なフィルターそのものを学習させてしまいます。 - フィルターの初期値は乱数で設定します。 ▪ ORENIST データセットに対して、2種類のフィルターを動的に学習させた例です。
- ORENIST データセットはデータ構造が単純なので、最適なフィルターでなくても十分な分類ができてしまいます。この例では、モデルに強い制限を入れることで上記の結果を得ています。 72 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 72

畳み込みフィルターの最適化 ▪ 前ページのフィルターは、次のモデルで学習しています。 model = models.Sequential(name='ORENIST_classification_model') model.add(layers.Input(shape=(28*28,), name='input')) model.add(layers.Reshape((28, 28,
1), name='reshape')) model.add(layers.Conv2D(2, (5, 5), padding='same', use_bias=False, name='conv_filter')) model.add(layers.Lambda(lambda x: abs(x), name='abs')) model.add(layers.MaxPooling2D((28, 28), name='max_pooling')) model.add(layers.Flatten(name='flatten')) model.add(layers.Dense(3, activation='softmax', name='softmax')) - このモデルでは、プーリング層で画像サイズを1×1ピクセルまで縮小して、その結果をソフトマックス関数による線形多項分類器で分類しています。畳み込みフィルタープーリング層線形多項分類器入力データ 73 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 73

学習後のモデルが抽出する特徴量 ▪ 学習後のプーリング層の出力は次のようになります。 - 縦棒と横棒の有無を表す変数のペアとして機能していそうなことが分かります。 ▪ 0.8 をしきい値として二値化すると下記が得られます。 - しきい値より大きいかどうかで縦棒と横棒の有無が判定できることが分かります。
縦棒の有無を示す変数横棒の有無を示す変数 74 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 74

動的フィルターによるMNISTデータセットの分類 ▪ 次は、MNIST データセットに16個のフィルターを適用する例になります。 model = models.Sequential(name='CNN_single_layer_model') model.add(layers.Input(shape=(28*28,), name='input')) model.add(layers.Reshape((28,
28, 1), name='reshape')) model.add(layers.Conv2D(16, (5, 5), padding='same', use_bias=True, activation='relu', name='conv_filter')) model.add(layers.MaxPooling2D((2, 2), name='max_pooling')) model.add(layers.Flatten(name='flatten')) model.add(layers.Dense(1024, activation='relu', name='hidden')) model.add(layers.Dense(10, activation='softmax', name='softmax')) - 今の場合、畳み込みフィルターを適用する目的は、画像の特徴を抽出することであり、適用後のデータが画像として解釈できる必要はありません。そのため、絶対値をとる操作は省略しています。 75 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 75

動的フィルターによるMNISTデータセットの分類 - オプション use_bias=True, activation='relu' により、畳み込みフィルターの適用後に「一定値を加えてReLUを適用する」という処理が入ります。これは、一定値以下の値を0にするカットオフと同じ効果になります。この場合、カットオフの値も学習対象になります。（この処理により、畳み込み計算に非線形効果が生まれます。） 76

畳み込みフィルターの学習例 ▪ 右図は動的に学習したフィルターの例です。 - 左端がフィルターで、右側はフィルターを適用した画像の例です。 - カットオフの効果により、画像の大部分が白くなっていることがわかります。 ▪
最上段の文字画像の代わりに、その下にある 16枚の画像を全結合層に入力することで、より高精度な分類が可能になります。 77 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 77

畳み込みフィルターの多層化 ▪ 「畳み込みフィルター＋プーリング層」を通過した画像に対して、さらにもう一度、畳み込みフィルターを適用することで、新たな「特徴」が抽出される可能性はないでしょうか？ - この考え方を実装したものが下図の「畳み込みニューラルネットワーク」にほかなりません。線形多項分類機 78

複数レイヤーに対するフィルター適用の仕組み ▪ １つのフィルターは、各レイヤーに適用するサブフィルターを内部的に保持しており、各サブフィルターの出力を合成したものが出力画像になります。 - RGB 画像ファイルを入力しても、その出力は RGB 画像ファイルになるわけではありません。

２層目のフィルターの適用方法 ▪ １層目のフィルターから得られた n 枚の画像データを「n 個のレイヤーからなる画像」として、2層目のフィルターを適用します。 - 下図は1層目に32個、2層目に64個のフィルターを用意した例です。2層目の64個のフィルターは、それぞれ内部的に32個のサブフィルターを持ちます。

畳み込みフィルターを適用するコード ▪ １層目（畳み込みフィルター32個＋プーリング層）と２層目（畳み込みフィルター64個＋プーリング層）を適用する部分のコードです。 model =
models.Sequential(name='CNN_double_layer_model') model.add(layers.Input(shape=(28*28,), name='input')) model.add(layers.Reshape((28, 28, 1), name='reshape')) model.add(layers.Conv2D(32, (5, 5), padding='same', use_bias=True, activation='relu', name='conv_filter1')) model.add(layers.MaxPooling2D((2, 2), name='max_pooling1')) model.add(layers.Conv2D(64, (5, 5), padding='same', use_bias=True, activation='relu', name='conv_filter2')) model.add(layers.MaxPooling2D((2, 2), name='max_pooling2')) 81 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 81

畳み込みフィルターを適用するコード ▪ 畳み込み層からの出力を全結合層（1024ノード）と線形多項分類器（ソフトマックス関数）に入力するコードです。 model.add(layers.Flatten(name='flatten')) model.add(layers.Dense(1024, activation='relu', name='hidden')) model.add(layers.Dropout(rate=0.5, name='dropout'))
model.add(layers.Dense(10, activation='softmax', name='softmax')) - 全結合層と線形多項分類器の間にドロップアウト層が入っています。 - ドロップアウト層は、一定の割合で全結合層からの入力を0にします。ここでは、学習時に50%をドロップすることで、オーバーフィッティングを防止しています。 82 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 82

（参考）アンサンブルモデルの効果・・・・・・接続の半分をランダムにカットして勾配ベクトルを計算
仮に上半分と下半分を交互にカットしたとすると、二種類のモデルが交互に学習される layers.Dropout(rate=0.5, name='dropout') 入力モデル① モデル② アンサンブルモデル 83 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 83

手書き数字の認識アプリケーション ▪ TensorFlow / Keras で学習した結果は、ファイルに保存できます。 - 学習済みの結果を読み込んで、手書き数字の認識アプリケーションを作ることも可能です。 84

注意 ▪ このセクションで扱うコードの全体像は、次のノートブックを参照してください。 - Chapter05/3. CNN interpretation - image
generation - Chapter05/4. CNN interpretation - sensitive area detection - Chapter05/5. MNIST autoencoder example 86 2025/05/18 Copyright (C) 2026 National Institute of Informatics, All rights reserved. 86

学習後の畳み込みフィルターを解釈する手法 ▪ 次は、それぞれのフィルターの出力が最大になるような入力画像を機械学習によって生成した例です。 - それぞれのフィルターがどのような特徴を抽出しているかを見ることができます。 87 2025/05/18 Copyright (C)

学習後の畳み込みフィルターを解釈する手法 ▪ 次は、特定の入力画像に対して、「予測結果に対する影響度の重み」でフィルターの出力画像を合成した結果になります。 - ヒートマップでカラー画像化してあります。 - 画像のどの部分に注目して予測しているかを見ることができます。 88 2025/05/18

オートエンコーダーによるアノマリー検知 ▪ 入力画像と同じ画像を出力するように学習したニューラルネットワークです。 - 「トレーニングデータに含まれるデータ」を再現するようになるため、トレーニングデータと大きく異なる「異常データ」の発見に利用できます。 89 2025/05/18 Copyright (C)

オートエンコーダーの構造 ▪ 前半部分で画像の「種類」を識別する情報が抽出されて、後半部分で対応する画像を再現する「画像生成モデル」が学習されます。 - 結果として、学習データに存在する種類の画像のみが再現できるモデルが得られます。入力画像との差を最小化するように学習 90
画像の種類を識別する情報が抽出されている Copyright (C) 2026 National Institute of Informatics, All rights reserved.

DCGAN ▪ ▪ DCGAN では、エンコーダを用いずに、デコーダ部分だけを直接に学習します。最初の論文では、転地畳み込みフィルターを用いたデコーダが用いられました。生成画像潜在空間
http://arxiv.org/abs/1511.06434 91 Copyright (C) 2026 National Institute of Informatics, All rights reserved.

DCGAN で学習が進む様子 ▪ 実装例は下記を参照 - https://github.com/enakai00/colab_GenAI_lecture/blob/main/Part05/1.%20DCGAN %20MNIST%20example.ipynb 96 Copyright (C)
2026 National Institute of Informatics, All rights reserved.

ディープラーニング入門

ディープラーニング入門

More Decks by Etsuji Nakai

Other Decks in Technology

Featured

Transcript