キヨさん続編10_ニューラルネット編

Transcript

1. キヨさん続編10_ニューラルネット編 ｜ 生成AI以前のディープラーニング キヨさん、 AIの先輩たちを 訪ねる 先 縮めて戻す係、虫眼鏡で見る係、申し送りをする係。 ChatGPTより前に活躍したニューラルネットの三人衆を、昭和のSEキヨさんが訪 ねて回る話 ニューラルネットワーク Autoencoder CNN RNN・LSTM ※この物語はフィクションです。登場人物は架空です。技術の説明は、公開された論文や資料に基づきます。 「相棒にも 先輩がおったのか」
2. 人 登場人物 3人と相棒のAIそしてゲストのAI 清 ハ ミ 相 J 山田 清之（67） キヨさん 孫・ハルト（21） 助手 南 ミナミ（29） Webエンジニア AI「相棒」 後輩 Jev ゲスト 元メインフレームSE。昔 情報系の大学生。卒業研 社内チャットボットの担 キヨさんのおしゃべり おなじみの判断型AI。今 の機械の話になると、急 究で、工場の画像から傷 当。今回は、工場の異常 LLM。先輩たちのこと 回もキヨさんの理解度を に元気になる を見つけるCNNを作って 検知の相談も抱えてきた は、文献でしか知らない 確率で判定する 「生成AIじゃだめな の？」 「大先輩たちです」 いる 「昔話なら任せろ」 「先輩たち、今も現役だ よ」 noul: 0.06 ※キヨさん・ハルト・ミナミ・相棒は架空。Jevは実在のAIです キヨさん続編10_ニューラルネット編 2
3. 序 相棒にも先輩がいた Q. キヨさんは違いが分かった？ noul: 0.06 プロローグ｜水曜の午後、キヨさんの書斎 ミナミさんの相談 ミ キヨさん、工場の検査カメラにAIを入れたいんです。やっぱりChatGPTですか？ 工場の検査カメラの画像から、傷や汚れを見つ けたい。生成AIに頼むと、時間もお金もかかり ハ それなら先輩たちのほうが向いてるよ。オートエンコーダとか、CNNとか 清 相棒にも先輩がおったのか。で、その先輩たちはどこにおる それなら、生成AIより前からある「先輩」たち のほうが向いている。軽くて速くて、今も工場 で現役 相 工場の検査装置、スマホのカメラ、昔の翻訳ソフトの中などにいらっしゃいます 清 よし、一人ずつ挨拶に回るぞ。手土産は羊羹でいいか 今日の訪問先 J noul: 0.06 すぎる ハルトの答え オートエンコーダ、CNN、RNN。どれもニュー ラルネットワークを何段も重ねたディープラー ニングの設計図 ※登場人物と会話は物語の例です キヨさん続編10_ニューラルネット編 3
4. 1 部署を何段も並べた会社 Q. キヨさんは違いが分かった？ noul: 0.12 第1章｜ニューラルネットワークとディープラーニング 中間層 中間層 キヨさんのたとえ：会社の組織 中間層 入力層 出力層 → → → → 受付が書類を受け取り、係、課、部と回るたびに判断が 加わり、最後に役員が結論を出す 清 前作の役員会が、何段にもなったわけか ハ そう。で、部署のつなぎ方を工夫したのが、今 日の三人衆 しくみ（前作のおさらい） 丸の一つ一つが、入力に重みを掛けて足すパーセプトロンの子孫。層から層へ計算を 渡し、出力層が答えを出す。重みは誤差逆伝播法で直す ディープラーニングとは 中間層を何段も深く重ねたもの。段を重ねるほど、複雑な特徴をとらえられる キヨさん続編10_ニューラルネット編 4
5. 2 平成の三種の神器 Q. キヨさんは違いが分かった？ noul: 0.18 第2章｜ディープラーニングが2010年代に花開いたわけ その一 その二 その三 大量のデータ GPU 学習の工夫 ネットに写真や文章があふれた。画像データ 集ImageNetは1400万枚を超える ゲーム用の画像処理チップが、大量の掛け算 を並列でこなせた 深い層でも学べる活性化関数（ReLU）やドロ ップアウトなど 2012年の事件：AlexNet 画像認識の大会ILSVRCで、トロント大のチームがCNNを使って圧勝。誤り率 15.3%（上位5候補）で、2位の26.2%を大きく引き離した。GPU2枚で学習 清 昭和の三種の神器はテレビ、洗濯機、冷蔵庫だった ハ ディープラーニングの三種の神器は、データ、GPU、学 習の工夫だね ※出典：Krizhevsky ほか（2012年）。誤り率は、上位5候補に正解が入らなかった割合 キヨさん続編10_ニューラルネット編 5
6. 3 三人衆の見取り図 Q. キヨさんは違いが分かった？ noul: 0.24 第3章｜同じ部品、ちがうつなぎ方 オートエンコーダ CNN RNN Autoencoder Convolutional Neural Network Recurrent Neural Network 得意：情報をぎゅっと縮めて、また元に戻 す。異常検知、ノイズ取り 得意：画像。小窓で少しずつ見て、模様を見 つける 得意：順番のあるデータ。文章、音声、時系 列 縮めて戻す係：電報 虫眼鏡で見る係：検査員 申し送りをする係：交代勤務 清 同じ社員でも、組織図を変えれば得意な仕事が変わるわけだ な キヨさん続編10_ニューラルネット編 相 私の中身のトランスフォーマーは、この三人のあとに来まし た 6
7. 4 チチキトク スグカエレ Q. キヨさんは違いが分かった？ noul: 0.30 第4章｜オートエンコーダ：縮めて、戻す キヨさんのたとえ：電報 電報は字数で料金が決まるので、要点だけに縮めて打つ。受け取 った側は「父が危篤だから、すぐ帰ってこい」と元の意味に戻 す。うまく戻せる縮め方を覚えるのがオートエンコーダ 入力 ← エンコーダ（縮める） 要点 復元 デコーダ（戻す）→ 清 わしも若いころ、田舎から「カネオクレ」が届いたも ハ それ、縮めすぎて誰からか分からないやつ んだ しくみ 前半（エンコーダ）が入力を少ない数字に縮め、後半（デコーダ）がそこから 元に戻す。真ん中の細い所を「ボトルネック」と呼ぶ 鍛え方 正解は入力そのもの。「元どおりに戻せたか」だけで鍛えるので、正解のラベル を人が付けなくていい キヨさん続編10_ニューラルネット編 7
8. 5 「いつもと違う」が分かる検査員 第5章｜オートエンコーダの使い道 Q. キヨさんは違いが分かった？ noul: 0.36 異常検知 ノイズ取り 要点の抽出 良品の画像だけで鍛える。傷のある品は、う まく元に戻せない。戻したときのずれが大き いものを「異常」とみなす わざと汚した画像を入れ、きれいな元の画像 に戻すよう鍛える（デノイジング） 真ん中の「要点」の数字を、検索や分類の材 料に使う。データを縮めて扱いやすくする 昭和なら：良品しか見たことのないベテラ ンが「なんか変だ」と気づく 昭和なら：かすれたカーボン複写を清書す る 昭和なら：分厚い報告書の要旨だけで仕分 ける ミ 傷の写真を集めなくていいんですか？ ます キヨさん続編10_ニューラルネット編 良品なら山ほどあり ハ そこが強み。不良品はめったに出ないから、集めるのが大変 なんだ 8
9. 6 1 2 3 相 縮めた地図から絵を描く Q. キヨさんは違いが分かった？ noul: 0.41 第6章｜オートエンコーダと画像生成AIのつながり ふつうのオートエンコーダ：要点の置き場所がまばらで、すき間から戻すと意味のない 絵になりやすい VAE（変分オートエンコーダ、2013年）：要点の置き場所を、なめらかにつながった地 図になるよう鍛える。地図のどこから戻しても、それらしい絵になる 画像生成AI（Stable Diffusion、2022年）：画像をVAEで小さく縮め、縮めた世界の中 で絵を描いてから、元の大きさに戻している キヨさんのたとえ：住宅地図 ふつうの縮め方は、番地が飛び飛びの地図。VAEは、隣 の番地へ歩けば家並みが少しずつ変わる地図。だか ら、地図の上の新しい場所から、新しい家を描ける 清 先輩は、後輩の画像生成AIの下ごしらえもし とるのか 縮めて戻す係は、画像生成AIの中でも働いているのです ※VAE：Kingma, Welling（2013年）。Stable Diffusion：Rombach ほか（2022年） キヨさん続編10_ニューラルネット編 9
10. 7 虫眼鏡で少しずつ見る Q. キヨさんは違いが分かった？ noul: 0.48 第7章｜CNN：畳み込みの仕組み 畳み込み 小さな窓（フィルタ）を画像の上で少しずつずらし、窓の中の模様と、フィルタが探す模 様の一致度を記録していく 使い回し 同じ虫眼鏡を画像全体で使い回す（重み共有）。だから、傷が左上にあっても右下にあって も見つけられ、重みの数も少なくて済む キヨさんのたとえ：検査員の虫眼鏡 赤い枠（3×3の小窓）を、右へ下へずらしていく 基板の写真を、虫眼鏡で左上から順に見ていく。縦線を探す虫眼鏡、角を探す虫眼鏡と、 探すものが決まっている 清 キヨさん続編10_ニューラルネット編 一枚の写真を、検査員が何十人も虫眼鏡を持って同時に見るわけか 10
11. 8 線から角へ、角から顔へ Q. キヨさんは違いが分かった？ noul: 0.53 第8章｜CNNは段を重ねて、見るものを大きくする 浅い段 縦線、横線、色の境目 → 中ほどの段 角、丸、しま模様 → 深い段 → 目、車輪、ねじ穴 出口 「猫」「良品」「傷あり」 プーリング キヨさんのたとえ：検査の分業 途中で画像を縮める。4画素から代表の1画素を残すなどして、細かい位置のずれに 強くし、計算も減らす 一次検査は線や汚れを拾い、二次検査は部品の形を見て、最 終検査が合否を出す。上の検査ほど、縮小コピーで全体を見 る 見る範囲が広がる 縮めた画像に同じ大きさの虫眼鏡を当てると、元の写真では広い範囲を見ているこ とになる。段を重ねるほど、大きな形をとらえる ハ 僕の卒研のCNNも、浅い段はただの線にしか反応 しないんだ ※どの段が何に反応するかは、学習で決まる。上はよく見られる傾向 キヨさん続編10_ニューラルネット編 ※どの段が何に反応するかは、学習で決まる。上はよく見られる傾向 11
12. 9 ネオコグニトロンは昭和生まれ noul: 0.58 第9章｜CNNの歩みと、今の働き場所 1959年〜 1979年 Q. キヨさんは違いが分かった？ 米国のヒューベルとウィーゼルが、猫の脳で、特定の向きの線に反応する 神経細胞を見つける（1981年ノーベル賞） NHK放送科学基礎研究所の福島邦彦が「ネオコグニトロン」を発表。CNN の原型。昭和54年 1989年 ルカンらが、誤差逆伝播法で鍛えるCNNで、手書きの郵便番号を読む 2012年 AlexNetが画像認識の大会で圧勝。ディープラーニングのブームへ 今の働き場所 工場の外観検査、スマホの顔認証や写真の整理、医療 画像の読影支援、車の周囲の認識など 清 昭和54年なら、わしはバリバリの30代だ。 ハ 世界のAI研究者なら、だいたい知ってる名 日本人が作っとったのか 前だよ ※年は論文の発表年。福島のネオコグニトロンは、英語論文は1980年 キヨさん続編10_ニューラルネット編 12
13. 10 夜勤から日勤への申し送り Q. キヨさんは違いが分かった？ noul: 0.63 第10章｜RNN：前のメモを次へ回す RNN メモ → RNN メモ → RNN メモ → RNN ↑ ↑ ↑ ↑ 今日は 天気が 良い ので しくみ キヨさんのたとえ：交代勤務の申し送り 一語ずつ順に読み、読んだ内容をメモ（隠れ状態）にまとめて、次の語を読むとき に一緒に使う。同じ部品を、時刻ごとにくり返し使う 夜勤は、受け取った申し送りノートに自分の勤務の出来事を 書き足して、日勤に渡す。日勤は、ノートと目の前の状況を 合わせて判断する 得意なデータ 順番に意味があるもの。文章、音声、売上や気温の推移、機械の振動の記録など キヨさん続編10_ニューラルネット編 清 工場の三交代なら、申し送りが命だった 13
14. 11 三日前の申し送りが消える Q. キヨさんは違いが分かった？ noul: 0.67 第11章｜RNNの弱点：勾配消失 勾配消失 勾配爆発 時刻をさかのぼるたびに、微分の値を掛けていく。1より小さい数を何 十回も掛けると、ほぼ0になる。0.9の50乗は約0.005 逆に1より大きい数を掛け続けると、とんでもなく大きくなる。1.1の50 乗は約117。前作の勾配クリッピングは、この対策でもある 何が困るか キヨさんのたとえ：伝言の薄まり 遠い昔の語ほど、責任がほとんど届かない。文の最初に出てきた主語を、文 の終わりで使えるように学べない 申し送りを書き写すたびに、少しずつ省略される。三日前の「三 号機の音がおかしい」は、今日のノートにはもう残っていない 清 三号機が止まってから、三日前に音がしとったと聞かさ れる。よくある話だ ※勾配消失の問題は、1991年にホッホライターが詳しく分析した キヨさん続編10_ニューラルネット編 14
15. 12 消す係・書く係・読む係 Q. キヨさんは違いが分かった？ noul: 0.72 第12章｜LSTM：長く覚えておく工夫（1997年） 長期の台帳（セル） ふつうの申し送りメモとは別に、ずっと引き継ぐ台帳を持つ。台帳は丸ごと書き直さず、要らない分を消して新しい分 を足すだけで引き継ぐので、昔の内容が薄まりにくい 忘れる門 書き込む門 読み出す門 もう要らない記録を、台帳から消す 新しく覚えておくべきことを、台帳に書き足 す 今の判断に必要な部分だけを、台帳から読み 出す 活躍の場 音声認識、機械翻訳（2016年のGoogle翻訳の刷新にも使われた）、手書き文 字の認識、需要予測など 清 三号機の件だけは、赤ペンで台帳に残しておけ、という 相 門を開け閉めする加減も、学習で覚えます ことだな ※LSTM：Hochreiter, Schmidhuber（1997年）。忘れる門は2000年に加わった キヨさん続編10_ニューラルネット編 15
16. 13 先輩たちの今 Q. キヨさんは違いが分かった？ noul: 0.77 第13章｜生成AIの時代に、三人衆はどうなったか 先輩 その後 今の働き場所 オートエンコーダ VAEへ発展し、画像生成AIの下ごしらえ役に 異常検知、Stable Diffusionの中 CNN 画像ではViT（2020年）も台頭。軽くて速く今も現役 外観検査、顔認証、スマホのカメラ RNN・LSTM 文章の主役は、2017年のトランスフォーマーに交代（前々作） 小型機器の音声処理、時系列の予測など ミナミさんの結論 工場の傷探しは、良品の画像で鍛えるオートエンコーダか、傷の画像を集めて CNN。チャットの相談は、相棒に任せる 清 若いのが入っても、ベテランの出番はなくならん。適材 相 先輩方には、頭が上がりません 適所だ ※ViT：Dosovitskiy ほか（2020年）。トランスフォーマー：Vaswani ほか（2017年） キヨさん続編10_ニューラルネット編 16
17. 結 キヨさんの先輩名簿 Q. キヨさんは違いが分かった？ noul: 0.80 まとめ｜三人衆の比較 項目 オートエンコーダ CNN RNN・LSTM 得意なこと 縮めて戻す 画像の模様を見つける 順番のあるデータを読む 仕組み エンコーダとデコーダ 畳み込みとプーリング メモを次へ回す。LSTMは台帳と門 鍛え方 入力そのものが正解 正解ラベル付きの画像が多い 次の語や値を当てる、など 弱点 縮めすぎると戻せない 画像の外の文脈は苦手 遠い昔を忘れやすい キヨさんのたとえ 電報 検査員の虫眼鏡 交代勤務の申し送り 部品はどれも同じ、掛けて足す丸。つなぎ方を変えると、得意な仕事が変わる 清 先輩の名簿ができた。相棒、お前もいずれ誰かの先輩になるんだぞ キヨさん続編10_ニューラルネット編 17
18. 終 挨拶回りを終えて Q. キヨさんは違いが分かった？ noul: 0.84 エピローグ｜金曜の夜、キヨさんの書斎 キヨさんの覚え書き 清 三人とも、昭和の工場におった職人にそっくりだった ハ 電報を打つ人、虫眼鏡の検査員、申し送りの班長 ミ 良品の写真だけで、傷の検出の試作ができました。来週、工場で試します 清 Jev、わしは三人の違いが分かったか？ 虫眼鏡で少しずつ。段を重ねて大きな形へ J noul: 0.84 RNN・LSTM オートエンコーダ 縮めて戻す。戻せないものが「異常」 CNN 申し送りで順番を読む。台帳と門で長く覚える 清 残りの0.16は何だ ハ 畳み込みの計算を、手でやってみないと分からないところ ※登場人物と会話は物語の例です キヨさん続編10_ニューラルネット編 18
19. 完 新しいのが来ても、古いのは消えん。 仕事に合った職人を呼べ。 ―― キヨさん ラストカット：キヨさんの新作「申し送り 三日たったら キヨさん「LSTMなら、ちゃんと台帳に残しとけ」。 おしまい 消えていた」。相棒「名句です！」。
20. 付 付録：ニューラルネットの言葉 キヨさんの用語集｜令和の言葉と、昭和のSEの言葉 言葉 意味 キヨさんの言葉 ニューラルネットワーク 掛けて足す部品（ニューロン）を層に並べた仕組み 部署を並べた会社 ディープラーニング 中間層を何段も深く重ねたニューラルネットワーク 何段もの決裁 アーキテクチャ 層の種類やつなぎ方などの、モデルの設計図 組織図 オートエンコーダ 入力を縮めてから元に戻すよう鍛えるネットワーク 電報 エンコーダ・デコーダ 縮める側と、戻す側 打つ人と読む人 ボトルネック いちばん細く縮めた所。要点が残る 電報の本文 異常検知 良品で鍛え、うまく戻せないものを異常とみなす使い方 ベテランの「なんか変だ」 VAE 縮めた先を、なめらかな地図になるよう鍛えたオートエンコーダ 住宅地図 ImageNet 1400万枚を超える画像を集めた、研究用のデータ集 巨大な写真帳 AlexNet 2012年に画像認識の大会で圧勝したCNN ブームの火付け役 キヨさん続編10_ニューラルネット編 20
21. 付 付録：CNNとRNNの言葉 キヨさんの用語集｜令和の言葉と、昭和のSEの言葉 言葉 意味 キヨさんの言葉 CNN 畳み込みで画像の模様を見つけるネットワーク 虫眼鏡の検査員 畳み込み・フィルタ 小さな窓をずらしながら、模様の一致度を測る処理と、その窓 虫眼鏡 重み共有 同じフィルタを画像全体で使い回すこと 同じ虫眼鏡を使い回す プーリング 画像を縮め、位置のずれに強くする処理 縮小コピー ネオコグニトロン 1979年に福島邦彦が発表した、CNNの原型 昭和生まれの元祖 RNN 前のメモを次へ回しながら、順番に読むネットワーク 交代勤務の申し送り 隠れ状態 RNNが次へ渡すメモ 申し送りノート 勾配消失・勾配爆発 さかのぼるほど勾配が0に近づく、または大きくなりすぎること 伝言の薄まり LSTM 長期の台帳と三つの門で、長く覚えられるRNN（1997年） 台帳と判子係 ViT 画像を小片に分け、トランスフォーマーで扱うモデル（2020年） 新入りの検査員 キヨさん続編10_ニューラルネット編 21