AIに文章と絵を書かせる​

2019年3月に発表した資料
AIに文章と絵を自動生成させるお話とアルゴリズムについてのお話
技術的にはGAN、PGGAN、LSTMを使用している

Transcript

1. AIに文章と絵を書かせる @lockdef 茨城高専
2. プロフィール 名前 所属 茨城高専/国際創造工学科/ 情報系/グローバル系 年齢 16歳 Twitter ID @lockdef 2021/2/3 ＠lockdef 2
3. プロフィール エディタ Vim / Sublime 言語 Python 趣味 深層学習 / Web系 / Twitter 部活 ロボット部 / 文芸部 /漫画研究同好会 2021/2/3 ＠lockdef 3
4. はじめに エンジニアに必要な素質に「怠け者」が あることをご存知ですか？ 2021/2/3 ＠lockdef 4
5. Google検索 2021/2/3 ＠lockdef 5
6. 最適解 「人間」を代替可能な「AI」を作る 2021/2/3 ＠lockdef 6
7. 文芸部 現実 理想 2021/2/3 ＠lockdef 7
8. 漫画研究同好会 現実 理想 2021/2/3 ＠lockdef 8
9. 最適解（再掲） 「人間」を代替可能な「AI」を作る 2021/2/3 ＠lockdef 9
10. 求められるもの 質の良い大量のデータ 深層学習を実装する技術 2021/2/3 ＠lockdef 10
11. 質の良い大量のデータ •HTML, CSS, Javascript スクレイピング •Mecab 自然言語処理 •OpenCV 画像処理 2021/2/3 ＠lockdef 11
12. 深層学習を実装する技術 • 線形代数、微分積分、確率・統計 数学 • TensorFlow, Numpy テンソル操作 • CNN, RNN, GAN 深層学習 2021/2/3 ＠lockdef 12
13. 使用する手法 LSTM GAN 2021/2/3 ＠lockdef 13
14. LSTM（Long Short-Term Memory） RNN（Recurrent Neural Network）の改良 • 過去を忘却することで 勾配消失を改善 RNNとは • 従来のニューラルネッ トワークでは不可能 だった時系列データの 扱いを可能にする手法 2021/2/3 ＠lockdef 14
15. LSTM 2021/2/3 ＠lockdef 15 私 は 幸せ 私 こんにちは 0.725 0.242 0.029 AI が予測 「幸せ」の予測が0.725 で、「私は幸せ」とい う文になる。 二つ前 一つ前
16. GAN（Generative Adversarial Network） 偽造者と警察 • 偽造者はリアルな生 成を、警察はリアル の判断をする 二人は競い合う • 偽造者と警察は学習 を繰り返し互いの精 度を向上させる 2021/2/3 ＠lockdef 16
17. GAN 2021/2/3 ＠lockdef 17 Generator 生成 美少女 Discriminator 本物 美少女 判定結果
18. 生成系の使い道 文章生成、画像生成はどのようなタスクを解決するのか 2021/2/3 ＠lockdef 18
19. 文章生成 高い精度を持った文章生成は、ユーザーの考える時間を削減しま す。 自己PRや会社概要の文章をAIが考えます。 2021/2/3 ＠lockdef 19
20. 画像生成 高い精度を持った画像生成は、クリエイターに多くの表現を可能 にします。 キャラクターの顔、りんご等のオブジェクト、などの素材をAIが 作り出します。 2021/2/3 ＠lockdef 20
21. 流れ スクレイピ ング 前処理 モデル構築 AI学習 2021/2/3 ＠lockdef 21
22. 用意したデータ セット １０万枚の美少女画像より抽出した １万枚の顔画像 2 2 2/3/2021 ＠lockdef
23. 結果 美少女 2021/2/3 ＠lockdef 23 文章
24. 失敗 文章の精度も満足出来るものではありませんが、美少女は明らか に失敗しています。 今回の 32x32 は美少女を描写する表現力を持ちませんでした。 2021/2/3 ＠lockdef 24
25. PGGAN NVIDIA社考案のPGGANを用いて美少女を表現に挑戦します 2021/2/3 ＠lockdef 25
26. 結果（美少女） 2021/2/3 ＠lockdef 26
27. 成功 画質の向上により美少女の表現に成功しました。 NVIDIA社は偉大です。 2021/2/3 ＠lockdef 27
28. AI技術の最先端 生成系の最先端技術を紹介します。 生成系には今回出てこなかった「音源生成」なども含まれます。 (代表的な音源生成モデル) ・Google社考案のWavenet Wavenetはこれまで扱いにくかった音声データの扱いを可 能にしました。 2021/2/3 ＠lockdef 28
29. LSTM（RNN）とGAN 今回のようにLSTMで作成した文章＋GANで高精度なGenerator の作成をします。 2021/2/3 ＠lockdef 29
30. Picture to Picture 画像データを入力としたGANモデルです。絵から写真、写真か ら絵などの変換を可能にします。 2021/2/3 ＠lockdef 30
31. ご清聴ありがとうございました ＠lockdef 31