DIC_個人プロジェクト_卒業発表

Transcript

1. Graduation Work Report S.IKEDA 2020/10/31
2. Contents I. Introduction II. Theme setting III. Related work IV. Model Building V. DataSet / Preprocessing VI. Experiment VII. Conclusion and Future work VIII.Acknowledgements 2
3. Contents I. Introduction II. Theme setting III. Related work IV. Model Building V. DataSet / Preprocessing VI. Experiment VII. Conclusion and Future work VIII.Acknowledgements 3
4. 名前 : 池⽥ 怜（Satoshi IKEDA） Birth Ø 千葉県出⾝ Ø 32才 School days Ø サッカー Ø 漫画、ゲーム University Ø 慶應⼤学商学部 Ø 学園祭実⾏委員会 Ø 年200冊読書 Employment Ø 建築設計会社⼊社 Ø 教育事業で塾講師 Consultant Ø コンサルタントに転⾝ Ø 間接部⾨の業務コンサル Ø 間接購買が専⾨ DIVE INTO CODE Ø AI, 機械学習で実現できることは︖ Ø ⾃分が楽しいと思えることがしたい Ø 柔軟な働き⽅ 4
5. Contents I. Introduction II. Theme setting III. Related work IV. Model Building V. DataSet / Preprocessing VI. Experiment VII. Conclusion and Future work VIII.Acknowledgements 5
6. • ⼦供の頃、こんなこと思ったことを思っていたことが、、 • かめはめはをうってみたい 機械学習で⾯⽩いことができないか︖ 6
7. テーマ • 機械学習のモデルを使って、アニメーションの世界観に⼊ることはできな いか︖ Ø GAN(Generative Adversarial Networks)の⽣成モ デルを活⽤して、実写真をアニメーション世界へ変換す る︕ 1. 単純に⾯⽩そう︕ 2. DICのコースで予測や分類のモデルは多く扱ってきたが、⽣成モ デルはあまり学習していない︕ 7
8. 著作権法 文部科学省Webサイトより 著作権法に抵触する可能性も考えられ、 特定のアニメーションに特化した画像生成は難しい？ 8
9. ブラックジャックの世界へ • ブラックジャックによろしく • 著者︓佐藤秀峰 Ø代表作「海猿」「ブラックジャックによろしく」 「特攻の島」 Ø⼈物の顔⾯筋⾁や⽪膚の弛みなどを詳細に描いてい る Ø2003年、TBSで主演妻夫⽊聡でドラマ放送 Ø2012年9⽉「ブラックジャックによろしく」の⼆ 次利⽤フリー化 (https://note.com/shuho_sato/n/na1c3e7c1aa 60) Wikipediaから作成 9
10. Contents I. Introduction II. Theme setting III. Related work IV. Model Building V. DataSet / Preprocessing VI. Experiment VII. Conclusion and Future work VIII.Acknowledgements 10
11. • 写真をアニメ画像に⽣成するアプリ等は多数存在する • Selfie 2 Waifu : ⽇本在住のCrekeさんというプログラマーが⽴ち上げた https://waifu.lofiu.com/index.html At Anfield, Liverpool At Home アニメ画像の⽣成 11
12. • 限定されたアニメーションの世界観にフォーカスした画像⽣成モデルはな いと思ったが、、 • ピクサー（ディズニー）⾵の画像⽣成アプリケーションが公開されている • Toonify API : https://justinpinkney.github.io/toonify-api-docs/ • Resolution Dependant GAN Interpolation for Controllable Image Synthesis Between Domains", Pinkney, Justin. and Adler, Doner.(2020) : https://arxiv.org/abs/2010.05334 At Anfield, Liverpool At Home 特定のアニメーションにフォーカス 12
13. Contents I. Introduction II. Theme setting III. Related work IV. Model Building V. DataSet / Preprocessing VI. Experiment VII. Conclusion and Future work VIII.Acknowledgements 13
14. ベースラインの構築 A : リアルの顔写真 B : アニメの画像 Ø CycleGanがベース Ø A2BのGenerator⽣成が⽬的 Ø B2AのGeneratorとの循環によ る⼀貫性を持たせることで学習を 進めていく Few-shot Knowledge Transfer for Fine-grained Cartoon Face Generation https://arxiv.org/abs/2007.13332 14
15. モデルの全体像 • ベースモデルで学習した重みを共有し、他のキャラクターへ転移学習を⾏う ※ 現時点ではベースラインのみの学習を⾏っている Few-shot Knowledge Transfer for Fine-grained Cartoon Face Generation https://arxiv.org/abs/2007.13332 FC Auxiliary classifier ߟௌ CAM attention GroupŞsharedParameters GroupŞspecific Parameters Auxiliary classifier ߟ஽೟ Real / Fake Group classification Generator Discriminator Feature map Conv/FC layers FC CAM attention Figure 3. The whole pipeline. The grey part of the generator represents group-shared parameters. The blue, green, yellow, red ones represent group-specific parameters for young women, young men, kids and the elderly separately. All these parameters are initialized 15
16. Contents I. Introduction II. Theme setting III. Related work IV. Model Building V. DataSet / Preprocessing VI. Result VII. Conclusion and Future work VIII.Acknowledgements 16
17. データセット • A – : アジア系男性の顔写真2000枚 https://github.com/HCIILAB/SCUT-FBP5500-Database-Release • B – :（有）佐藤漫画製作所HPから「ブラックジャックによろしく」全13巻分 の漫画データをPDFで取得 – 主⼈公の斎藤英⼆郎の顔画像を収集 https://densho810.com/free/ 17
18. 前処理 Ø 顔部分をcropし、背景をトリミング 18
19. ※モザイクアートのプログラムを作ってみた ⼊⼒データA : 顔写真2,000枚 ⼊⼒データB : アニメーション画像200枚 19
20. Contents I. Introduction II. Theme setting III. Related work IV. Model Building V. DataSet / Preprocessing VI. Experiment VII. Conclusion and Future work VIII.Acknowledgements 20
21. 実⾏環境 Ø Googleのcolab pro のGPU環境で実⾏ Ø 1epoch実⾏するのに約1.5秒かかる Ø Defaultのepoch数は100万回に設定 Ø約14⽇かかる計算、、 Ø AWSやGCP等のクラウド環境を構築する時間がなく、上記環境で実⾏ 21
22. 損失推移 Ø 約2⽇間、2sessionにて、10万回超の学習した 拡⼤ 22
23. 損失推移 Ø 徐々に損失が低下している様⼦ 23
24. A2B epoch 1,000 Ø 単純にモノクロ化したような画像 24
25. A2B epoch 50,000 Ø 徐々に主⼈公の顔の特徴を捉え出している様⼦ 25
26. A2B epoch 100,000 Ø 主⼈公の顔に近づきすぎて、逆に⾃分⾃⾝の顔の特徴がなくなってしまっているもの も 26
27. B2A epoch 1,000 Ø 単純にカラー化したような画像 27
28. B2A epoch 50,000 Ø うまく顔の形を⽣成できていないものがある 28
29. B2A epoch 100,000 Ø 顔の形らしくなってはきている 29
30. • デッサン⾵の画像になってしまった、、 • 未学習のデータに対する再現性がまだまだ⾜りていない At Anfield, Liverpool At Home ⾃分の写真で⽣成してみる 30
31. Contents I. Introduction II. Theme setting III. Related work IV. Model Building V. DataSet / Preprocessing VI. Experiment VII.Conclusion and Future work VIII.Acknowledgements 31
32. 結果、考察 1. 初めて GAN を使ってみたが、学習の不安定さ、学習時間が必要であるということを 認識（10万回学習でもまだまだ⾜りていない） 2. ⼊⼒データ間での差が⼤きすぎたため、学習が進まなかったか︖ • モノクロのアニメ画像、フルカラーの写真等、解像度等も異なる 3. 前処理を適切に⾏うことが重要であると感じた • セリフの枠がかかっている画像は使わない、背⾯をトリミングする等 • 濃淡が異なる画像に特に処理を⾏なっていないため、⽣成される画像に差が出 てしまった 32
33. 今後取り組みたいこと 1. クラウドでの環境構築 – 複数GPUで学習時間の短縮化 2. ベースラインの重みを転⽤し、⾊々なキャラクター、表情等を⽣成できるGeneratorを 転移学習で作成（モデル全体像のイメージ） • 以下のような画像を学習させないとアニメーションの世界観を描けない 3. 上記うまくいけば、web上で公開できたら 33
34. Contents I. Introduction II. Theme setting III. Related work IV. Model Building V. DataSet / Preprocessing VI. Experiment VII. Conclusion and Future work VIII.Acknowledgements 34
35. ごめんなさい 顔が検出できません でした • 同期のみなさん、4ヶ⽉間ありがとうございました︕︕ Mr. Sugiyama Mr. Nakazono Mr. Obata Mr. Okamoto Mr. Saito Mr. Takahashi Mr. Motoki Mr. Ito Mr. Adachi Mr. Imanishi Mr. Iwahara Mr. Sakuma 35