DIC_個人プロジェクト_中間発表

Transcript

1. Interim Report Graduation Work S.IKEDA 2020/10/23
2. Contents I. Introduction II. Theme setting III. Related work IV. Data Set V. Preprocessing VI. Model Building VII. Result VIII.Conclusion and Future work 2
3. Contents I. Introduction II. Theme setting III. Related work IV. Data Set V. Preprocessing VI. Model Building VII. Result VIII.Conclusion and Future work 3
4. Introduction 名前 池⽥ 怜（Satoshi IKEDA） Birth Ø 1988年 Ø 千葉県出身 Ø 男3兄弟の 次男 School days Ø サッカー、 漫画、ゲー ムに明け暮 れる Ø Livepool F.C. のファン University Ø 慶應義塾大 学商学部 Ø 学園祭実行 員会で運営 責任者 Ø めちゃくち ゃ本を読ん で時期 Employment Ø 建築設計会 社に入社 Ø 教育事業に 配属され、 小中学生向 けの塾講師 となる Consultant Ø 成長が厳し いと感じ転 身 Ø 上場企業を 中心に購買 に関するコ ンサルに従 事 DIVE INTO CODE Ø コンサルファームを退 職 Ø 従来から興味のあった 、機械学習を生業にし たいと思い入校 Ø 現在に至る 最終発表までに編集
5. Contents I. Introduction II. Theme setting III. Related work IV. Data Set V. Preprocessing VI. Model Building VII. Result VIII.Conclusion and Future work 5
6. Before deciding on a theme • 機械学習を学び始めた動機 「楽しいことがやりたい」 • 楽しいことって︖ ⼦供の頃ってスカウター作りたいとか⾔っていたな… 童⼼へ帰る!! 最終発表までに編集 Introのページ抜粋？
7. アニメーションの世界へ • ⼦供の頃、こんなこと思ったことを思っていたことが、、 • かめはめはをうってみたい
8. ドラゴンボールの世界へ • ⼦供の頃、当然かめはめはをうつことはできなかったが、 • 機械学習の⽣成モデルを使⽤して、⾃分をドラゴンボールの世界観へ活か せうrことはできるのでは︖ • 機械学習の⽣成モデルの１種、GAN(Generative Adversarial Networks) を利⽤して、⾃分を孫悟空へ変えてみよう︕︕
9. Contents I. Introduction II. Theme setting III. Related work IV. Data Set V. Preprocessing VI. Model Building VII. Result VIII.Conclusion and Future work 9
10. Related Work • 写真をアニメ画像に⽣成するアプリ等は多数存在する • だが、特定の世界観にフォーカスしたものはない Googleplay Anime Face Changer - Cartoon Photo Editor ディズニーアニメ風に変換できるサービスはあった Tommy Yourself(https://toonify.justinpinkney.com/)
11. Few-shot Knowledge Transfer for Fine-grained Cartoon Face Generation • Stage1 • アニメ画像を⽣成 Stage 2 元の画像との比較 • リアル画像とアニメ画像がペアである 必要はない • どれかのカテゴリで200枚のアニメ画 像で生成可能（左の論文では女性を 200枚、その他を50枚ずつ使用）
12. Contents I. Introduction II. Theme setting III. Related work IV. Data Set V. Preprocessing VI. Model Building VII. Result VIII.Conclusion and Future work 12
13. 著作権法 文部科学省Webサイトより 著作権法に抵触する可能性も考えられ、 特定のアニメーション画像の収集が困難
14. 対応策 Ø 著作権フリーの画像を使⽤して作成することは できる Ø 候補作︓ブラックジャックによろしく Ø 著者︓佐藤秀峰 Ø 1998年「週刊ヤングサンデー」（小学館）に掲載の『おめ でとォ!』でデビュー。 Ø 代表作『「海猿」「ブラックジャックによろしく」「特攻の島」 Ø 2002年、「ブラックジャックによろしく」で第6回文化庁メ ディア芸術祭漫画部門優秀賞受賞。 Ø 2004年、「ブラックジャックによろしく」で第33回日本漫画 家協会賞大賞受賞。 Ø 2012年9月「ブラックジャックによろしく」の二次利用フリー 化(https://note.com/shuho_sato/n/na1c3e7c1aa60)
15. データセット Ø Generator⽤の画像 : Ø アジア系男性の顔写真2000 枚 (https://github.com/HCIILAB/ SCUT-FBP5500-Database- Release) Ø Descriminator⽤の画像 Ø （有）佐藤漫画製作所HPか ら全13巻分の漫画データを PDFで取得（ https://densho810.com/free/ ） Ø 主人公の顔をトリミングし て、.pngファイルへ変換（1 〜2巻で66枚取得） モザイクアートを作成するプログラムも作ってみた 同じ写真を複数ピクセルで使⽤できているので、全部の写真を網羅できていない
16. Contents I. Introduction II. Theme setting III. Related work IV. Data Set V. Preprocessing VI. Model Building VII. Result VIII.Conclusion and Future work 16
17. 前処理 Ø Generator⽤の画像は顔写真をcropし、背景を消去 Ø Descriminator⽤の画像は、⼿作業で顔部分の画像を抽出したのみ
18. Contents I. Introduction II. Theme setting III. Related work IV. Data Set V. Preprocessing VI. Model Building VII. Result VIII.Conclusion and Future work 18
19. モデル構築 Ø 現状は先⾏事例のGithubのコード をそのまま動かしている状況 Ø パラメータは初期値のまま（ epochは100万回） Ø そもそもGANの仕組みを理解でき いない Ø 卒業発表までのモデル理解、微調 整、修正を⾏う
20. Environment Ø Googleのcolab pro のGPU環境で実⾏ Ø 1epoch実⾏するのに約2秒かかる Ø Defaultの100万回のepochを回すのに、約23⽇かかる計算、、
21. Contents I. Introduction II. Theme setting III. Related work IV. Data Set V. Preprocessing VI. Model Building VII.Result VIII.Conclusion and Future work 21
22. 損失推移 Ø 45000epochで⼀旦ストップさせた（約20時間ほど） Ø Generator, Descriminatorともに学習状況が安定していない状況 Ø 論⽂を読む限り、他の部分でもlossを計算している︖ がよくわかっていな い、、、
23. Epoch1000の⽣成結果 Ø アニメ画像は⽣成できているが、漫画の特徴を捉えているとは⾔い難い
24. Epoch45000の⽣成結果 Ø ケルベロス的︖な画像っぽくなっているので、少しは学習が進んでいる︖ Ø アニメ→リアルではリアルっぽい顔が⽣成されるようになってきている
25. Contents I. Introduction II. Theme setting III. Related work IV. Data Set V. Preprocessing VI. Model Building VII. Result VIII.Conclusion and Future work 25
26. 今後の課題 • モデルを動かすところまではできたので、何かしらのoutputはできる状況だが、以下事項が課題として考えられる • 優先度が⾼い項⽬から進めていく Contents Current Solution Workload Priority Data Set • 13巻中、2巻分からデータ抽出。 • それぞれの画像間に粗がある • 画像数が⾜りているかわかっていない • 続きを実⾏ Heavy middle Preproces sing • アニメ画像の前処理⽅法未着⼿。 • リアル写真と同様のプログラムで処理を⾏うと正 しく表⽰されないケースが散⾒。 • 何かしらのソフト︖⼿作業で⾏っていくか︖ • 前処理⽅法を調査 • そもそもデータセット収集段階で粗 の低い画像を取集することも視野 ? middle Model Building • そもそもGANがよくわかっていない • Sprint27着⼿ Ø VanillaGANをスクラッチ、 500,000epochでMNIST⽣成を試み たが失敗、epoch数必要︖ middle High • Modelが理解できていないため、改善点が不明確 • 論⽂、コードのリーディング middle High • Default設定で⾏うと、マシンパワーが必要とな るためAWS等での環境構築が不可⽋ • クラウドでの環境構築 Heavy ? Others • モザイクアートで全ての画像を表⽰できていない • 画像を選択するアルゴリズムの変更 middle low • 最終報告⽤のパワーポイント作成 • この資料を⾻⼦とする middle Last