Upgrade to Pro — share decks privately, control downloads, hide ads and more …

AIが生成した画像の品質を測定する方法 / How to measure the qualit...

AIが生成した画像の品質を測定する方法 / How to measure the quality of AI-Generated Images

ここ数年、生成 AIはディープラーニング技術の発展を基盤に高品質のイメージとビデオを生成し、革新的なツールとして浮上しています。 GAN、VAE、Diffusionモデルのような新しいアーキテクチャは、エンターテインメント、広告、科学的シミュレーションなど多様な産業分野で創意的で実質的な応用を可能にしました。 しかし、生成モデルは正解のない結果物を生成するため評価が難しく、これを解決するために多様な評価尺度が研究されています。 このような評価尺度は、インペインティングとブラックボックス最適化による画像生成などで実質的な活用可能性を示しています。
この講義を通じて、生成されたイメージをどのように評価し、使用するか、多くのインスピレーションを得ることを期待します。

More Decks by LINEヤフーTech (LY Corporation Tech)

Other Decks in Technology

Transcript

  1. (JWFO(SPVOE5SVUI (SPVOE 5SVUI 1SFEJDUJPO 3FTVMUT "OHSZ "OHSZ O )BQQZ "OHSZ

    X 5SBEJUJPOBM7JTJPO5BTL *NBHFT(FOFSBUJPO5BTL /P(SPVOE5SVUI #FZPOE1JYFMT $IBMMFOHFTJO&WBMVBUJOH(FOFSBUFE*NBHFT %SBXBNBOIPMEJOHBUFOOJTSBDLFUJOB -*/&4UZMFJMMVTUSBUJPO
  2. • 7JTVBM2VBMJUZ"FTUIFUJDT • 1SPNQU"MJHONFOU • 0SJHJOBMJUZ • 1IPUP3FBMJTN • 5PYJDJUZ'BJSOFTT

    • FUD $SJUFSJPOGPS(FOFSBUFE*NBHF&WBMVBUJPO https://techblog.lycorp.co.jp/ko/how-to-evaluate-ai-generated-images-1
  3. *4 *ODFQUJPO4DPSF '*% 'SÉDIFU*ODFQUJPO%JTUBODF %JTUSJCVUJPO#BTFE"QQSPBDI *OTUBODF#BTFE"QQSPBDI -"*0/BFTUIFUJDTTDPSF $-*1*2" 2"MJHO 7JTVBM2VBMJUZ"FTUIFUJDT

    Distribution of Trained Images Distribution of Generated Images &WBMVBUJPO.PEFM5SBJOJOH6TJOH "FTUIFUJDT%BUBTFUT (FOFSBUFE *NBHF 2VBMJUZ &WBMVBUJPO .PEFM &WBMVBUJPO 3FTVMU https://techblog.lycorp.co.jp/ko/how-to-evaluate-ai-generated-images-1
  4. $-*14DPSF %JSFDU"QQSPBDI 2" RVFTUJPOBOTXFSJOH "QQSPBDI 72" WJTVBMRVFTUJPOBOTXFSJOH  4DPSF 1SPNQU"MJHONFOU

    https://techblog.lycorp.co.jp/ko/how-to-evaluate-ai-generated-images-1 (FOFSBUFE *NBHF *NBHF &NCFEEFS &WBMVBUJPO 3FTVMU 5FYU1SPNQU 5FYU &NCFEEFS Prompt : "Does this figure show {Gen. Prompt}?" (FOFSBUFE *NBHF 2"#BTFE &WBMVBUJPO &WBMVBUJPO 3FTVMU
  5. )FFDIBO ,JN *KPJOFE-*/&1MVTJO 8JUIJOUIF UFBN *BN EFWFMPQJOHWBSJPVT"* NPEFMTBOETFSWJDFT BDDPSEJOHUPUIFEJWFSTF OFFETXJUIJOUIFDPNQBOZ

    $VSSFOUMZ *BNWFSZ JOUFSFTUFEJOHFOFSBUJWF"* NPEFMTBOEUIFJSFWBMVBUJPO "QQMJDBUJPOT • #MBDLCPY0QUJNJ[BUJPO • *NBHF5SBOTMBUJPO • *NBHF *OQBJOUJOH
  6. .JOJOH1IBTF &WBMVBUJPO1IBTF 3VCSJD.JOJOHBOE&WBMXJUI7-. 'JOEHPPEDSJUFSJB &WBMVBUFJNBHFXJUIUIFDSJUFSJB 7-. 4FFESVCSJD *NBHF 3FGJOFESVCSJD 7-.

    *NBHF 4DPSF DSJUFSJB7JTVBM$POTJTUFODZ EFTDSJQUJPO%FUFSNJOFIPXXFMMUIFWJTVBMTUZMF BOEMBZPVUBSFQSFTFSWFEEVSJOHUSBOTMBUJPO  NBJOUBJOJOHBDPOTJTUFOUBQQFBSBODFXJUIUIF PSJHJOBM TDPSJOH\ 7JTVBMTUZMFBOEMBZPVUBSFQFSGFDUMZʜ DSJUFSJB\ EFTDSJQUJPO5IFUSBOTMBUFEJNBHFTIPVMECF TJNJMBSUPUIFSFGFSFODFJNBHFJOUFSNTPGUFYUCMPDL QPTJUJPO TDPSF\ 5IFUSBOTMBUFEJNBHFJTOPUTJNJMBSUPUIF SFGFSFODFJNBHFJOUFSNTPGUFYUCMPDLQPTJUJPO ʜ 7JTVBM$POTJTUFODZz ʜ 1SPNFUIFVT7JTJPO
  7. 1JQFMJOF *OTUBODF 4FHNFOUBUJPO 0SJHJOBM*NH *OQBJOUJOH "SFB4FMFDUJPO *OQBJOUJOH 0VUQVU*NH 4BMJFOU0CKFDU %FUFDUJPO

    *OTUBODF4FHNFOUBUJPO 4BMJFOU0CKFDU%FUFDUJPO *OQBJOUJOH"SFB4FMFDUJPO #BDLHSPVOE1FSTPO3FNPWBM
  8. 4JOHMF*NBHFCBTFE *NBHF2VBMJUZ"TTFTTNFOU  -"*0/BFTUIFUJDT TDPSFW  $-*1*2" """*  

    2"MJHO *$.-  %JTUSJCVUJPO#BTFE *NBHF2VBMJUZ"TTFTTNFOU  '*% /FVS*14   '%%JOP /FVS*14   $..% $713  *NBHF2VBMJUZ"TTFTTNFOU XJUI1SPNU "MJHONFOU  *NBHF3FXBSE /FVS*14   )14W "SYJW   1JDL4DPSF /FVS*14  &WBMVBUJPO.FUSJDT https://techblog.lycorp.co.jp/ko/how-to-evaluate-ai-generated-images-3-inpainting
  9. &WBMVBUJPO.PEFM  -B.B 8"$7  ."5 $713  $PPSE'*-- """*

     4$"5 """*  )*/5 5..  .Y5 #.7$  165 51".*  -BUFOU$PEFTGPS1MVSBMJTUJD *NBHF*OQBJOUJOH $713  '-69'JMMEFW "SYJW  &WBMVBUJPO%BUBTFU  1MBDFT4UBOEBSE WBMJEBUJPOEBUBTFU  JNBHFT  $IBMMFOHJOHDBTFPG CBDLHSPVOEQFSTPO SFNPWBMEBUBTFU JNBHFT &WBMVBUJPO.PEFMBOE%BUBTFUT https://techblog.lycorp.co.jp/ko/how-to-evaluate-ai-generated-images-3-inpainting
  10.  $..%  -"*0/BFTUIFUJDTTDPSFW  '*%  2"MJHO  1JDL4DPSF

     '%%JOP  *NBHF3FXBSE  )14W  $-*1*2" &WBMVBUJPO3FTVMU 1MBDFT4UBOEBSEWBMJEBUJPOEBUBTFU 1FBSTPO$PSSFMBUJPO$PFGGJDJFOUXJUI )VNBO&WBMVBUJPO
  11.  -"*0/BFTUIFUJDTTDPSFW  2"MJHO  )14W  1JDL4DPSF  *NBHF3FXBSE

     $-*1*2" &WBMVBUJPO3FTVMU $IBMMFOHJOHDBTFPGCBDLHSPVOEQFSTPOSFNPWBMEBUBTFU 1FBSTPO$PSSFMBUJPO$PFGGJDJFOUXJUI )VNBO&WBMVBUJPO
  12. • 5FDI#MPH • IUUQTUFDICMPHMZDPSQDPKQFOIPXUPFWBMVBUFBJHFOFSBUFEJNBHFT • &/3FMFBTFE +13FMFBTF • IUUQTUFDICMPHMZDPSQDPKQFOIPXUPFWBMVBUFBJHFOFSBUFEJNBHFTCMBDLCPY PQUJNJ[BUJPO

    • &/3FMFBTFE +13FMFBTF • IUUQTUFDICMPHMZDPSQDPKQFOIPXUPFWBMVBUFBJHFOFSBUFEJNBHFTJOQBJOUJOH • &/3FMFBTFE +13FMFBTF 3FGFSFODF