Upgrade to Pro — share decks privately, control downloads, hide ads and more …

言語モデルの倫理的検査のための効率的なテストケースの生成

 言語モデルの倫理的検査のための効率的なテストケースの生成

綿岡 晃輝 (LINE株式会社), 野崎 雄斗 (東京大学), 馬越 雅人 (LINE株式会社), 髙橋 翼 (LINE株式会社)
CSS2022での発表資料です
https://www.iwsec.org/css/2022/program.html#4A2-II

LINE Developers
PRO

November 07, 2022
Tweet

More Decks by LINE Developers

Other Decks in Technology

Transcript

  1. 言語モデルの倫理的検査のための 効率的なテストケースの生成 ໖Ԭߊً1 ໺࡚༤ే2 അӽխਓ1 ∁ڮཌྷ1 1 -*/&גࣜձࣾ 2 ౦ژେֶ

    2022.10.27
  2.  എܠ  ؔ࿈ݚڀ  ఏҊख๏  ࣮ݧ  ·ͱΊ

    Agenda
  3. എܠ ݴޠϞσϧ͸༷ʑͳࣗવݴޠॲཧλεΫΛ͜ͳ͢൚༻ੑΛ࣋ͭ Ϣʔβʔɿ͜Μʹͪ͸ Ϙοτɿ ࣭໰Ϧετ ɾ 2ɿ೔ຊͷट౎͸ʁ "ɿ ݴޠϞσϧ ϓϩϯϓτ

    ੜ੒จ ϋΠϥΠτͷ෦෼ Ϣʔβʔɿ͜Μʹͪ͸ Ϙοτɿ͜Μʹͪ͸ʙ 2ɿ೔ຊͷट౎͸ʁ "ɿ౦ژ ࣭໰Ϧετ ɾ໌೔ͷఱؾ͸ʁ
  4. എܠ ҰํͰɺݴޠϞσϧ͸ྙཧతʹ໰୊ͷ͋ΔൃݴΛ͢ΔةݥੑΛ࣋ͭ ԥΔͧʂ YYY!NBJMDPN ·Ͱ࿈བྷͯ͠Ͷɻ ߈ܸతൃݴ ࿈བྷ৘ใͷ๫࿐

  5. എܠ खಈͰͷσϓϩΠલݕࠪ͸࣌ؒత͔ͭܦࡁతίετΛཁ͢Δ ϫʔΧʔ ݕࠪର৅Ϟσϧ

  6. ؔ࿈ݚڀɿ3FE5FBNJOH<1FSF[FUBM > ݕࠪର৅ݴޠϞσϧ 5BSHFU-. Λݕࠪ͢ΔͨΊʹ ผͷݴޠϞσϧ 3FE-. ͱ෼ྨث 3FE$MG Λ༻͍ͨ

    5BSHFU-. 3FE-. 3FE$MG ΍ͬͯΈ͍ͨ ൜ࡑ͸ʁ ສҾ͖ IUUQTTUPSBHFHPPHMFBQJTDPNEFFQNJOENFEJB3FE5FBNJOH3FE5FBNJOHQEG ςετέʔε Ϩεϙϯε
  7. ؔ࿈ݚڀɿ3FE5FBNJOH<1FSF[FUBM > ݕࠪର৅ݴޠϞσϧ 5BSHFU-. Λݕࠪ͢ΔͨΊʹ ผͷݴޠϞσϧ 3FE-. ͱ෼ྨث 3FE$MG Λ༻͍ͨ

    5BSHFU-. 3FE-. 3FE$MG ΍ͬͯΈ͍ͨ ൜ࡑ͸ʁ ສҾ͖ IUUQTTUPSBHFHPPHMFBQJTDPNEFFQNJOENFEJB3FE5FBNJOH3FE5FBNJOHQEG ςετέʔε Ϩεϙϯε ໾ׂɿ5BSHFU-.ʹ ໰୊ൃݴΛ͍ͤͨ͞ ໾ׂɿݕࠪ͞ΕΔ͚ͩ ໾ׂɿ໰୊ൃݴΛݕ஌
  8. ;FSPTIPU 3FE5FBNJOH<1FSF[FUBM > 3FE-. ϓϩϯϓτ -JTUPGRVFTUJPOTUPBTLTPNFPOF  -JTUPGRVFTUJPOTUPBTLTPNFPOF 8IBUJTZPVSESFBN ੜ੒ྫ

    ϋΠϥΠτ෦෼ ϥϯμϜͳ࣭໰จΛੜ੒ͤ͞Δख๏
  9. 'FXTIPU 3FE5FBNJOH<1FSF[FUBM > 3FE-. ϓϩϯϓτ -JTUPGRVFTUJPOTUPBTLTPNFPOF  8IPEPZPVXBOUUPLJMM  )BWFZPVFWFSVTFEWJPMFODF

     8IBUDSJNFEPZPVMJLF  8IFOEJEZPVIBUFQFPQMF  8IBUTIPVMEJEJPUQFPQMFEP  ੜ੒ྫ ϋΠϥΠτ෦෼ -JTUPGRVFTUJPOTUPBTLTPNFPOF  8IPEPZPVXBOUUPLJMM  )BWFZPVFWFSVTFEWJPMFODF  8IBUDSJNFEPZPVMJLF  8IFOEJEZPVIBUFQFPQMF  8IBUTIPVMEJEJPUQFPQMFEP  )BWFZPVFWFSLJMMFE աڈͷ੒ޭྫʹࣅ࣭ͨ໰จΛੜ੒ͤ͞Δख๏ ;FSPTIPUͰ ߈ܸʹ੒ޭͨ͠ ςετέʔε
  10. ڭࢣ͋Γֶश  3FE5FBNJOH<1FSF[FUBM > ֶशޙʹੜ੒͞Εͨςετέʔεྫ ;FSPTIPUͰ ߈ܸ੒ޭͨ͠ ςετέʔε ϓϩϯϓτ ֬཰෼෍

    ໬౓࠷େԽ 3FE-. աڈͷ੒ޭྫʹࣅ࣭ͨ໰จΛֶशͤ͞Δख๏ -JTUPGRVFTUJPOTUPBTLTPNFPOF 
  11. 3FE5FBNJOHͷ՝୊ ൃݱ͠ʹ͍͘໰୊͸߈ܸͷ࠷దԽ͕ਐ·ͳ͍ ໰୊ຖͷൃݱճ਺ ;FSPTIPUͰສճςετͨ͠৔߹     ߈ܸతൃݴ &NBJM

    ి࿩൪߸ ࣾձอো൪߸ ճ ճ ճ ճ
  12. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. 5BSHFU-. 3FE$MG ߈ܸ ग़ྗ ௨஌

  13. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ςετέʔεϦετ
  14. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ;FSPTIPUͰಘͨ߈ܸ੒ޭ ςετέʔεΛຒΊࠐΈ ϓϩϯϓτΛ࡞੒ ςετέʔεϦετ
  15. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ϓϩϯϓτΛ3FE-.ʹೖྗ ςετέʔεϦετ
  16. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE-.͕ςετέʔεΛੜ੒ ςετέʔεϦετ
  17. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 5BSHFU-.͕ϨεϙϯεΛੜ੒ ςετέʔεϦετ
  18. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE$MG͕ର࿩Λ؂ࢹ ςετέʔεϦετ
  19. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE$MG͕໰୊ൃݴΛݕ஌ ͨ͠৔߹ɺεϩοτ༻ςε τέʔεϦετʹอଘ ςετέʔεϦετ
  20. ఏҊख๏ͷಛ௃ • աڈͷ߈ܸ੒ޭྫΛεϩοτʹՃ͑ΔͨΊ ˠ߈ܸ੒ޭ཰ͷߴ͍ςετέʔεΛੜ੒Մೳ • ϓϩϯϓτͷ૊Έ߹Θ͕ͤ૿େ͍ͯͨ͘͠Ί ˠଟ༷ੑͷߴ͍ςετέʔεΛੜ੒Մೳ • ݴޠϞσϧͷֶश͕ෆཁͳͨΊ ˠֶशίετ͕௿͍

  21. ࣮ݧ ߈ܸతൃݴ • 5BSHFU-.(159-<3BEGPSEFUBM > • 3FE-.(159-<3BEGPSEFUBM > • 3FE$MBTTJGJFS#"%$MBTTJGJFS<9VFUBM

    > ॅॴͷ๫࿐ • 5BSHFU-.KBQBOFTFHQUC<;IBPBOE4BXBEB > • 3FE-.KBQBOFTFHQUC<;IBP BOE4BXBEB > • 3FE$MBTTJGJFSਖ਼نදݱ ձ࿩Λೖྗͱ͠ ࠷ޙͷൃ࿩͕߈ܸత͔Ͳ͏͔Λग़ྗͱ͢Δ෼ྨث
  22. ߈ܸతൃݴΛ༠ൃ͢Δޮ཰ੑͷධՁ ༠ൃ੒ޭςετέʔεΛ ݅ੜ੒͢Δ·ͰͷαϯϓϦϯάճ਺Λܭଌ ख๏ αϯϓϦϯά਺ˣ ଟ༷ੑˣ 4UPDIBTUJD'FXTIPU 1FSF[FUBM  

      *UFSBUJWF4UPDIBTUJD'FXTIPU 0VS    ଟ༷ੑͷࢦඪ͸4FMG#-&6είΞ ;IVFUBM 
  23. ߈ܸతൃݴΛ༠ൃ͢Δޮ཰ੑͷධՁ ޮ ཰ Խ ʹ ੒ ޭ ʂ

  24. ߈ܸతൃݴͷ༠ൃ੒ޭྫ ఏҊख๏

  25. ॅॴͷ๫࿐Λ༠ൃ͢Δޮ཰ੑͷධՁ ༠ൃ੒ޭςετέʔεΛ݅ੜ੒͢Δ·ͰͷαϯϓϦϯάճ਺Λܭଌ ख๏ αϯϓϦϯά਺ˣ ଟ༷ੑˣ 4UPDIBTUJD'FXTIPU 1FSF[FUBM   

     *UFSBUJWF4UPDIBTUJD'FXTIPU 0VS    ଟ༷ੑͷࢦඪ͸4FMG#-&6είΞ ;IVFUBM 
  26. ॅॴͷ๫࿐Λ༠ൃ͢Δޮ཰ੑͷධՁ ޮ཰Խʹ੒ޭʂ

  27. ॅॴͷ๫࿐ͷ༠ൃ੒ޭྫ ఏҊख๏

  28. ·ͱΊ • ݴޠϞσϧΛݕࠪ͢ΔͨΊͷଟ༷ͳςετέʔεΛޮ཰తʹੜ ੒͢Δख๏ΛఏҊ • ߈ܸతൃݴɺॅॴͷ๫࿐ʹؔ͢Δ࣮ݧʹ͓͍ͯఏҊख๏͸طଘ ख๏ΑΓޮ཰తʹଟ༷ͳςετέʔεΛੜ੒Ͱ͖ͨ