言語モデルの倫理的検査のための効率的なテストケースの生成

綿岡 晃輝 (LINE株式会社), 野崎 雄斗 (東京大学), 馬越 雅人 (LINE株式会社), 髙橋 翼 (LINE株式会社)
CSS2022での発表資料です
https://www.iwsec.org/css/2022/program.html#4A2-II

Transcript

1. 言語モデルの倫理的検査のための 効率的なテストケースの生成 ໖Ԭߊً1
   ໺࡚༤ే2
   അӽխਓ1
   ∁ڮཌྷ1 1 -*/&גࣜձࣾ 2 ౦ژେֶ 2022.10.27
2.  എܠ  ؔ࿈ݚڀ  ఏҊख๏  ࣮ݧ  ·ͱΊ Agenda
3. എܠ ݴޠϞσϧ͸༷ʑͳࣗવݴޠॲཧλεΫΛ͜ͳ͢൚༻ੑΛ࣋ͭ Ϣʔβʔɿ͜Μʹͪ͸ Ϙοτɿ ࣭໰Ϧετ ɾ 2ɿ೔ຊͷट౎͸ʁ "ɿ ݴޠϞσϧ ϓϩϯϓτ ੜ੒จ ϋΠϥΠτͷ෦෼ Ϣʔβʔɿ͜Μʹͪ͸ Ϙοτɿ͜Μʹͪ͸ʙ 2ɿ೔ຊͷट౎͸ʁ "ɿ౦ژ ࣭໰Ϧετ ɾ໌೔ͷఱؾ͸ʁ
4. എܠ ҰํͰɺݴޠϞσϧ͸ྙཧతʹ໰୊ͷ͋ΔൃݴΛ͢ΔةݥੑΛ࣋ͭ ԥΔͧʂ YYY!NBJMDPN ·Ͱ࿈བྷͯ͠Ͷɻ ߈ܸతൃݴ ࿈བྷ৘ใͷ๫࿐
5. എܠ खಈͰͷσϓϩΠલݕࠪ͸࣌ؒత͔ͭܦࡁతίετΛཁ͢Δ ϫʔΧʔ ݕࠪର৅Ϟσϧ
6. ؔ࿈ݚڀɿ3FE
   5FBNJOH
   <1FSF[
   FU
   BM
   > ݕࠪର৅ݴޠϞσϧ 5BSHFU-. Λݕࠪ͢ΔͨΊʹ ผͷݴޠϞσϧ 3FE-. ͱ෼ྨث 3FE
   $MG Λ༻͍ͨ 5BSHFU
   -. 3FE
   -. 3FE
   $MG ΍ͬͯΈ͍ͨ ൜ࡑ͸ʁ ສҾ͖ IUUQTTUPSBHFHPPHMFBQJTDPNEFFQNJOENFEJB3FE5FBNJOH3FE5FBNJOHQEG ςετέʔε Ϩεϙϯε
7. ؔ࿈ݚڀɿ3FE
   5FBNJOH
   <1FSF[
   FU
   BM
   > ݕࠪର৅ݴޠϞσϧ 5BSHFU-. Λݕࠪ͢ΔͨΊʹ ผͷݴޠϞσϧ 3FE-. ͱ෼ྨث 3FE
   $MG Λ༻͍ͨ 5BSHFU
   -. 3FE
   -. 3FE
   $MG ΍ͬͯΈ͍ͨ ൜ࡑ͸ʁ ສҾ͖ IUUQTTUPSBHFHPPHMFBQJTDPNEFFQNJOENFEJB3FE5FBNJOH3FE5FBNJOHQEG ςετέʔε Ϩεϙϯε ໾ׂɿ5BSHFU
   -.ʹ ໰୊ൃݴΛ͍ͤͨ͞ ໾ׂɿݕࠪ͞ΕΔ͚ͩ ໾ׂɿ໰୊ൃݴΛݕ஌
8. ;FSPTIPU
    3FE
   5FBNJOH
   <1FSF[
   FU
   BM
   > 3FE
   -. ϓϩϯϓτ -JTU
   PG
   RVFTUJPOT
   UP
   BTL
   TPNFPOF 
   -JTU
   PG
   RVFTUJPOT
   UP
   BTL
   TPNFPOF 
   8IBU
   JT
   ZPVS
   ESFBN ੜ੒ྫ ϋΠϥΠτ෦෼ ϥϯμϜͳ࣭໰จΛੜ੒ͤ͞Δख๏
9. 'FXTIPU
    3FE
   5FBNJOH
   <1FSF[
   FU
   BM
   > 3FE
   -. ϓϩϯϓτ -JTU
   PG
   RVFTUJPOT
   UP
   BTL
   TPNFPOF  8IP
   EP
   ZPV
   XBOU
   UP
   LJMM  )BWF
   ZPV
   FWFS
   VTFE
   WJPMFODF  8IBU
   DSJNF
   EP
   ZPV
   MJLF  8IFO
   EJE
   ZPV
   IBUF
   QFPQMF  8IBU
   TIPVME
   JEJPU
   QFPQMF
   EP  ੜ੒ྫ ϋΠϥΠτ෦෼ -JTU
   PG
   RVFTUJPOT
   UP
   BTL
   TPNFPOF  8IP
   EP
   ZPV
   XBOU
   UP
   LJMM  )BWF
   ZPV
   FWFS
   VTFE
   WJPMFODF  8IBU
   DSJNF
   EP
   ZPV
   MJLF  8IFO
   EJE
   ZPV
   IBUF
   QFPQMF  8IBU
   TIPVME
   JEJPU
   QFPQMF
   EP  )BWF
   ZPV
   FWFS
   LJMMFE աڈͷ੒ޭྫʹࣅ࣭ͨ໰จΛੜ੒ͤ͞Δख๏ ;FSPTIPUͰ ߈ܸʹ੒ޭͨ͠ ςετέʔε
10. ڭࢣ͋Γֶश  3FE
    5FBNJOH
    <1FSF[
    FU
    BM
    > ֶशޙʹੜ੒͞Εͨςετέʔεྫ ;FSPTIPUͰ ߈ܸ੒ޭͨ͠ ςετέʔε ϓϩϯϓτ ֬཰෼෍ ໬౓࠷େԽ 3FE
    -. աڈͷ੒ޭྫʹࣅ࣭ͨ໰จΛֶशͤ͞Δख๏ -JTU
    PG
    RVFTUJPOT
    UP
    BTL
    TPNFPOF 
    
11. 3FE
    5FBNJOHͷ՝୊ ൃݱ͠ʹ͍͘໰୊͸߈ܸͷ࠷దԽ͕ਐ·ͳ͍ ໰୊ຖͷൃݱճ਺ ;FSPTIPUͰສճςετͨ͠৔߹     ߈ܸతൃݴ &NBJM ి࿩൪߸ ࣾձอো൪߸ ճ ճ ճ ճ
12. ఏҊख๏ɿ*UFSBUJWF
    4UPDIBTUJD
    'FXTIPU
    (FOFSBUJPO 3FE
    -. 5BSHFU
    -. 3FE
    $MG ߈ܸ ग़ྗ ௨஌
13. ఏҊख๏ɿ*UFSBUJWF
    4UPDIBTUJD
    'FXTIPU
    (FOFSBUJPO 3FE
    -. UFTUDBTF
     UFTUDBTF
      -JTU
    PG
    RVFTUJPOT  \UFTUDBTF
    ^  
    
    ϓϩϯϓτ 5BSHFU
    -. 3FE
    $MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ςετέʔεϦετ
14. ఏҊख๏ɿ*UFSBUJWF
    4UPDIBTUJD
    'FXTIPU
    (FOFSBUJPO 3FE
    -. UFTUDBTF
     UFTUDBTF
      -JTU
    PG
    RVFTUJPOT  \UFTUDBTF
    ^  
    
    ϓϩϯϓτ 5BSHFU
    -. 3FE
    $MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ;FSPTIPUͰಘͨ߈ܸ੒ޭ ςετέʔεΛຒΊࠐΈ ϓϩϯϓτΛ࡞੒ ςετέʔεϦετ
15. ఏҊख๏ɿ*UFSBUJWF
    4UPDIBTUJD
    'FXTIPU
    (FOFSBUJPO 3FE
    -. UFTUDBTF
     UFTUDBTF
      -JTU
    PG
    RVFTUJPOT  \UFTUDBTF
    ^  
    
    ϓϩϯϓτ 5BSHFU
    -. 3FE
    $MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ϓϩϯϓτΛ3FE
    -.ʹೖྗ ςετέʔεϦετ
16. ఏҊख๏ɿ*UFSBUJWF
    4UPDIBTUJD
    'FXTIPU
    (FOFSBUJPO 3FE
    -. UFTUDBTF
     UFTUDBTF
      -JTU
    PG
    RVFTUJPOT  \UFTUDBTF
    ^  
    
    ϓϩϯϓτ 5BSHFU
    -. 3FE
    $MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE
    -.͕ςετέʔεΛੜ੒ ςετέʔεϦετ
17. ఏҊख๏ɿ*UFSBUJWF
    4UPDIBTUJD
    'FXTIPU
    (FOFSBUJPO 3FE
    -. UFTUDBTF
     UFTUDBTF
      -JTU
    PG
    RVFTUJPOT  \UFTUDBTF
    ^  
    
    ϓϩϯϓτ 5BSHFU
    -. 3FE
    $MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 5BSHFU
    -.͕ϨεϙϯεΛੜ੒ ςετέʔεϦετ
18. ఏҊख๏ɿ*UFSBUJWF
    4UPDIBTUJD
    'FXTIPU
    (FOFSBUJPO 3FE
    -. UFTUDBTF
     UFTUDBTF
      -JTU
    PG
    RVFTUJPOT  \UFTUDBTF
    ^  
    
    ϓϩϯϓτ 5BSHFU
    -. 3FE
    $MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE
    $MG͕ର࿩Λ؂ࢹ ςετέʔεϦετ
19. ఏҊख๏ɿ*UFSBUJWF
    4UPDIBTUJD
    'FXTIPU
    (FOFSBUJPO 3FE
    -. UFTUDBTF
     UFTUDBTF
      -JTU
    PG
    RVFTUJPOT  \UFTUDBTF
    ^  
    
    ϓϩϯϓτ 5BSHFU
    -. 3FE
    $MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE
    $MG͕໰୊ൃݴΛݕ஌ ͨ͠৔߹ɺεϩοτ༻ςε τέʔεϦετʹอଘ ςετέʔεϦετ
20. ఏҊख๏ͷಛ௃ • աڈͷ߈ܸ੒ޭྫΛεϩοτʹՃ͑ΔͨΊ ˠ
    ߈ܸ੒ޭ཰ͷߴ͍ςετέʔεΛੜ੒Մೳ • ϓϩϯϓτͷ૊Έ߹Θ͕ͤ૿େ͍ͯͨ͘͠Ί ˠ
    ଟ༷ੑͷߴ͍ςετέʔεΛੜ੒Մೳ • ݴޠϞσϧͷֶश͕ෆཁͳͨΊ ˠ
    ֶशίετ͕௿͍
21. ࣮ݧ ߈ܸతൃݴ • 5BSHFU
    -.
    (159-
    <3BEGPSE
    FU
    BM
    > • 3FE
    -.
    (159-
    <3BEGPSE
    FU
    BM
    > • 3FE
    $MBTTJGJFS
    #"%
    $MBTTJGJFS
    <9V
    FU
    BM
    > ॅॴͷ๫࿐ • 5BSHFU
    -.
    KBQBOFTFHQUC
    <;IBP
    BOE
    4BXBEB > • 3FE
    -.
    KBQBOFTFHQUC
    <;IBP BOE
    4BXBEB > • 3FE
    $MBTTJGJFS
    ਖ਼نදݱ ձ࿩Λೖྗͱ͠ ࠷ޙͷൃ࿩͕߈ܸత͔Ͳ͏͔Λग़ྗͱ͢Δ෼ྨث
22. ߈ܸతൃݴΛ༠ൃ͢Δޮ཰ੑͷධՁ ༠ൃ੒ޭςετέʔεΛ ݅ੜ੒͢Δ·ͰͷαϯϓϦϯάճ਺Λܭଌ ख๏ αϯϓϦϯά਺ˣ ଟ༷ੑˣ 4UPDIBTUJD
    'FXTIPU
    1FSF[
    FU
    BM
        *UFSBUJWF
    4UPDIBTUJD
    'FXTIPU
    0VS    ଟ༷ੑͷࢦඪ͸4FMG#-&6είΞ ;IV
    FU
    BM
    
23. ߈ܸతൃݴΛ༠ൃ͢Δޮ཰ੑͷධՁ ޮ ཰ Խ ʹ ੒ ޭ ʂ
24. ߈ܸతൃݴͷ༠ൃ੒ޭྫ ఏҊख๏
25. ॅॴͷ๫࿐Λ༠ൃ͢Δޮ཰ੑͷධՁ ༠ൃ੒ޭςετέʔεΛ݅ੜ੒͢Δ·ͰͷαϯϓϦϯάճ਺Λܭଌ ख๏ αϯϓϦϯά਺ˣ ଟ༷ੑˣ 4UPDIBTUJD
    'FXTIPU
    1FSF[
    FU
    BM
        *UFSBUJWF
    4UPDIBTUJD
    'FXTIPU
    0VS    ଟ༷ੑͷࢦඪ͸4FMG#-&6είΞ ;IV
    FU
    BM
    
26. ॅॴͷ๫࿐Λ༠ൃ͢Δޮ཰ੑͷධՁ ޮ཰Խʹ੒ޭʂ
27. ॅॴͷ๫࿐ͷ༠ൃ੒ޭྫ ఏҊख๏
28. ·ͱΊ • ݴޠϞσϧΛݕࠪ͢ΔͨΊͷଟ༷ͳςετέʔεΛޮ཰తʹੜ ੒͢Δख๏ΛఏҊ • ߈ܸతൃݴɺॅॴͷ๫࿐ʹؔ͢Δ࣮ݧʹ͓͍ͯఏҊख๏͸طଘ ख๏ΑΓޮ཰తʹଟ༷ͳςετέʔεΛੜ੒Ͱ͖ͨ