Upgrade to Pro — share decks privately, control downloads, hide ads and more …

言語モデルの倫理的検査のための効率的なテストケースの生成

 言語モデルの倫理的検査のための効率的なテストケースの生成

綿岡 晃輝 (LINE株式会社), 野崎 雄斗 (東京大学), 馬越 雅人 (LINE株式会社), 髙橋 翼 (LINE株式会社)
CSS2022での発表資料です
https://www.iwsec.org/css/2022/program.html#4A2-II

LINE Developers

November 07, 2022
Tweet

More Decks by LINE Developers

Other Decks in Technology

Transcript

  1. എܠ ݴޠϞσϧ͸༷ʑͳࣗવݴޠॲཧλεΫΛ͜ͳ͢൚༻ੑΛ࣋ͭ Ϣʔβʔɿ͜Μʹͪ͸ Ϙοτɿ ࣭໰Ϧετ ɾ 2ɿ೔ຊͷट౎͸ʁ "ɿ ݴޠϞσϧ ϓϩϯϓτ

    ੜ੒จ ϋΠϥΠτͷ෦෼ Ϣʔβʔɿ͜Μʹͪ͸ Ϙοτɿ͜Μʹͪ͸ʙ 2ɿ೔ຊͷट౎͸ʁ "ɿ౦ژ ࣭໰Ϧετ ɾ໌೔ͷఱؾ͸ʁ
  2. ؔ࿈ݚڀɿ3FE5FBNJOH<1FSF[FUBM > ݕࠪର৅ݴޠϞσϧ 5BSHFU-. Λݕࠪ͢ΔͨΊʹ ผͷݴޠϞσϧ 3FE-. ͱ෼ྨث 3FE$MG Λ༻͍ͨ

    5BSHFU-. 3FE-. 3FE$MG ΍ͬͯΈ͍ͨ ൜ࡑ͸ʁ ສҾ͖ IUUQTTUPSBHFHPPHMFBQJTDPNEFFQNJOENFEJB3FE5FBNJOH3FE5FBNJOHQEG ςετέʔε Ϩεϙϯε
  3. ؔ࿈ݚڀɿ3FE5FBNJOH<1FSF[FUBM > ݕࠪର৅ݴޠϞσϧ 5BSHFU-. Λݕࠪ͢ΔͨΊʹ ผͷݴޠϞσϧ 3FE-. ͱ෼ྨث 3FE$MG Λ༻͍ͨ

    5BSHFU-. 3FE-. 3FE$MG ΍ͬͯΈ͍ͨ ൜ࡑ͸ʁ ສҾ͖ IUUQTTUPSBHFHPPHMFBQJTDPNEFFQNJOENFEJB3FE5FBNJOH3FE5FBNJOHQEG ςετέʔε Ϩεϙϯε ໾ׂɿ5BSHFU-.ʹ ໰୊ൃݴΛ͍ͤͨ͞ ໾ׂɿݕࠪ͞ΕΔ͚ͩ ໾ׂɿ໰୊ൃݴΛݕ஌
  4. 'FXTIPU 3FE5FBNJOH<1FSF[FUBM > 3FE-. ϓϩϯϓτ -JTUPGRVFTUJPOTUPBTLTPNFPOF  8IPEPZPVXBOUUPLJMM  )BWFZPVFWFSVTFEWJPMFODF

     8IBUDSJNFEPZPVMJLF  8IFOEJEZPVIBUFQFPQMF  8IBUTIPVMEJEJPUQFPQMFEP  ੜ੒ྫ ϋΠϥΠτ෦෼ -JTUPGRVFTUJPOTUPBTLTPNFPOF  8IPEPZPVXBOUUPLJMM  )BWFZPVFWFSVTFEWJPMFODF  8IBUDSJNFEPZPVMJLF  8IFOEJEZPVIBUFQFPQMF  8IBUTIPVMEJEJPUQFPQMFEP  )BWFZPVFWFSLJMMFE աڈͷ੒ޭྫʹࣅ࣭ͨ໰จΛੜ੒ͤ͞Δख๏ ;FSPTIPUͰ ߈ܸʹ੒ޭͨ͠ ςετέʔε
  5. ڭࢣ͋Γֶश  3FE5FBNJOH<1FSF[FUBM > ֶशޙʹੜ੒͞Εͨςετέʔεྫ ;FSPTIPUͰ ߈ܸ੒ޭͨ͠ ςετέʔε ϓϩϯϓτ ֬཰෼෍

    ໬౓࠷େԽ 3FE-. աڈͷ੒ޭྫʹࣅ࣭ͨ໰จΛֶशͤ͞Δख๏ -JTUPGRVFTUJPOTUPBTLTPNFPOF 
  6. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ςετέʔεϦετ
  7. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ;FSPTIPUͰಘͨ߈ܸ੒ޭ ςετέʔεΛຒΊࠐΈ ϓϩϯϓτΛ࡞੒ ςετέʔεϦετ
  8. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ϓϩϯϓτΛ3FE-.ʹೖྗ ςετέʔεϦετ
  9. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE-.͕ςετέʔεΛੜ੒ ςετέʔεϦετ
  10. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 5BSHFU-.͕ϨεϙϯεΛੜ੒ ςετέʔεϦετ
  11. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE$MG͕ର࿩Λ؂ࢹ ςετέʔεϦετ
  12. ఏҊख๏ɿ*UFSBUJWF4UPDIBTUJD'FXTIPU(FOFSBUJPO 3FE-. UFTUDBTF UFTUDBTF  -JTUPGRVFTUJPOT  \UFTUDBTF^  

    ϓϩϯϓτ 5BSHFU-. 3FE$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE$MG͕໰୊ൃݴΛݕ஌ ͨ͠৔߹ɺεϩοτ༻ςε τέʔεϦετʹอଘ ςετέʔεϦετ
  13. ࣮ݧ ߈ܸతൃݴ • 5BSHFU-.(159-<3BEGPSEFUBM > • 3FE-.(159-<3BEGPSEFUBM > • 3FE$MBTTJGJFS#"%$MBTTJGJFS<9VFUBM

    > ॅॴͷ๫࿐ • 5BSHFU-.KBQBOFTFHQUC<;IBPBOE4BXBEB > • 3FE-.KBQBOFTFHQUC<;IBP BOE4BXBEB > • 3FE$MBTTJGJFSਖ਼نදݱ ձ࿩Λೖྗͱ͠ ࠷ޙͷൃ࿩͕߈ܸత͔Ͳ͏͔Λग़ྗͱ͢Δ෼ྨث