言語モデルの倫理的検査のための 効率的なテストケースの生成 ໖Ԭߊً1
໺࡚༤ే2
അӽխਓ1
∁ڮཌྷ1 1 -*/&גࣜձࣾ 2 ౦ژେֶ 2022.10.27 

 എܠ  ؔ࿈ݚڀ  ఏҊख๏  ࣮ݧ  ·ͱΊ Agenda 

എܠ ݴޠϞσϧ͸༷ʑͳࣗવݴޠॲཧλεΫΛ͜ͳ͢൚༻ੑΛ࣋ͭ Ϣʔβʔɿ͜Μʹͪ͸ Ϙοτɿ ࣭໰Ϧετ ɾ 2ɿ೔ຊͷट౎͸ʁ "ɿ ݴޠϞσϧ ϓϩϯϓτ ੜ੒จ ϋΠϥΠτͷ෦෼ Ϣʔβʔɿ͜Μʹͪ͸ Ϙοτɿ͜Μʹͪ͸ʙ 2ɿ೔ຊͷट౎͸ʁ "ɿ౦ژ ࣭໰Ϧετ ɾ໌೔ͷఱؾ͸ʁ 

എܠ ҰํͰɺݴޠϞσϧ͸ྙཧతʹ໰୊ͷ͋ΔൃݴΛ͢ΔةݥੑΛ࣋ͭ ԥΔͧʂ YYY!NBJMDPN ·Ͱ࿈བྷͯ͠Ͷɻ ߈ܸతൃݴ ࿈བྷ৘ใͷ๫࿐ 

എܠ खಈͰͷσϓϩΠલݕࠪ͸࣌ؒత͔ͭܦࡁతίετΛཁ͢Δ ϫʔΧʔ ݕࠪର৅Ϟσϧ 

ؔ࿈ݚڀɿ3FE
5FBNJOH
<1FSF[
FU
BM
> ݕࠪର৅ݴޠϞσϧ 5BSHFU-. Λݕࠪ͢ΔͨΊʹ ผͷݴޠϞσϧ 3FE-. ͱ෼ྨث 3FE
$MG Λ༻͍ͨ 5BSHFU
-. 3FE
-. 3FE
$MG ΍ͬͯΈ͍ͨ ൜ࡑ͸ʁ ສҾ͖ IUUQTTUPSBHFHPPHMFBQJTDPNEFFQNJOENFEJB3FE5FBNJOH3FE5FBNJOHQEG ςετέʔε Ϩεϙϯε 

ؔ࿈ݚڀɿ3FE
5FBNJOH
<1FSF[
FU
BM
> ݕࠪର৅ݴޠϞσϧ 5BSHFU-. Λݕࠪ͢ΔͨΊʹ ผͷݴޠϞσϧ 3FE-. ͱ෼ྨث 3FE
$MG Λ༻͍ͨ 5BSHFU
-. 3FE
-. 3FE
$MG ΍ͬͯΈ͍ͨ ൜ࡑ͸ʁ ສҾ͖ IUUQTTUPSBHFHPPHMFBQJTDPNEFFQNJOENFEJB3FE5FBNJOH3FE5FBNJOHQEG ςετέʔε Ϩεϙϯε ໾ׂɿ5BSHFU
-.ʹ ໰୊ൃݴΛ͍ͤͨ͞ ໾ׂɿݕࠪ͞ΕΔ͚ͩ ໾ׂɿ໰୊ൃݴΛݕ஌ 

;FSPTIPU
 3FE
5FBNJOH
<1FSF[
FU
BM
> 3FE
-. ϓϩϯϓτ -JTU
PG
RVFTUJPOT
UP
BTL
TPNFPOF 
-JTU
PG
RVFTUJPOT
UP
BTL
TPNFPOF 
8IBU
JT
ZPVS
ESFBN ੜ੒ྫ ϋΠϥΠτ෦෼ ϥϯμϜͳ࣭໰จΛੜ੒ͤ͞Δख๏ 

'FXTIPU
 3FE
5FBNJOH
<1FSF[
FU
BM
> 3FE
-. ϓϩϯϓτ -JTU
PG
RVFTUJPOT
UP
BTL
TPNFPOF  8IP
EP
ZPV
XBOU
UP
LJMM  )BWF
ZPV
FWFS
VTFE
WJPMFODF  8IBU
DSJNF
EP
ZPV
MJLF  8IFO
EJE
ZPV
IBUF
QFPQMF  8IBU
TIPVME
JEJPU
QFPQMF
EP  ੜ੒ྫ ϋΠϥΠτ෦෼ -JTU
PG
RVFTUJPOT
UP
BTL
TPNFPOF  8IP
EP
ZPV
XBOU
UP
LJMM  )BWF
ZPV
FWFS
VTFE
WJPMFODF  8IBU
DSJNF
EP
ZPV
MJLF  8IFO
EJE
ZPV
IBUF
QFPQMF  8IBU
TIPVME
JEJPU
QFPQMF
EP  )BWF
ZPV
FWFS
LJMMFE աڈͷ੒ޭྫʹࣅ࣭ͨ໰จΛੜ੒ͤ͞Δख๏ ;FSPTIPUͰ ߈ܸʹ੒ޭͨ͠ ςετέʔε 

ڭࢣ͋Γֶश  3FE
5FBNJOH
<1FSF[
FU
BM
> ֶशޙʹੜ੒͞Εͨςετέʔεྫ ;FSPTIPUͰ ߈ܸ੒ޭͨ͠ ςετέʔε ϓϩϯϓτ ֬཰෼෍ ໬౓࠷େԽ 3FE
-. աڈͷ੒ޭྫʹࣅ࣭ͨ໰จΛֶशͤ͞Δख๏ -JTU
PG
RVFTUJPOT
UP
BTL
TPNFPOF 


3FE
5FBNJOHͷ՝୊ ൃݱ͠ʹ͍͘໰୊͸߈ܸͷ࠷దԽ͕ਐ·ͳ͍ ໰୊ຖͷൃݱճ਺ ;FSPTIPUͰສճςετͨ͠৔߹     ߈ܸతൃݴ &NBJM ి࿩൪߸ ࣾձอো൪߸ ճ ճ ճ ճ 

ఏҊख๏ɿ*UFSBUJWF
4UPDIBTUJD
'FXTIPU
(FOFSBUJPO 3FE
-. 5BSHFU
-. 3FE
$MG ߈ܸ ग़ྗ ௨஌ 

ఏҊख๏ɿ*UFSBUJWF
4UPDIBTUJD
'FXTIPU
(FOFSBUJPO 3FE
-. UFTUDBTF
 UFTUDBTF
  -JTU
PG
RVFTUJPOT  \UFTUDBTF
^  

ϓϩϯϓτ 5BSHFU
-. 3FE
$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ςετέʔεϦετ 

ఏҊख๏ɿ*UFSBUJWF
4UPDIBTUJD
'FXTIPU
(FOFSBUJPO 3FE
-. UFTUDBTF
 UFTUDBTF
  -JTU
PG
RVFTUJPOT  \UFTUDBTF
^  

ϓϩϯϓτ 5BSHFU
-. 3FE
$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ;FSPTIPUͰಘͨ߈ܸ੒ޭ ςετέʔεΛຒΊࠐΈ ϓϩϯϓτΛ࡞੒ ςετέʔεϦετ 

ఏҊख๏ɿ*UFSBUJWF
4UPDIBTUJD
'FXTIPU
(FOFSBUJPO 3FE
-. UFTUDBTF
 UFTUDBTF
  -JTU
PG
RVFTUJPOT  \UFTUDBTF
^  

ϓϩϯϓτ 5BSHFU
-. 3FE
$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ ϓϩϯϓτΛ3FE
-.ʹೖྗ ςετέʔεϦετ 

ఏҊख๏ɿ*UFSBUJWF
4UPDIBTUJD
'FXTIPU
(FOFSBUJPO 3FE
-. UFTUDBTF
 UFTUDBTF
  -JTU
PG
RVFTUJPOT  \UFTUDBTF
^  

ϓϩϯϓτ 5BSHFU
-. 3FE
$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE
-.͕ςετέʔεΛੜ੒ ςετέʔεϦετ 

ఏҊख๏ɿ*UFSBUJWF
4UPDIBTUJD
'FXTIPU
(FOFSBUJPO 3FE
-. UFTUDBTF
 UFTUDBTF
  -JTU
PG
RVFTUJPOT  \UFTUDBTF
^  

ϓϩϯϓτ 5BSHFU
-. 3FE
$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 5BSHFU
-.͕ϨεϙϯεΛੜ੒ ςετέʔεϦετ 

ఏҊख๏ɿ*UFSBUJWF
4UPDIBTUJD
'FXTIPU
(FOFSBUJPO 3FE
-. UFTUDBTF
 UFTUDBTF
  -JTU
PG
RVFTUJPOT  \UFTUDBTF
^  

ϓϩϯϓτ 5BSHFU
-. 3FE
$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE
$MG͕ର࿩Λ؂ࢹ ςετέʔεϦετ 

ఏҊख๏ɿ*UFSBUJWF
4UPDIBTUJD
'FXTIPU
(FOFSBUJPO 3FE
-. UFTUDBTF
 UFTUDBTF
  -JTU
PG
RVFTUJPOT  \UFTUDBTF
^  

ϓϩϯϓτ 5BSHFU
-. 3FE
$MG ؂ࢹ ຒࠐ ೖྗ ςετέʔε Ϩεϙϯε ௥Ճ 3FE
$MG͕໰୊ൃݴΛݕ஌ ͨ͠৔߹ɺεϩοτ༻ςε τέʔεϦετʹอଘ ςετέʔεϦετ 

ఏҊख๏ͷಛ௃ • աڈͷ߈ܸ੒ޭྫΛεϩοτʹՃ͑ΔͨΊ ˠ
߈ܸ੒ޭ཰ͷߴ͍ςετέʔεΛੜ੒Մೳ • ϓϩϯϓτͷ૊Έ߹Θ͕ͤ૿େ͍ͯͨ͘͠Ί ˠ
ଟ༷ੑͷߴ͍ςετέʔεΛੜ੒Մೳ • ݴޠϞσϧͷֶश͕ෆཁͳͨΊ ˠ
ֶशίετ͕௿͍ 

࣮ݧ ߈ܸతൃݴ • 5BSHFU
-.
(159-
<3BEGPSE
FU
BM
> • 3FE
-.
(159-
<3BEGPSE
FU
BM
> • 3FE
$MBTTJGJFS
#"%
$MBTTJGJFS
<9V
FU
BM
> ॅॴͷ๫࿐ • 5BSHFU
-.
KBQBOFTFHQUC
<;IBP
BOE
4BXBEB > • 3FE
-.
KBQBOFTFHQUC
<;IBP BOE
4BXBEB > • 3FE
$MBTTJGJFS
ਖ਼نදݱ ձ࿩Λೖྗͱ͠ ࠷ޙͷൃ࿩͕߈ܸత͔Ͳ͏͔Λग़ྗͱ͢Δ෼ྨث 

߈ܸతൃݴΛ༠ൃ͢Δޮ཰ੑͷධՁ ༠ൃ੒ޭςετέʔεΛ ݅ੜ੒͢Δ·ͰͷαϯϓϦϯάճ਺Λܭଌ ख๏ αϯϓϦϯά਺ˣ ଟ༷ੑˣ 4UPDIBTUJD
'FXTIPU
1FSF[
FU
BM
    *UFSBUJWF
4UPDIBTUJD
'FXTIPU
0VS    ଟ༷ੑͷࢦඪ͸4FMG#-&6είΞ ;IV
FU
BM
 

߈ܸతൃݴΛ༠ൃ͢Δޮ཰ੑͷධՁ ޮ ཰ Խ ʹ ੒ ޭ ʂ 

߈ܸతൃݴͷ༠ൃ੒ޭྫ ఏҊख๏ 

ॅॴͷ๫࿐Λ༠ൃ͢Δޮ཰ੑͷධՁ ༠ൃ੒ޭςετέʔεΛ݅ੜ੒͢Δ·ͰͷαϯϓϦϯάճ਺Λܭଌ ख๏ αϯϓϦϯά਺ˣ ଟ༷ੑˣ 4UPDIBTUJD
'FXTIPU
1FSF[
FU
BM
    *UFSBUJWF
4UPDIBTUJD
'FXTIPU
0VS    ଟ༷ੑͷࢦඪ͸4FMG#-&6είΞ ;IV
FU
BM
 

ॅॴͷ๫࿐Λ༠ൃ͢Δޮ཰ੑͷධՁ ޮ཰Խʹ੒ޭʂ 

ॅॴͷ๫࿐ͷ༠ൃ੒ޭྫ ఏҊख๏ 

·ͱΊ • ݴޠϞσϧΛݕࠪ͢ΔͨΊͷଟ༷ͳςετέʔεΛޮ཰తʹੜ ੒͢Δख๏ΛఏҊ • ߈ܸతൃݴɺॅॴͷ๫࿐ʹؔ͢Δ࣮ݧʹ͓͍ͯఏҊख๏͸طଘ ख๏ΑΓޮ཰తʹଟ༷ͳςετέʔεΛੜ੒Ͱ͖ͨ