AIベース静的検査器の偽陽性率を抑える工夫3選

,VOJXBL 1.0 BU$PJODIFDL *OD "*ϕʔε੩తݕࠪثͷِཅੑΛ཈͑Δ޻෉બ

Kuniwak ʹίΠϯνΣοΫגࣜձࣾʹೖࣾɻ ࠷ॳ͸4&5ͩͬͨ͸͕ͣͳ͔ͥ 1SPKFDU.BOBHFNFOU0 ffi DFSʹɻ IUUQTHJUIVCDPN,VOJXBL IUUQTYDPNPSHB@DIFN

఻͍͑ͨ͜ͱ "*ϕʔεͷMJOU͸ࣗવݴޠͷ੒Ռ෺Λѻ͑Δ "*ϕʔεͷMJOU͸ِཅੑ཰͕ߴ͘ͳΓ͕ͪ ωΨςΟϒϓϩϯϓτ ਂࠁ౓ᮢ஋੍ޚ ܗࣜԽUIJOLJOH ِ͕ཅੑ཰Λ௿͘Ͱ͖Δͱ͍͏ऑ͍஌ݟΛಘΒΕͨ 1 2
3

-JOUͷ͜Ε·Ͱͱ͜Ε͔Β

͜ͷൃදͰ͸ɺ-JOUΛ੒Ռ෺ΛೖྗʹܽؕΛ ݕ஌͢Δπʔϧͱ͢Δɻయܕతͳ-JOU͸ ࣮૷Λೖྗʹಈ࡞͢Δɻ࠷ۙ͸ઃఆϑΝΠϧ΍ ࢓༷ॻʹର͢Δ-JOU͕ొ৔͖͍ͯͯ͠Δɻ

-JOU͸͜Ε·Ͱϧʔϧϕʔεͩͬͨɻ ϧʔϧϕʔε͸ܾఆతͳ݁ՌΛಘΒΕΔར఺͕ ͋Γɺ͔࣮ͭߦίετ͕ۃΊ͍ͯ҆ɻ ͨͩ͠ݕࠪର৅͕ܗࣜԽ͞Ε͍ͯΔඞཁ͕͋ͬͨɻ

ͨͱ͑͹࢓༷ॻ͸ܗࣜԽ͞Ε͍ͯͳ͍͜ͱ͕ଟ͍͕ ੩తݕ͍ࠪͨ͠ͱ͍͏χʔζ͸͋Δɻ ༨ஊɿ%F/"࣌୅ʹ͸ը໘ৼΔ෣͍࢓༷ͷϧʔϧ ϕʔεͷํ๏ͰҰఆͷ੒ՌΛڍ͛ͨɻ͜ͷͱ͖͸ จࣈྻͷ෦෼ҰகͰ൑ఆ͍ͯͨ͠ɻ IUUQTTXFUEFOBDPNFOUSZ

--.ͷོ੝ʹΑΓ"*ϕʔεͷMJOU͕ຽओԽ͞Εͨɻ ͜ΕʹΑΓݕࠪର৅͕ܗࣜԽ͞Ε͍ͯͳͯ͘΋Α͘ͳͬͨɻ ͨͩ͠"*ϕʔε͸γʔυΛݻఆ͠ͳ͍ݶΓ݁Ռ͕ ඇܾఆతʹͳΓɺ͔࣮ͭߦίετ͕͔ͳΓߴ͍ɻ ͨͱ͑͹"*ϕʔεͷ࣮૷΋Εɾ࢓༷΋ΕΛݕ஌͢Δ τϨʔαϏϦςΟج൫͸ສԁTIPU͔͔Δɻ IUUQTTQFBLFSEFDLDPNPSHBDIFNJOUSPEVDUJPOUPBUSBDFBCJMJUZBJQMBUGPSN

Ҏ߱ͷ࿩ͷલఏ

ࠓճͷൃදͷݩͱͳͬͨࣄྫ͸ͭɿ γʔέϯεਤʢ࢓༷ॻʣΛର৅ͱ͢ΔMJOU ςετέʔεΛର৅ͱ͢ΔMJOU έʔε" έʔε#

ਫ਼౓ධՁํ๏ શ਺ʢ/ʣʹ͍ͭͯ"*ධՁWTਓؒͷධՁͰ࣮ࢪ গ਺ͷαϯϓϧʢ/ʣʹ͍ͭͯํࣜʹ͍ͭͯ "*ධՁWTਓؒͷධՁͰ࣮ࢪ έʔε" έʔε# ͍ͣΕ΋࠶ࢼݧ͸࣮ࢪ͍ͯ͠ͳ͍ɻͦͷͨΊ͍ͣΕ΋࠶ݱੑ͕ ߴ͍͔Ͳ͏͔͸Θ͔Βͳ͍ɻ௥ࢼٻΉʂ ௥ࢼ༻ϓϩϯϓτશจIUUQTHJTUHJUIVCVTFSDPOUFOUDPNDDLVOJXBL
EEGDEEFEEB

"*ϕʔεͷMJOUͷ໰୊

ِཅੑ

"*ϕʔεͷMJOU͸ِཅੑ཰͕ߴِ͘ӄੑ཰͕௿͍ɻ ِӄੑ཰Λ௿͘อͬͨ··ِཅੑ཰Λ௿͍ͨ͘͠ɻ ِཅੑ཰͕ߴ͍ঢ়گ͕௕͘ଓ͘ͱ࿛গ೥ޮՌʹΑΓ MJOU͕৴༻͞Εͳ͘ͳΓMJOUͷഉআʹͭͳ͕ͬͯ͠·͏ɻ

࢓༷ΛγʔέϯεਤͰදݱͨ͠έʔε"Ͱ͸ࢦఠͨ͠ ܽؕͷ͓Αِ͕ͦཅੑͩͬͨɻ ਓؒʹΑΔେ෯ͳख௚͕͠ඞཁͰେมͩͬͨɻ έʔε"

ِཅੑ཰Λ௿͘͢ΔͨΊͷํ๏

ωΨςΟϒϓϩϯϓτ ਂࠁ౓Ͱᮢ஋੍ޚ ܗࣜԽUIJOLJOH 1 2 3

ʮ999͸ܽؕͰͳ͍ͱ͢ΔʯͷΑ͏ʹܽؕͷ ఆٛΛڱΊΔจݴΛϓϩϯϓτʹՃ͑Δํ๏ɻ ςετέʔεΛݕࠪର৅ͱͨ͠έʔε#Ͱ͸ ͜ͷํ๏Ͱِཅੑ཰ˠ·ͰԼ͕ͬͨɻ

画面の期待画像は別途与えられているので「表示崩れがないこと」「異常なく表示されること」「期待通りに表示されること」から表示崩れイベントは十分特定可能とします。操作手順や判断結果を 1 つに絞り込めなくとも、その差異がユーザーにとって重要でなければ許容してください。 1SPN QU

ਖ਼ղ཰ ِӄੑ཰ ِཅੑ཰ ωΨςΟϒ ϓϩϯϓτͳ͠ 70% 0% 100% ωΨςΟϒ
ϓϩϯϓτ͋Γ 60% 29% 67% վળ

੩తݕࠪث։ൃͷॳظ͸গ਺ͷαϯϓϧͰ ࣮ߦΛ܁Γฦ͠ɺωΨςΟϒϓϩϯϓτΛ ચ͍ग़͍ͯ͘͠ͱΑ͍ɻ

͜ͷΑ͏ͳαΠΫϧʹMMNίϚϯυͱ TIVGίϚϯυ͕໾ཱͭɻ MMNίϚϯυ͸ҎԼͷΑ͏ʹ࢖͑Δɿ QSPNQUHFOcMMNNMMNNPEFM TIVGίϚϯυ͸ඪ४ೖྗ͔Βٙࣅཚ਺Ͱ ߦΛൈ͖ग़͢ίϚϯυɻ IUUQTHJUIVCDPNTJNPOXMMN

͜Μͳײ͡Ͱద౰ͳߦΛධՁ͠ͳ͕ΒࢼߦࡨޡͰ͖Δɿ fi OEUBSHFUa cTIVGOa cUFFEFWTUEFSSa cYBSHTOQSPNQUHFOa cMMNNHQUTDIFNBTDIFNBKTPOa cKR

"*ʹਂࠁ౓Λ൑அͤ͞ɺᮢ஋Λઃఆ͢Δํ๏ɻ ςετέʔεΛର৅ͱ͠ɺਂࠁ౓Λஈ֊Ͱ"*ʹ ධՁͤͨ͞έʔε#Ͱ͸ɺ"*WTਓؒͷਂࠁ౓͸ ૬ؔ܎਺ɺਖ਼ղ཰ɺޡࠩʶਖ਼ղ཰ɻ

"s e v e r i t y ": {
"t y p e ": "n u m b e r ", "d e s c r i p t i o n ": " 違反の深刻度。 1 : 低（誤解する可能性が少ない） , 2 : 中（誤解する可能性がある） , 3 : 高（誤解する可能性が高い） ", "m i n i m u m ": 1 , "m a x i m u m ": 3 , "m u l t i p l e O f ": 1 } +40 / 4DIFN B

"*aਖ਼ղ ܯࠂͳ͠ ௿ த ߴ ܯࠂͳ͠ ௿
த ߴ ߴͷΈʹߜΔͱ ޡܯࠂ͸ݮΒͳ͍͕ ॏཁͰͳ͍ܯࠂ͕ ݮΔ

ݕࠪର৅ΛҰ౓ܗࣜԽ͔ͤͯ͞ΒɺܗࣜԽͨ͠ର৅ʹ ͍ͭͯ൷ධͤ͞Δํ๏ɻ έʔε#Ͱ͸$41ͷ҆ఆࣦഊϞσϧʹ͓͚Δѱ͍ τϨʔεͱѱ͍ࣦഊͷαϯϓϧΛςετέʔεͱ ͍ͯ͠Δʢৄ͘͠͸ผࢿྉΛࢀরʣɻ IUUQTTQFBLFSEFDLDPNPSHBDIFNHVJEFMJOFTGPSSFRVJSFNFOUT EF fi OJUJPOTQFDJ
fi DBUJPOXSJUJOHEFTJHOBOEWFSJ fi DBUJPO

ࣗવݴޠจॻ ܗࣜతσʔλ ܗࣜతҧ൓આ໌ қ͍͠ҧ൓આ໌ --.ྖҬ ϢʔβʔྖҬ ܗࣜԽ ݕࠪ טΈࡅ͘

ςετέʔεΛݕࠪର৅ͱͨ͠έʔε#Ͱ͸ɺ ܗࣜԽ͠ͳ͍΋ͷͱܗࣜԽ͢Δ΋ͷΛൺֱ͢Δͱ ِཅੑ཰WTͱͳͬͨɻ

次のテストケースの定義に当てはめて形式化したうえで、形式化されたモデルについて違反事項を指摘してください。以降は C S P の安定失敗モデルに立脚します。テストは正当性条件である、実装の失敗集合 ⊆ 仕様の失敗集合
∧ 実装のトレース集合 ⊆ 仕様のトレース集合を満たすことをサンプリングで検証します。テストケースはこのサンプルで、悪い失敗の集合または悪いトレースの集合またはその組です。これは正当性条件と同値な命題である、 ( ∀ x . x ∉ 仕様の失敗集合 ⟶ x ∉ 実装の失敗集合 ) ∧ ( ∀ x . x ∉ 仕様のトレース集合 ⟶ x ∉ 実装のトレース集合 ) の全称命題のサンプルからなる集合ということです。 1SPN QU

指摘内容は C S P を知らない人にも伝わるよう、失敗やトレースといった言葉を別の一般的な平易な言葉で言い換えてください。 1SPN QU

ܗࣜԽUIJOLJOHͷϓϩϯϓτશจɿ IUUQTHJTUHJUIVCVTFSDPOUFOUDPNDDLVOJXBL EEGDEEFEEB

ਖ਼ղ཰ ِӄੑ཰ ِཅੑ཰ ܗࣜԽ͠ͳ͍΋ͷ 60% 29% 67% ܗࣜԽͨ͠΋ͷ 90%
0% 30% վળ

·ͱΊ "*ϕʔεͷMJOU͸ࣗવݴޠͷ੒Ռ෺Λѻ͑Δ "*ϕʔεͷMJOU͸ِཅੑ཰͕ߴ͘ͳΓ͕ͪ ωΨςΟϒϓϩϯϓτ ਂࠁ౓ᮢ஋੍ޚ ܗࣜԽUIJOLJOH ِ͕ཅੑ཰Λ௿͘Ͱ͖Δͱ͍͏ऑ͍஌ݟΛಘΒΕͨ 1 2
3

AIベース静的検査器の偽陽性率を抑える工夫3選

AIベース静的検査器の偽陽性率を抑える工夫3選

More Decks by Kuniwak

Other Decks in Programming

Featured

Transcript