AIベース静的検査器の偽陽性率を抑える工夫3選

by Kuniwak

Embed

Start on current slide

Slide 1

Slide 1 text

,VOJXBL 1.0 BU$PJODIFDL *OD "*ϕʔε੩తݕࠪثͷِཅੑΛ཈͑Δ޻෉બ

Slide 2

Slide 2 text

Kuniwak ʹίΠϯνΣοΫגࣜձࣾʹೖࣾɻ ࠷ॳ͸4&5ͩͬͨ͸͕ͣͳ͔ͥ 1SPKFDU.BOBHFNFOU0 ffi DFSʹɻ IUUQTHJUIVCDPN,VOJXBL IUUQTYDPNPSHB@DIFN

Slide 3

Slide 3 text

Slide 4

Slide 4 text

఻͍͑ͨ͜ͱ "*ϕʔεͷMJOU͸ࣗવݴޠͷ੒Ռ෺Λѻ͑Δ "*ϕʔεͷMJOU͸ِཅੑ཰͕ߴ͘ͳΓ͕ͪ ωΨςΟϒϓϩϯϓτਂࠁ౓ᮢ஋੍ޚܗࣜԽUIJOLJOH ِ͕ཅੑ཰Λ௿͘Ͱ͖Δͱ͍͏ऑ͍஌ݟΛಘΒΕͨ 1 2 3

Slide 5

Slide 5 text

-JOUͷ͜Ε·Ͱͱ͜Ε͔Β

Slide 6

Slide 6 text

͜ͷൃදͰ͸ɺ-JOUΛ੒Ռ෺ΛೖྗʹܽؕΛ ݕ஌͢Δπʔϧͱ͢Δɻయܕతͳ-JOU͸ ࣮૷Λೖྗʹಈ࡞͢Δɻ࠷ۙ͸ઃఆϑΝΠϧ΍ ࢓༷ॻʹର͢Δ-JOU͕ొ৔͖͍ͯͯ͠Δɻ

Slide 7

Slide 7 text

-JOU͸͜Ε·Ͱϧʔϧϕʔεͩͬͨɻ ϧʔϧϕʔε͸ܾఆతͳ݁ՌΛಘΒΕΔར఺͕ ͋Γɺ͔࣮ͭߦίετ͕ۃΊ͍ͯ҆ɻ ͨͩ͠ݕࠪର৅͕ܗࣜԽ͞Ε͍ͯΔඞཁ͕͋ͬͨɻ

Slide 8

Slide 8 text

-JOU͸͜Ε·Ͱϧʔϧϕʔεͩͬͨɻ ϧʔϧϕʔε͸ܾఆతͳ݁ՌΛಘΒΕΔར఺͕ ͋Γɺ͔࣮ͭߦίετ͕ۃΊ͍ͯ҆ɻ ͨͩ͠ݕࠪର৅͕ܗࣜԽ͞Ε͍ͯΔඞཁ͕͋ͬͨɻ

Slide 9

Slide 9 text

ͨͱ͑͹࢓༷ॻ͸ܗࣜԽ͞Ε͍ͯͳ͍͜ͱ͕ଟ͍͕ ੩తݕ͍ࠪͨ͠ͱ͍͏χʔζ͸͋Δɻ ༨ஊɿ%F/"࣌୅ʹ͸ը໘ৼΔ෣͍࢓༷ͷϧʔϧ ϕʔεͷํ๏ͰҰఆͷ੒ՌΛڍ͛ͨɻ͜ͷͱ͖͸ จࣈྻͷ෦෼ҰகͰ൑ఆ͍ͯͨ͠ɻ IUUQTTXFUEFOBDPNFOUSZ

Slide 10

Slide 10 text

--.ͷོ੝ʹΑΓ"*ϕʔεͷMJOU͕ຽओԽ͞Εͨɻ ͜ΕʹΑΓݕࠪର৅͕ܗࣜԽ͞Ε͍ͯͳͯ͘΋Α͘ͳͬͨɻ ͨͩ͠"*ϕʔε͸γʔυΛݻఆ͠ͳ͍ݶΓ݁Ռ͕ ඇܾఆతʹͳΓɺ͔࣮ͭߦίετ͕͔ͳΓߴ͍ɻ ͨͱ͑͹"*ϕʔεͷ࣮૷΋Εɾ࢓༷΋ΕΛݕ஌͢Δ τϨʔαϏϦςΟج൫͸ສԁTIPU͔͔Δɻ IUUQTTQFBLFSEFDLDPNPSHBDIFNJOUSPEVDUJPOUPBUSBDFBCJMJUZBJQMBUGPSN

Slide 11

Slide 11 text

Ҏ߱ͷ࿩ͷલఏ

Slide 12

Slide 12 text

ࠓճͷൃදͷݩͱͳͬͨࣄྫ͸ͭɿ γʔέϯεਤʢ࢓༷ॻʣΛର৅ͱ͢ΔMJOU ςετέʔεΛର৅ͱ͢ΔMJOU έʔε" έʔε#

Slide 13

Slide 13 text

ਫ਼౓ධՁํ๏ શ਺ʢ/ʣʹ͍ͭͯ"*ධՁWTਓؒͷධՁͰ࣮ࢪ গ਺ͷαϯϓϧʢ/ʣʹ͍ͭͯํࣜʹ͍ͭͯ "*ධՁWTਓؒͷධՁͰ࣮ࢪ έʔε" έʔε# ͍ͣΕ΋࠶ࢼݧ͸࣮ࢪ͍ͯ͠ͳ͍ɻͦͷͨΊ͍ͣΕ΋࠶ݱੑ͕ ߴ͍͔Ͳ͏͔͸Θ͔Βͳ͍ɻ௥ࢼٻΉʂ ௥ࢼ༻ϓϩϯϓτશจIUUQTHJTUHJUIVCVTFSDPOUFOUDPNDDLVOJXBL EEGDEEFEEB

Slide 14

Slide 14 text

"*ϕʔεͷMJOUͷ໰୊

Slide 15

Slide 15 text

ِཅੑ

Slide 16

Slide 16 text

"*ϕʔεͷMJOU͸ِཅੑ཰͕ߴِ͘ӄੑ཰͕௿͍ɻ ِӄੑ཰Λ௿͘อͬͨ··ِཅੑ཰Λ௿͍ͨ͘͠ɻ ِཅੑ཰͕ߴ͍ঢ়گ͕௕͘ଓ͘ͱ࿛গ೥ޮՌʹΑΓ MJOU͕৴༻͞Εͳ͘ͳΓMJOUͷഉআʹͭͳ͕ͬͯ͠·͏ɻ

Slide 17

Slide 17 text

࢓༷ΛγʔέϯεਤͰදݱͨ͠έʔε"Ͱ͸ࢦఠͨ͠ ܽؕͷ͓Αِ͕ͦཅੑͩͬͨɻ ਓؒʹΑΔେ෯ͳख௚͕͠ඞཁͰେมͩͬͨɻ έʔε"

Slide 18

Slide 18 text

ِཅੑ཰Λ௿͘͢ΔͨΊͷํ๏

Slide 19

Slide 19 text

ωΨςΟϒϓϩϯϓτ ਂࠁ౓Ͱᮢ஋੍ޚ ܗࣜԽUIJOLJOH 1 2 3

Slide 20

Slide 20 text

ωΨςΟϒϓϩϯϓτ ਂࠁ౓Ͱᮢ஋੍ޚ ܗࣜԽUIJOLJOH 1 2 3

Slide 21

Slide 21 text

ʮ999͸ܽؕͰͳ͍ͱ͢ΔʯͷΑ͏ʹܽؕͷ ఆٛΛڱΊΔจݴΛϓϩϯϓτʹՃ͑Δํ๏ɻ ςετέʔεΛݕࠪର৅ͱͨ͠έʔε#Ͱ͸ ͜ͷํ๏Ͱِཅੑ཰ˠ·ͰԼ͕ͬͨɻ

Slide 22

Slide 22 text

画面の期待画像は別途与えられているので「表示崩れがないこと」「異常なく表示されること」「期待通りに表示されること」から表示崩れイベントは十分特定可能とします。操作手順や判断結果を 1 つに絞り込めなくとも、その差異がユーザーにとって重要でなければ許容してください。 1SPN QU

Slide 23

Slide 23 text

ਖ਼ղ཰ ِӄੑ཰ ِཅੑ཰ ωΨςΟϒ ϓϩϯϓτͳ͠ 70% 0% 100% ωΨςΟϒ ϓϩϯϓτ͋Γ 60% 29% 67% վળ

Slide 24

Slide 24 text

੩తݕࠪث։ൃͷॳظ͸গ਺ͷαϯϓϧͰ ࣮ߦΛ܁Γฦ͠ɺωΨςΟϒϓϩϯϓτΛ ચ͍ग़͍ͯ͘͠ͱΑ͍ɻ

Slide 25

Slide 25 text

͜ͷΑ͏ͳαΠΫϧʹMMNίϚϯυͱ TIVGίϚϯυ͕໾ཱͭɻ MMNίϚϯυ͸ҎԼͷΑ͏ʹ࢖͑Δɿ QSPNQUHFOcMMNNMMNNPEFM TIVGίϚϯυ͸ඪ४ೖྗ͔Βٙࣅཚ਺Ͱ ߦΛൈ͖ग़͢ίϚϯυɻ IUUQTHJUIVCDPNTJNPOXMMN

Slide 26

Slide 26 text

͜Μͳײ͡Ͱద౰ͳߦΛධՁ͠ͳ͕ΒࢼߦࡨޡͰ͖Δɿ fi OEUBSHFUa cTIVGOa cUFFEFWTUEFSSa cYBSHTOQSPNQUHFOa cMMNNHQUTDIFNBTDIFNBKTPOa cKR

Slide 27

Slide 27 text

ωΨςΟϒϓϩϯϓτ ਂࠁ౓Ͱᮢ஋੍ޚ ܗࣜԽUIJOLJOH 1 2 3

Slide 28

Slide 28 text

"*ʹਂࠁ౓Λ൑அͤ͞ɺᮢ஋Λઃఆ͢Δํ๏ɻ ςετέʔεΛର৅ͱ͠ɺਂࠁ౓Λஈ֊Ͱ"*ʹ ධՁͤͨ͞έʔε#Ͱ͸ɺ"*WTਓؒͷਂࠁ౓͸ ૬ؔ܎਺ɺਖ਼ղ཰ɺޡࠩʶਖ਼ղ཰ɻ

Slide 29

Slide 29 text

"s e v e r i t y ": { "t y p e ": "n u m b e r ", "d e s c r i p t i o n ": " 違反の深刻度。 1 : 低（誤解する可能性が少ない） , 2 : 中（誤解する可能性がある） , 3 : 高（誤解する可能性が高い） ", "m i n i m u m ": 1 , "m a x i m u m ": 3 , "m u l t i p l e O f ": 1 } +40 / 4DIFN B

Slide 30

Slide 30 text

"*aਖ਼ղ ܯࠂͳ͠ ௿ த ߴ ܯࠂͳ͠ ௿ த ߴ ߴͷΈʹߜΔͱ ޡܯࠂ͸ݮΒͳ͍͕ ॏཁͰͳ͍ܯࠂ͕ ݮΔ

Slide 31

Slide 31 text

ωΨςΟϒϓϩϯϓτ ਂࠁ౓Ͱᮢ஋੍ޚ ܗࣜԽUIJOLJOH 1 2 3

Slide 32

Slide 32 text

ݕࠪର৅ΛҰ౓ܗࣜԽ͔ͤͯ͞ΒɺܗࣜԽͨ͠ର৅ʹ ͍ͭͯ൷ධͤ͞Δํ๏ɻ έʔε#Ͱ͸$41ͷ҆ఆࣦഊϞσϧʹ͓͚Δѱ͍ τϨʔεͱѱ͍ࣦഊͷαϯϓϧΛςετέʔεͱ ͍ͯ͠Δʢৄ͘͠͸ผࢿྉΛࢀরʣɻ IUUQTTQFBLFSEFDLDPNPSHBDIFNHVJEFMJOFTGPSSFRVJSFNFOUT EF fi OJUJPOTQFDJ fi DBUJPOXSJUJOHEFTJHOBOEWFSJ fi DBUJPO

Slide 33

Slide 33 text

ࣗવݴޠจॻ ܗࣜతσʔλ ܗࣜతҧ൓આ໌ қ͍͠ҧ൓આ໌ --.ྖҬ ϢʔβʔྖҬ ܗࣜԽ ݕࠪ טΈࡅ͘

Slide 34

Slide 34 text

ςετέʔεΛݕࠪର৅ͱͨ͠έʔε#Ͱ͸ɺ ܗࣜԽ͠ͳ͍΋ͷͱܗࣜԽ͢Δ΋ͷΛൺֱ͢Δͱ ِཅੑ཰WTͱͳͬͨɻ

Slide 35

Slide 35 text

次のテストケースの定義に当てはめて形式化したうえで、形式化されたモデルについて違反事項を指摘してください。以降は C S P の安定失敗モデルに立脚します。テストは正当性条件である、実装の失敗集合 ⊆ 仕様の失敗集合 ∧ 実装のトレース集合 ⊆ 仕様のトレース集合を満たすことをサンプリングで検証します。テストケースはこのサンプルで、悪い失敗の集合または悪いトレースの集合またはその組です。これは正当性条件と同値な命題である、 ( ∀ x . x ∉ 仕様の失敗集合 ⟶ x ∉ 実装の失敗集合 ) ∧ ( ∀ x . x ∉ 仕様のトレース集合 ⟶ x ∉ 実装のトレース集合 ) の全称命題のサンプルからなる集合ということです。 1SPN QU

Slide 36

Slide 36 text

指摘内容は C S P を知らない人にも伝わるよう、失敗やトレースといった言葉を別の一般的な平易な言葉で言い換えてください。 1SPN QU

Slide 37

Slide 37 text

ܗࣜԽUIJOLJOHͷϓϩϯϓτશจɿ IUUQTHJTUHJUIVCVTFSDPOUFOUDPNDDLVOJXBL EEGDEEFEEB

Slide 38

Slide 38 text

ਖ਼ղ཰ ِӄੑ཰ ِཅੑ཰ ܗࣜԽ͠ͳ͍΋ͷ 60% 29% 67% ܗࣜԽͨ͠΋ͷ 90% 0% 30% վળ

Slide 39

Slide 39 text

·ͱΊ "*ϕʔεͷMJOU͸ࣗવݴޠͷ੒Ռ෺Λѻ͑Δ "*ϕʔεͷMJOU͸ِཅੑ཰͕ߴ͘ͳΓ͕ͪ ωΨςΟϒϓϩϯϓτਂࠁ౓ᮢ஋੍ޚܗࣜԽUIJOLJOH ِ͕ཅੑ཰Λ௿͘Ͱ͖Δͱ͍͏ऑ͍஌ݟΛಘΒΕͨ 1 2 3