アノテーションで精度の高い教師データを作成する為に必要な仕組み

Slide 1

Slide 1 text

DAY 1 “ٕ” Developer Day ਫ਼౓ͷߴ͍ڭࢣσʔλΛ࡞੒͢Δ ࢓૊Έͱӡ༻ ࣉຊ୓ຏɹגࣜձࣾABEJA Ξϊςʔγϣϯࣄۀ෦

Slide 2

Slide 2 text

Profile ໊ݹ԰ग़਎ɻେֶ͸ϝσΟΞ৘ใΛઐ߈ɻࡏֶதʹ࣍ ੈ୅ܕΠϯλʔϑΣʔεͷݚڀΛߦ͍ɺ৽ଔͰήʔϜ ΤϯδχΞͱͯ͠ηΨήʔϜεʹೖࣾɻίϯγϡʔϚʔ ήʔϜιϑτͷ։ൃۀ຿ɺιʔγϟϧήʔϜ։ൃۀ຿ ʹैࣄɻ 2016೥ʹגࣜձࣾABEJAʹσβΠφʔͱͯ͠ೖࣾɺͦ ͷޙBtoBࣄۀͷΧελϚʔαΫηε΍ϓϩμΫτΦʔ φʔͷܦݧΛܦͯɺݱࡏ͸Ξϊςʔγϣϯࣄۀ੹೚ऀ ʹैࣄɻ σʔλΛ׆༻ͨ͠৽نࣄۀ։ൃͳͲΛओʹߦ͍ͬͯΔɻ

Slide 3

Slide 3 text

ABEJA Platform for AI Pipeline σʔλͷ औಘ σʔλͷ ஝ੵ όϦσʔ γϣϯ Ξϊςʔ γϣϯ Ϟσϧߏ ங ֶश ධՁ σϓϩΠ ਪ࿦ ࠶ֶश Ξϊςʔ γϣϯ ऩू ஝ੵ ֶश σϓϩΠ ܧଓత ΠϯςάϨʔγϣϯ ࣮ߦ

Slide 4

Slide 4 text

Ξϊςʔγϣϯͱ͸ʁ ඇߏ଄σʔλ Ξϊςʔγϣϯ ߏ଄σʔλ σʔλͷ औಘ σʔλͷ ஝ੵ όϦσʔ γϣϯ Ξϊςʔ γϣϯ Ϟσϧߏ ங ֶश ධՁ σϓϩΠ ਪ࿦ ࠶ֶश Ξϊςʔ γϣϯ

Slide 5

Slide 5 text

Ξϊςʔγϣϯͱ͸ʁ σʔλͷ औಘ σʔλͷ ஝ੵ όϦσʔ γϣϯ Ξϊςʔ γϣϯ Ϟσϧߏ ங ֶश ධՁ σϓϩΠ ਪ࿦ ࠶ֶश Ξϊςʔ γϣϯ

Slide 6

Slide 6 text

Ξϊςʔγϣϯͱ͸ʁ ▪ Ωζݕग़ ▪ ෆྑ඼ݕग़ ▪ ෦඼෼ྨ ▪ ࣗಈӡస ▪ ةݥ෺ମೝࣝ ▪ ॻྨ෼ྨ ▪ จࣈೝࣝ Face ▪ إೝূ ▪ إͷ೥ྸ/ੑผ ▪ ਓ਺Χ΢ϯτ ▪ ද৘ݕग़ ▪ ෦԰෼ྨ ▪ Ձ֨ࣗಈࠪఆ ▪ Ի੠ೝࣝ ▪ Ի੠ͷจॻԽ ▪ ࣗಈ຋༁ ▪ ίʔϧηϯλʔͷࣗಈԠ౴ ▪ ΦϖϨʔγϣϯͷՄࢹԽ ▪ ϒϥϯυ඼෼ྨ ▪ ϑΝογϣϯݕग़ ▪ ࣗಈλά෇͚ ▪ ࣗಈࠪఆ Defective Parts Fashion Car Document Home Voice Operation σʔλͷ औಘ σʔλͷ ஝ੵ όϦσʔ γϣϯ Ξϊςʔ γϣϯ Ϟσϧߏ ங ֶश ධՁ σϓϩΠ ਪ࿦ ࠶ֶश Ξϊςʔ γϣϯ

Slide 7

Slide 7 text

ABEJA Platform Annotation σʔλͷ औಘ σʔλͷ ஝ੵ όϦσʔ γϣϯ Ξϊςʔ γϣϯ Ϟσϧߏ ங ֶश ධՁ σϓϩΠ ਪ࿦ ࠶ֶश

Slide 8

Slide 8 text

Ξϊςʔγϣϯͷछྨ σʔλͷ औಘ σʔλͷ ஝ੵ όϦσʔ γϣϯ Ξϊςʔ γϣϯ Ϟσϧߏ ங ֶश ධՁ σϓϩΠ ਪ࿦ ࠶ֶश ը૾ ςΩετ Ի੠ ಈը ఺܈ ࣌ܥྻ

Slide 9

Slide 9 text

ը૾ͷݕग़(Image Detection)

Slide 10

Slide 10 text

ը૾ͷݕग़(Image Detection)

Slide 11

Slide 11 text

ྖҬͷநग़(Image Segmentation)

Slide 12

Slide 12 text

ଟ֯ܗநग़(Polygon Detection)

Slide 13

Slide 13 text

ಈըͷγʔϯݕग़(Scene Recognition)

Slide 14

Slide 14 text

ಈըͷγʔϯݕग़(Text Extraction)

Slide 15

Slide 15 text

ABEJA Platform Annotation ABEJA Platform Annotation͸ɺ௚ײతͳΞϊςʔγϣϯઐ༻πʔϧ(β൛)ɺΞϊςʔγϣϯҕୗαʔϏεͷ 2ͭͷϓϥϯΛఏڙ͓ͯ͠Γɺ͍ͣΕ΋඼࣭ͷߴ͍ڭࢣσʔλΛߴ଎ʹఏڙ͢Δ͜ͱʹಛԽ͍ͯ͠·͢ɻ

Slide 16

Slide 16 text

ABEJA Platform Annotation ABEJA Platform Annotation͸ɺ2017೥ʹͦͷαʔϏεΛ։࢝ͯ͠Ҏདྷɺ ͢Ͱʹ਺ඦສ݅Ҏ্ͷΞϊςʔγϣϯΛ࣮ࢪ͍ͯ͠·͢ɻ ଟ͘ͷۀछɺۀଶͷاۀ͕αʔϏεΛ׆༻͠ɺػցֶशͷ։ൃɾӡ༻ΛՃ଎͍ͯ͠·͢ɻ

Slide 17

Slide 17 text

ABEJA Platform Annotation

Slide 18

Slide 18 text

σʔληοτͷਫ਼౓ͱϞσϧֶश

Slide 19

Slide 19 text

Noisy ֶशσʔλαΠζେ ਫ਼౓ Effect of Annotation Noise x Train Data Size

Slide 20

Slide 20 text

Accuracy Progress MNIST CIFAR10 CIFAR100 ΞϊςʔγϣϯϊΠζͷগͳ͍ଟྔͷσʔλ͔Βֶशͨ͠΄͏͕ߴਫ਼౓

Slide 21

Slide 21 text

Relative Accuracy Progress (Acc. / Best Acc.) ΞϊςʔγϣϯϊΠζͷগͳ͍ଟྔͷσʔλ͔Βֶशͨ͠΄͏͕ਫ਼౓޲্͕଎͍ MNIST CIFAR10 CIFAR100

Slide 22

Slide 22 text

ਫ਼౓ͷߴ͍ڭࢣσʔλΛ࡞੒͢Δ ࢓૊Έͱӡ༻

Slide 23

Slide 23 text

̍ɽཁ݅ఆٛ(ϧʔϧઃఆ) ̎ɽΞϊςʔλʔͷ෼ੳ ̏ɽֶशࡁΈϞσϧʹΑΔΞϓϩʔν

Slide 24

Slide 24 text

Annotationͷཁ݅ఆٛ

Slide 25

Slide 25 text

Q. AͱBͲͪΒ͕ʰݘʱͰͲͪΒ͕ʰೣʱͰ͠ΐ͏ʁ A. B. ݘ ೣ

Slide 26

Slide 26 text

࣮Ϗδωεʹ૊Έࠐ·ΕΔϞσϧ͸ ΋ͬͱߴ౓ͳ൑அΛཁٻ͞ΕΔ

Slide 27

Slide 27 text

No content

Slide 28

Slide 28 text

ΞϥεΧϯϚϥϛϡʔτ γϕϦΞϯϋεΩʔ Ҿ༻: https://wanchan.jp/osusume/detail/6820

Slide 29

Slide 29 text

ߴ೉౓൑அϞσϧ ྫ) ྉཧ൑ఆػ

Slide 30

Slide 30 text

料理の分類は簡単？

Slide 31

Slide 31 text

࣍ͷը૾܈Λ ࣽ͠Ίɾஜલࣽ ʹ෼ྨ͍ͯͩ͘͠͞

Slide 32

Slide 32 text

No content

Slide 33

Slide 33 text

ࣽ͠Ί: ࣽो͕࢒Βͳ͍Α͏ʹ࣌ؒΛ͔͚ͯͬ͘͡ΓࣽΔௐཧ๏ ஜલࣽ: ࣽΔલʹ༉ͰᖱΊͯɺՐ͕௨Γ΍ͨ͘͢͠Γɺ ΞΫ͕Ͱͳ͍Α͏ʹ͢Δௐཧ๏

Slide 34

Slide 34 text

No content

Slide 35

Slide 35 text

ࣽ͠Ί ஜલࣽ

Slide 36

Slide 36 text

No content

Slide 37

Slide 37 text

No content

Slide 38

Slide 38 text

高難度判断データセット化の課題 •ڥքઢ͕ᐆດͷҝɺΞϊςʔλʔʹΑͬͯ܏޲͕ϒϨΔ •Ξϊςʔλʔͷ஌ࣝ΍จԽͷࠩͰ݁Ռ͕༳ΕΔ •౴͕͑ॏͳΔը૾ͱϥϕϧ͕ϓϩδΣΫτ಺ʹଘࡏ͢ΔՄೳੑ͕༗Δ

Slide 39

Slide 39 text

解決案1: 詳細なルール決め ஜલࣽ ࣽ͠Ί େࠜ ཬҶ ͚ͨͷ͜ ܲ೑ χϯδϯ Ϩϯίϯ ΰϘ΢ ίϯχϟΫ χϯδϯ Ϩϯίϯ ίϯχϟΫ ΰϘ΢ ͖͵͞΍

Slide 40

Slide 40 text

解決案2: ラベル間引き ࣽ͠Ί ஜલࣽ

Slide 41

Slide 41 text

ఆੑ൑அͷϞσϧ ྫ) ೥ྸ/ੑผ൑ఆػ

Slide 42

Slide 42 text

年齢/性別を教師付けして学習 20୅/உੑ 20୅/ঁੑ 50୅/உੑ Model

Slide 43

Slide 43 text

実際にカメラから上がってくる研究用の社内カメラ映像データ 35ࡀ 34ࡀ 28ࡀ

Slide 44

Slide 44 text

定性判断のデータセット化の課題 •ڥքઢ͕ᐆດͷҝɺΞϊςʔλʔʹΑͬͯ܏޲͕ϒϨΔ •ࣗ෼ͱ઀఺͕͋·Γͳ͍೥୅͸ಛʹ೉͍͠ •܏޲ͷภΓΛແ͘͢ҝʹ͸ଟ͘ͷΞϊςʔλʔ͕ඞཁ

Slide 45

Slide 45 text

解決案: 複数人による冗長性アノテーション 34ࡀ/உੑ 39ࡀ/உੑ 32ࡀ/உੑ ɾଟ਺ܾ ɾฏۉԽ ɾೝ͕ࣝ೉͍͠σʔλͱ ֶͯ͠श ɾΞϊςʔλʔͷॏΈ෇͚ 35ࡀ/உੑ TaskID: 1 TaskID: 1

Slide 46

Slide 46 text

Inferring Annotators’ CMs with EM-algorithm ಉҰσʔλΛෳ਺ͷΞϊςʔλʔʹׂΓৼΓɺͦͷ݁ՌͷҰ؏ੑΛ΋ͱʹΞϊςʔλʔ͝ͱͷ Ξϊςʔγϣϯ܏޲ʢConfusion Matrix, CMʣΛਪఆ Initialize:  ֤ΞϊςʔλʔͷCMΛ୯ҐߦྻͰॳظԽ E-step:   ΞϊςʔλʔͷCMΛݻఆͨ͠΋ͱͰ  ֤σʔλͷϥϕϧΛ໬౓ਪఆ  M-step: ϥϕϧͷ໬౓Λݻఆͨ͠΋ͱͰCMΛߋ৽ ੑผਪఆ ೥୅ਪఆ

Slide 47

Slide 47 text

Χϝϥө૾ʹର͢ΔΞϊςʔγϣϯղੳྫ ੑผ ೥୅ Worker1 Worker2 Worker3 Worker4 ੑผ ೥୅ ੑผ ೥୅ Χϝϥ1 Χϝϥ2 Χϝϥ3

Slide 48

Slide 48 text

Model-based Method ίετͷ͔͔ΔॏෳΞϊςʔγϣϯͳ͠Ͱ΋ɺΞϊςʔλʔͷڍಈࣗମΛϞσϧԽ͢ Δ͜ͱͰɺΞϊςʔγϣϯͷ܏޲ΛਪఆՄೳ [3] A. Khetan+, “Learning From Noisy Singly-labeled Data”, 2017 p(y|x, i) = E y|z⇠p(y|z,i) [p(z|x)] Ξϊςʔγϣϯ σʔλ Ξϊςʔλʔ ਪఆϞσϧ Confusion Matrix ਅͷϥϕϧ

Slide 49

Slide 49 text

ख़࿅޻൑அϞσϧ ྫ) ই/αϏ൑ఆػ

Slide 50

Slide 50 text

製造部品の不良品検知

Slide 51

Slide 51 text

製造部品の不良品検知 - 傷 - 打痕 - 汚れ - サビ

Slide 52

Slide 52 text

傷や汚れが細かったり

Slide 53

Slide 53 text

様々なパターンの画像が生データとして入ってきたり

Slide 54

Slide 54 text

傷・サビのレベル感や程度で分類する必要があったり ԚΕ Level3 ԚΕ Level1 ԚΕ Level3

Slide 55

Slide 55 text

熟練工判断データセット化の課題 •ը૾্Ͱɺࣝผ͢Δϥϕϧ͕ࡉ͔͍ •ঢ়ଶɾࡱӨ֯౓ɾ໌౓ɾً౓ɾ৭ຯ౳ɺ༷ʑͳੜσʔλͷύλʔϯ͕ λεΫͱͯ͠ೖͬͯ͘Δ •ই΍αϏͷఔ౓Ͱ෼ྨΛߦ͏ඞཁ͕͋Γɺڥքઢ͕ᐆດ

Slide 56

Slide 56 text

解決案1: 画像補正

Slide 57

Slide 57 text

解決案2: 境界線定義 αϏ Level1 αϏ Level2 αϏ Level3 MIN MAX MIN MAX MIN MAX

Slide 58

Slide 58 text

解決案3: チェックフロー定義

Slide 59

Slide 59 text

ϚχϡΞϧվળࢧԉ

Slide 60

Slide 60 text

マニュアル改善支援 ॳ৺ऀ ख़࿅ऀ 1೥ 1ϲ݄

Slide 61

Slide 61 text

マニュアル改善支援 ॳ৺ऀ ख़࿅ऀ OK!

Slide 62

Slide 62 text

マニュアル改善支援 ϚχϡΞϧ ࡞੒ ϚχϡΞϧͷ ਫ਼౓ݕূ ෆ໌఺ڞ༗/ ϑΟʔυόοΫ/ ΞυόΠε ϚχϡΞϧ վળ ϚχϡΞϧਫ਼౓: 62% ϚχϡΞϧਫ਼౓: 80% ϑΟδϏϦςΟ Ξϊςʔγϣϯ ϑΟδϏϦςΟ ݁Ռ ϨϏϡʔ ϚχϡΞϧͷ৘ใ͚ͩ ͰΞϊςʔγϣϯ ϚχϡΞϧਫ਼౓: 92%

Slide 63

Slide 63 text

マニュアル改善支援 ॳ৺ऀ ख़࿅ऀ 1೥ 1ϲ݄

Slide 64

Slide 64 text

Ξϊςʔλʔͷ෼ੳ

Slide 65

Slide 65 text

Ξϊςʔλʔͷ෼ੳ ΞϊςʔλʔͷϩάʢλεΫ਺ɾλεΫͷ։࢝࣌ؒɾλε Ϋͷऴྃ࣌ؒɾNG཰౳ʣΛɺ σʔλϕʔεʹ஝ੵ͓ͯ͘͠ͱଟ༷ͳ෼ੳ͕Ͱ͖Δɻ

Slide 66

Slide 66 text

Ξϊςʔλʔͷ෼ੳ

Slide 67

Slide 67 text

Ξϊςʔλʔͷ෼ੳ

Slide 68

Slide 68 text

ֶशࡁΈϞσϧΛ࢖ͬͨΞϓϩʔν

Slide 69

Slide 69 text

ࣄલਪ࿦

Slide 70

Slide 70 text

ᶃਪ࿦݁ՌͷϑΟʔυόοΫ ᶄΞϊςʔγϣϯ࣌ʹਪ࿦݁Ռ͕ࣄલදࣔ͞Εɺ ࠶ֶश༻ͷΞϊςʔγϣϯίετ͕লྗԽ ࣄલਪ࿦ ABEJA Platform·ͨ͸ ଞͷਪ࿦؀ڥ Annotation

Slide 71

Slide 71 text

効果

Slide 72

Slide 72 text

ࣄલਪ࿦ޮՌ Ξϊςʔγϣ ϯίετ Ξϊςʔγϣ ϯίετ ࣄલਪ࿦ ਪ࿦ແ͠

Slide 73

Slide 73 text

ࣄલਪ࿦ͷཹҙ఺ Ϟσϧͷਫ਼౓͕ߴ͍ఔɺ Ξϊςʔγϣϯ࡞ۀ͕ద౰ Խ͠ɺϞσϧͷؒҧ͍Λݟ མͱ͢Մೳੑ͕ߴ͍

Slide 74

Slide 74 text

ࣄલਪ࿦ʹσίΠΛ͓ࠞͥͯ͘ Θ͟ͱϊΠζΛ͔͚ͨ μϛʔʹ͔͔͍ͬͯͳ͍͔ ఆظతʹνΣοΫ

Slide 75

Slide 75 text

ຊ೔ͷ·ͱΊ

Slide 76

Slide 76 text

• ߴੑೳͷֶशϞσϧΛ։ൃ͢Δҝʹ͸ɺେྔͷϊΠζͷগͳ͍ڭࢣσʔλ Λֶशʹ͔͚Δඞཁ͕͋Δɻ • ೉қ౓ͷߴ͍ΞϊςʔγϣϯͰ΋ɺࡉ͔͍ཁ݅ఆٛ෇͚ɺϑΟʔυόοΫ Λ܁Γฦͤ͹ɺҰఆਫ਼౓Ͱσʔλ࡞੒͕ՄೳʹͳΔɻ • Ξϊςʔλʔͷ෼ੳΛߦ͏͜ͱͰɺΞϊςʔλʔͷಛ௃΍λεΫͷϘτϧ ωοΫΛൃݟ͢Δ͜ͱ͕Ͱ͖Δɻ • ֶशࡁΈϞσϧΛ׆༻͠Ξϊςʔγϣϯʹରͯ͠ϑΟʔυόοΫ͢Δ͜ͱ Ͱɺίετ࡟ݮ΍඼࣭୲อΛߦ͏͜ͱ͕Ͱ͖Δɻ ຊ೔ͷ·ͱΊ