将棋盤を画像認識したかった

Transcript

1. কع൫Λ ը૾ೝ͔ࣝͨͬͨ͠ 0x64෺ޠreboot ୈ2໷ʮػցֶशʯ @na_o_ys
2. ΍Γ͍ͨ͜ͱ ９ ８ ７ ６ ５ ４ ３ ２ １ +---------------------------+ |v香v桂 ・ ・ ・ ・ ・ ・ ・|一 | ・ ・ ・ 馬 ・ ・ 龍 ・ ・|二 | ・ ・v玉 ・v歩 ・ ・ ・ ・|三 |v歩 ・ ・ ・v金 ・ ・ ・ ・|四 | ・ ・v銀 ・ ・ ・v歩 ・ ・|五 | ・ ・ ・ ・ 玉 ・ ・ ・ ・|六 | 歩 歩 ・ 歩 歩v歩 歩 ・ 歩|七 | ・ ・ ・ ・ ・ ・ ・ ・ ・|八 | 香 桂v金 ・v金 ・ ・ 桂 香|九 +---------------------------+ Input Output
3. ྲྀΕ • 1. Ϛε໨ຖͷը૾Λநग़͢Δ • ը૾ॲཧ • 2. Ϛε໨ͷ಺༰ (ۭ or ۨͷ৘ใ) Λਪఆ͢Δ • ػցֶश
4. 1. Ϛε໨ຖͷը૾Λநग़͢Δ
5. Ϛε໨ຖͷը૾Λநग़͢Δ • ·ͣɺকع൫ͷ࠲ඪऔಘ
 -> ͦͯ͠ɺਖ਼໘ਤʹม׵
 -> ࠷ޙʹɺϚε໨ຖʹը૾෼ׂ
6. ࢛۱ͷ࠲ඪΛಛఆͰ͖Ε͹উͪ • ʮ؆୯Ͱ͠ΐʁʯ
 -> ೉͔ͬͨ͠…
7. ͍ΖΜͳಛ௃ݕग़ख๏ (OpenCV) Τοξݕग़ ྠֲݕग़ ઢ෼ݕग़
8. ख๏ • ྠֲݕग़ + ઢ෼ݕग़ + ম͖ͳ·͠๏
9. ྠֲݕग़ • ݕग़͞Εͨྠֲͷू߹ʹରͯ͠ɺ
 (ਖ਼ํܗͬΆ͞ && ໘ੵͷେ͖͞) Ͱ͖͍͠஋Λઃ͚Ε͹ɺ
 େࡶ೺ͳྠֲ͕औΕΔ • ͽͬͨΓʹ͸ͳΒͳ͍ͷͰɺ͔͜͜Βম͖ͳ·͠๏ͰͽͬͨΓΛ୳͢
10. ম͖ͳ·͠๏ • ઢ෼ݕग़ͷ݁ՌΛ࢖͏ • ܩઢ͕Α͘औΕͯΔͷͰ • ίετؔ਺ f Λ༻ҙ͢Δ • f (࢛۱ͷ࠲ඪީิ, ઢ෼ݕग़݁Ռ) = ܩઢͷͽͬͨΓ۩߹ • ࠲ඪΛৼಈͤ͞ͳ͕Βίετؔ਺ͷ࠷খ஋Λ୳͢ • scipy ͷম͖ͳ·͠๏Ϟδϡʔϧ
11. (DEMO)
12. 2. Ϛε໨ͷ಺༰Λਪఆ͢Δ
13. Ϛε໨ͷ಺༰Λਪఆ͢Δ • DeepLearning ͠·͢! • ڭࢣσʔλΛूΊΔ
 -> χϡʔϥϧωοτϫʔΫΛఆٛ͢Δ
 -> ֶशͤ͞Δ
14. ڭࢣσʔλΛूΊΔ • Google ը૾ݕࡧ ʮকعɹۨʯ
15. ۨຖʹτϦϛϯάʢ౒ྗʣ
16. ڭࢣσʔλ֦ு • 700ຕ͘Β͍͔͠ू·Βͳ͔ͬͨ • ଍Γͳ͍ͷͰֶश࣌ʹϊΠζΛՃ͑ͯσʔλΛ૿΍͢ 700ຕ ճస/֦େ/ॖখ 700 * N ຕ૬౰
17. χϡʔϥϧωοτϫʔΫΛఆٛ ͢Δ • CNN (৞ΈࠐΈ3૚ + શ݁߹2૚) • ϋΠύʔύϥϝʔλͷৄࡉ͸ɺखॻ͖׽ࣈೝࣝ཰ 98.5 % ͷ΍ͭΛਅࣅ͢Δ
 https://github.com/KyotoSunshine/CNN-for-handwritten-kanji ը૾ग़య: http://personal.ie.cuhk.edu.hk/~ccloy/project_target_code/index.html
18. NNఆٛͷιʔε model = Sequential() model.add(Conv2D(32, kernel_size=(3, 3), activation='relu', input_shape=input_shape)) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.2)) model.add(Conv2D(64, kernel_size=(3, 3), activation='relu', input_shape=input_shape)) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.3)) model.add(Conv2D(128, kernel_size=(3, 3), activation='relu', input_shape=input_shape)) model.add(MaxPooling2D(pool_size=(2, 2))) model.add(Dropout(0.4)) model.add(Flatten()) model.add(Dense(256, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(256, activation='relu')) model.add(Dropout(0.5)) model.add(Dense(num_classes, activation='softmax')) model.summary() • Keras Λ࢖ͬͨ
19. ֶशͤ͞Δ • ڭࢣσʔλ: 700 ຕ (+ σʔλ֦ு) • ΤϙοΫ਺: 80 • Πϯελϯε: p2.xlarge (1 GPU, 4 CPU, 61 GB RAM) • -> ֶश࣌ؒ 15 ෼͘Β͍
20. (DEMO) • ςετσʔλ(ֶशʹ༻͍͍ͯͳ͍ۨछ)ʹΑΔݕূ:
 ਖ਼ղ཰ 95.8 % ੒ޭ ࣦഊ యܕతͳσβΠϯͷ੒ۜɾ੒ܡ͸ ൑ผՄೳ ಠಛͳϑΥϯτ΋൑ผՄೳ (൚ԽͰ͖͍ͯΔ) σβΠϯʹΑͬͯ͸੒ۜɾ੒ܡɾۚͷ ൑ผ͕Ͱ͖ͳ͍ʢਖ਼ղ͸੒ۜʣ ่Ε͗ͨ͢ϑΥϯτ͸൑ผͰ͖ͳ͍ ʢਖ਼ղ͸੒߳ʣ
21. ·ͱΊ • ൫໘ݕग़: ྠֲݕग़ + ઢ෼ݕग़ + ম͖ͳ·͠๏ • ম͖ͳ·͠ʹ10ඵ͔͔Δͷ͕ωοΫ • Ϛε໨಺༰ਪఆ: CNN • ςετσʔλͰ 95 % ఔ౓ • 99.9 % ͸·ͩԕ͍
22. ࢒λεΫ1 ੒ۜ/੒ܡ/ۚͷࣝผ • ୯Ұͷۨը૾͚͔ͩΒࣝผ͢Δͷ͸ʢਓؒͰ΋ʣෆՄೳ • ਓؒ͸൫্ʹݟ͑Δଞͷ͔ۨΒɺσβΠϯͷ܏޲Λਪఆ͍ͯ͠Δʁ • ͚ۨͩͰͳ͘ɺ(ۨ, [ώϯτۨ]) Λೖྗͱ͢Δ NN Λߏங͢Ε͹Մೳʁ ۚʁ੒ۜʁ੒ܡʁ -> σβΠϯʹΑͬͯͲͪΒ΋͋Γ͑Δ
23. ࢒λεΫ2
 ࣋ͪۨͷݕग़ • ࣋ͪۨྖҬΛఆٛ: • ઌख: ൫໘ͷӈ/Լ • ޙख: ൫໘ͷࠨ/্ • ೚ҙͷҐஔʹ͋Δۨͷݕग़ٕज़͕ ඞཁ • Object Detection