フロントエンドだけで機械学習

フロントエンドカンファレンス沖縄で発表したスライドです

Transcript

1. ϑϩϯτΤϯυ ΧϯϑΝϨϯεԭೄ2022 ϑϩϯτΤϯυ͚ͩͰػցֶश @aipacommander 2022/11/19
2. ࣗݾ঺հ • @aipacommanderʢΞΠύʔୂ௕ʣ • ԭೄݝͰ࠺ͱࢠڙ2ਓͱݘ2ඖͱೣ1ඖͰੜ׆ • CBCloudגࣜձࣾͰۈ຿͢ΔϑϩϯτΤϯυΤϯδχΞʢݞॻʣ • ೖࣾͯ͠ಡΈॻ͖ͨ͠ݴޠ͸DartʢFlutterʣɺScalaɺRubyɺGASɺPython… • ϑϩϯτΤϯυΤϯδχΞɾɾɾɾʁ • ໿3ϲ݄લ͸ɺͪΎΒσʔλʹ͍·ͨ͠
3. ͓΍ɾɾɾʁ
4. લ৬ vs ݱ৬ ʢ͜ͷεϥΠυ͸ൃදޙʹരൃͯ͠ফ͑·͢ʣ
5. ຊ೔࿩͢͜ͱ
6. https://www.tensor fl ow.org/js
7. TensorFlow.jsͱ͸ • ϒϥ΢βʢJavaScriptʣͰσΟʔϓϥʔχϯάͰ͖Δ͍͢͝΍ͭ • Tensor fl owʢPythonʣΛ஌ͬͯͨΒॻ͚ͦ͏ͳงғؾͷ͍͢͝΍ͭ • Ұੲલ͸deeplearn.jsͱݺ͹Εͯͨॏ͍΍ͭʢ๻ͷओ؍ʣͩͬͨ • 2022೥ݱࡏ͸౰࣌ͱൺ΂ͨΒര଎ʹͳ͍ͬͯΔ͍͢͝΍ͭ
8. Ͱ͖Δ͜ͱʢGoogleͷϒϩάΑΓʣ • ͜Ε·Ͱग़͖ͯͨϞσϧ͸͍͍ͩͩΠέΔʢงғؾʣ • BodyPixʢGoogle meetʹ͋Δഎܠ΅͔͠ʣ • BERTΛ࢖ͬͨChrome Pluginʢϖʔδ಺ݕࡧػೳʹ࣭໰Λॻ͘ͱɺ ֘౰ʢճ౴ͱ༧ଌ͞Εͨʣจষ͕ϋΠϥΠτ͞ΕΔʣ
9. ͠Ύ͍͝ʢ͍͢͝ʣ
10. ʢվΊͯʣ ຊ೔࿩͢͜ͱ
11. ຊ೔࿩͢͜ͱ •؆୯ͳνϡʔτϦΞϧ • ม਎σϞ → ແཧͰͨ࣍͠ճ • ήʔϜͱউෛ͢ΔσϞ → ࡢ೔׬੒ͤ͞Δ༧ఆ͕ͩͬͨಥવ໺ੜͷҿΈձ͕(ry 
 
 
 ※Nuxt3ͷઆ໌͸͠ͳ͍Ͱ͕͢ɺσϞ͸Nuxt3্Ͱಈ͍͍ͯ·͢
12. ؆୯ͳνϡʔτϦΞϧ
13. ༻ҙ͢Δ΋ͷ https://avinton.com/blog/2018/03/single-shot-multibox-detector-explained1/
14. TensorFlow Hub https://t fh ub.dev/tensor fl ow/ssd_mobilenet_v2/2
15. εςοϓ 1. TensorFlow.jsͷΠϯετʔϧ 2. WebΧϝϥ͔ΒಈըͷऔಘˠCanvas΁දࣔ 3. ϞσϧͷηοτΞοϓ 4. Ϟσϧʹೖྗ͢Δ 5. Ϟσϧͷग़ྗΛՃ޻͢Δ 6. ݁Ռදࣔ
16. ᶃScriptλάɾnpmɾyarnͰΠϯετʔϧ https://www.tensor fl ow.org/js/tutorials/setup?hl=ja
17. ᶄಈըʢը૾ʣΛೖྗ͢Δ४උ̍
18. ᶄಈըʢը૾ʣΛೖྗ͢Δ४උ̎
19. ᶅϞσϧͷηοτΞοϓ
20. ᶆϞσϧʹΧϝϥ͔Βͷσʔλʢը૾ʣΛ ೖྗ͢Δ̍
21. ᶆϞσϧʹΧϝϥ͔Βͷσʔλʢը૾ʣΛ ೖྗ͢Δ̎
22. ᶆϞσϧʹΧϝϥ͔Βͷσʔλʢը૾ʣΛ ೖྗ͢Δ̏
23. ᶆϞσϧʹΧϝϥ͔Βͷσʔλʢը૾ʣΛ ೖྗ͢Δ̐ 1൪໨͸ϥϕϧ(ཁૉ൪߸)ͱ ༧ଌ֬཰ʢ1ʹ͍ۙ΄Ͳࣗ৴͕͋Δʣ ̎൪໨͸bounding boxͷҐஔ [y, x, yͷେ͖͞, xͷେ͖͞]
24. ิ଍ https://avinton.com/blog/2018/03/single-shot-multibox-detector-explained1/ ̎൪໨͸bounding boxͷҐஔ [y, x, ॎͷαΠζ, ԣͷαΠζ] : [0, 0] 9 [y, x] ԣͷαΠζ ॎͷαΠζ [ ॎͷαΠζ - y, ԣͷαΠζ - x ]
25. ᶇϞσϧͷग़ྗΛՃ޻͢Δˠᶈ݁Ռදࣔ
26. σϞ
27. ͳͥͳͷ͔ ʘiϑΟʔϧυ!!ʗ • ݕग़݁Ռશ෦දࣔ͢Δͱ͜͏ͳΔ • ϑΟϧλͷςΫχοΫʢSSDͷجຊͷ࿩ʣ • ༧ଌ֬཰ʢ৴པ౓ʣͰߴ͍ॱʹιʔτͯ͠ϑΟϧλ • Intersection over UnionʢIoUʣͰϑΟϧλ • 2ͭͷbounding box͔ΒείΞΛܭࢉ͢Δ • bounding box͕׬શʹॏͳ͍ͬͯͨΒ1ʹͳΔ • ͋ΘͤͯɺNonmaximum suppressionʢNMSʣͰ 
 ॏͳ͍ͬͯͯ׌ͭɺIoU͕খ͍͞bounding boxΛ࡟আ
28. ͳΜͱ࣮૷͞Ε͍ͯΔ
29. ࠶ͼσϞ
30. ·ͱΊ
31. ·ͱΊ • ϒϥ΢βʢJavaScriptʣͰσΟʔϓϥʔχϯά͸Ͱ͖Δ • ࠓ೔͸঺հͰ͖ͳ͔ͬͨͰ͕͢ɺ͍ΖΜͳ͜ͱ͕Ͱ͖Δ • ϒϥ΢βͰֶश΋Ͱ͖ΔɺసҠֶश΋͍͚Δ • όοΫΤϯυʹWASM͕༻ҙ͞Ε͍ͯΔͨΊɺΑΓϙʔλϒϧʹ ʢNode.js͕ಈ͘αʔόͰ΋ಈ࡞͢Δʣ
32. ͓·͚σϞʢ͕࣌ؒ͋Ε͹ʣ
33. ENDʢདྷ೥͸ո्ͷ೥ʂʂʣ