結局Kaggleって何を得られるの？

Slide 1

Slide 1 text

2020.11.14 Naoto Shimakoshi 株式会社ディー・エヌ・エー＋株式会社 Mobility Technologies 結局 Kaggleって何を得られるの？ DsDS Meetup #1

Slide 2

Slide 2 text

2 l ໊લ l ౡӽ ௚ਓ γϚίγ φΦτ l Α͘τϦΰΤͱؒҧ͑ΒΕ·͕͢γϚίγͰ͢ɻ l 5XJUUFS l !OU@P l ܦྺ l ಸྑݝग़਎ l ژ౎େֶ ػցཧ޻ֶઐ߈ ଔۀ l d%F/"৽ଔೖࣾ l d.PCJMJUZ5FDIOPMPHJFTग़޲த ࣗݾ঺հ

Slide 3

Slide 3 text

3 l ,BHHMF l TPMP TPMP l ৭ʑͳυϝΠϯʹ৮ΕΔͷ͕޷͖ͳͷͰɺ৭ʑग़ͯ·͢ ࣗݾ঺հ

Slide 4

Slide 4 text

4 l ࿩͢͜ͱ l Կނࣗ෼͕,BHHMFΛ͍ͯ͠Δͷ͔ l ,BHHMF͕࣮ࡍͲ͏͍͏఺Ͱ໾ʹཱ͍ͬͯΔͷ͔ l Ͳ͏͍͏ϝϯλϦςΟͰ,BHHMFΛͯ͠Δͷ͔ l ͲͪΒ͔ͱ͍͏ͱॳڃऀɾதڃऀର৅ͷ಺༰Ͱ͢ l ౰ͨΓલͷ͜ͱ͔͠࿩͠·ͤΜ l ࿩͞ͳ͍͜ͱ l ,BHHMFͷ۩ମతͳղ๏ l Ͳ͏΍ͬͨΒۚϝμϧऔΕΔʁʢڭ͑ͯཉ͍͠ʣ ˞શͯݸਓతͳҙݟͰ͢ ࠓ೔ͷΞδΣϯμ

Slide 5

Slide 5 text

5 Agenda 01｜なんでKaggleをする？ 02｜Kaggleによって得られたこと

Slide 6

Slide 6 text

6 Agenda 01｜なんでKaggleをする？ 02｜Kaggleによって得られたこと

Slide 7

Slide 7 text

7 何故人々はKaggleをするのか？

Slide 8

Slide 8 text

8 l σʔλαΠΤϯε৬ʹస৬͍ͨ͠ l σʔλαΠΤϯεͷྗΛ৳͹͍ͨ͠ l ීஈͱҧ͏σʔλΛ৮ͬͯΈ͍ͨ l ΩϟϦΞΞοϓʹͭͳ͍͛ͨ l ωτήతʹָ͍͠ l ৆ۚՔ͗ʹͳΓ͍ͨ FUD ਓʑ͕,BHHMFΛ΍Δཧ༝

Slide 9

Slide 9 text

9 l σʔλαΠΤϯε৬ʹస৬͍ͨ͠ l σʔλαΠΤϯεͷྗΛ৳͹͍ͨ͠ l ීஈͱҧ͏σʔλΛ৮ͬͯΈ͍ͨ l ΩϟϦΞΞοϓʹͭͳ͍͛ͨ l ωτήతʹָ͍͠ l ৆ۚՔ͗ʹͳΓ͍ͨ FUD ਓʑ͕,BHHMFΛ΍Δཧ༝ ࣗ෼͸͜Ε

Slide 10

Slide 10 text

l σʔλαΠΤϯε৬ʹస৬͍ͨ͠ l σʔλαΠΤϯεͷྗΛ৳͹͍ͨ͠ l ීஈͱҧ͏σʔλΛ৮ͬͯΈ͍ͨ l ΩϟϦΞΞοϓʹͭͳ͍͛ͨ l ωτήతʹָ͍͠ l ৆ۚՔ͗ʹͳΓ͍ͨ FUD 10 l σʔλαΠΤϯε৬ʹస৬͍ͨ͠ l σʔλαΠΤϯεͷྗΛ৳͹͍ͨ͠ l ීஈͱҧ͏σʔλΛ৮ͬͯΈ͍ͨ l ΩϟϦΞΞοϓʹͭͳ͍͛ͨ l ωτήతʹָ͍͠ l ৆ۚՔ͗ʹͳΓ͍ͨ FUD ਓʑ͕,BHHMFΛ΍Δཧ༝ ࣮ྗ͕਎ʹ͍ͭͯ͘ΔʹͭΕͯ ͜Εʹͳ͍ͬͯͬͯΔؾ΋͢Δ ࣗ෼͸͜Ε

Slide 11

Slide 11 text

11 ೖࣾ౰࣌ͷάϧʔϓͷঢ়گ

Slide 12

Slide 12 text

12 ೖࣾ౰࣌ͷάϧʔϓͷঢ়گ 私

Slide 13

Slide 13 text

13 ೖࣾ౰࣌ͷάϧʔϓͷঢ়گ l ,BHHMFSୡͱಇ͍͍ͯͯɾɾɾ l ٞ࿦ͷεϐʔυ͕଎͍ l ࣗ૸ྗ͕ߴ͍ l ࢥߟϨϕϧ͕ߴ͍ l ࢥߟϓϩηε͕ஸೡ

Slide 14

Slide 14 text

14 Ͳ͏ʹ͔ͯࣾ͠಺ͷ,BHHMFSୡͷϨϕϧʹ௥͍͖͍ͭͨ ٞ࿦ΛަΘͤΔϨϕϧʹͳΓ͍ͨ ,BHHMFΛ΍Δ͔͠ͳ͍ʂ

Slide 15

Slide 15 text

15 ݁Ռ ` ೖࣾ࣌఺ ` ` ` ` ` ` ` େ෼࿩ʹ΋͍͍͚ͭͯΔΑ͏ʹͳΓɺࣗ৴΋͍͖ͭͯͨ TPMP TPMP TPMP TPMP TPMP

Slide 16

Slide 16 text

16 Agenda 01｜なんでKaggleをする？ 02｜Kaggleによって得られたこと

Slide 17

Slide 17 text

17 ࣮ࡍͷ4PMVUJPO͕࣮຿ʹ໾ʹཱͭ͜ͱ͸ɺ ΑͬΆͲίϯϖͱ࣮຿͕ࣅͯͳ͍ݶΓͳ͍ ͨͩ͠ɺ ʮ,BHHMFʹऔΓ૊Μ্ͩͰͷߟ͑ํ΍ܦݧʯ ͸෼ੳɾϞσϦϯάۀ຿ʹ͓͍ͯ͸࣮֬ʹ໾ʹཱͪ·͢ ݁࿦͔Βݴ͏ͱ

Slide 18

Slide 18 text

18 Α͋͘Δ࿩ ,BHHMF͕Ͱ͖Δ͔Βͬͯ ࢓ࣄ͕Ͱ͖Δͱ͸ݶΒͳ͍ΑͶʁ

Slide 19

Slide 19 text

19 ͦ΋ͦ΋࿦ͱͯ͠ɻɻɻ ,BHHMFͰ͸਎ʹ͔ͭͳ͍ೳྗ͕ ͋Δͷ΋౰ͨΓલ Կ͔Λ਎ʹ͚ͭΑ͏ͱͯ͠,BHHMFΛ΍Βͳ͍ͱ Կ΋਎ʹ͔ͭͳ͍ͷ͸౰ͨΓલ

Slide 20

Slide 20 text

20 ྫ͑͹ ݸਓతͳҙݟͰ͢ l /PUFCPPLΛίϐϖͯ͠ɺύϥϝʔλม͑ͯۜϝμϧɾಔϝμϧ l ϝμϧऩूͷͨΊʹ,BHHMFΛ΍ͬͯΔͳΒ͍͍͕ɻɻ l ͤΊͯࣗ෼ͷܗͰ࣮૷͠௚͢ͱ͔ʮԿނͦͷൃ૝͕ग़ͯ͘Δͷ͔ʯΛ ࣗ෼ͷதʹམͱ͠ࠐΉͱ͔͠ͳ͍ͱ਎ʹͳΒͳ͍ l ࣮຿ͰϞσϧΛ࡞Δͱ͖͸͓खຊ/PUFCPPL͸ແ͍ l 5FBNNFSHFͨ͠ΒνʔϜϝΠτ͕΄΅ҰਓͰۚऔͬͪΌͬͨɻɻ l ,BHHMF.BTUFS͔ͩΒ࢓ࣄͰ͖ΔΜͰ͠ΐʁͱͳΔ l த్൒୺ͳ࣮੷͕Ұ൪ࣗ෼ͷटΛߜΊΔɻɻ l ,BHHMFS͸Ϗδωεྗ͕ແ͍ l ϏδωεྗΛڝͬͯΔ༁Ͱ͸ͳ͍ͷͰɻɻ l ࢓ࣄͷҰଆ໘ͷೳྗΛ୲อ͍ͯ͠Δͱࢥ͍ͬͯͩ͘͞

Slide 21

Slide 21 text

21 ͲͷΑ͏ʹͳΓ͍͔ͨΛߟ͑Δ ࣗ෼ͷ৔߹ l ࣗ૸ྗΛ਎ʹ͚͍ͭͨɺࣗ৴Λ͚͍ͭͨ l ͳΔ΂͘TPMPͰࢀՃ͢Δ l 自分の力でここまでできたと自信を持ちたい l ࣮຿Λ૝ఆͯ͠/PUFCPPLͱ͔͸ʢͤΊͯ#BTFMJOF࡞੒·Ͱʣݟͳ͍ l 毎回何も見なかったらこの程度なのかと絶望する l ࢥߟྗΛ਎ʹ͚͍ͭͨ l Կ͔͠ΒͷԾઆΛ࣮࣋ͬͯ૷͢Δ l جຊతͳΤϯδχΞϦϯάྗΛ਎ʹ͚͍ͭͨ l ϞμϯͳπʔϧͳͲ৭ʑࢼͯ͠ΈΔ l ࣮຿ͷίʔυͩͱ޷͖์୊Ͱ͖ͳ͍͔Βࢼ͢৔ͱͯ͠࠷ద l ࣮຿ʹؐݩͰ͖ͨΒ࠷ߴ

Slide 22

Slide 22 text

22 ݁Ռ਎ʹ͍ͭͨ͜ͱ ` ೖࣾ࣌఺ ` ` ` ` ` ` `

Slide 23

Slide 23 text

23 ࣗ૸ྗ l ,BHHMFͷίϯϖʹࢀՃ͢Δ͜ͱ͸খ͍͞ϓϩδΣΫτʹࢀՃ͢Δ͘Β͍ମ ྗͱਫ਼ਆྗΛ࢖͏ l Ұ͔Βͷ࣮૷ܦݧ l Ծઆݕূͷϓϩηεͷ܁Γฦ͠ l ࣦഊͱ੒ޭͷ܁Γฦ͠ͷܦݧ ࣦഊ ੒ޭ l Do everythingの精神 (めちゃくちゃ大事) l データに対する勘所が身についてくる ࣮຿Ͱ΋ɺ؆୯ͳ෼ੳɾϞσϦϯά͘Β͍ͳΒ ࣗ৴Λ࣋ͬͯҰਓͰ͜ͳͤΔΑ͏ʹͳͬͨ

Slide 24

Slide 24 text

24 ࢥߟྗ l ྑ͋͘Δྫ l $7ྑ͘ͳ͚ͬͨͲɺ1VCMJD͸Լ͕ͬͨɻɻ l $7ྑ͘ͳΓɺ1VCMJD΋ྑ͘ͳ͚ͬͨͲ1SJWBUFͰ4IBLFEPXOͨ͠ɻɻ l 実務では割と気付きにくい l ҎલͷίϯϖͰ͏·͍ͬͨ͘ํ๏͕ࠓճ͸͏·͍͔͘ͳ͍ɻɻ l ࿦จͰ4P5"ͷख๏Λ࣮૷͕ͨ͠ɺ͏·͍͔͘ͳ͍ɻɻ ˢͷΑ͏ͳࣄྫʹରͯ͠ԾઆΛ࣋ͬͯ ͔ͬ͠Γߟ͑Δ͜ͱͰࢥߟྗ͕਎ʹ͍͍ͭͯ͘

Slide 25

Slide 25 text

25 ΤϯδχΞϦϯάྗ c࣮ݧ؅ཧ l ,BHHMFॳ৺ऀͩͬͨ࣌ ΄ͱΜͲ ಉ͡ϑΝΠϧ utils.pyの一部を書き換えたら全部書き換えなきゃダメ Git上で差分が分かりづらいコードの量が肥大化していき、管理できなくなる

Slide 26

Slide 26 text

26 ΤϯδχΞϦϯάྗ c࣮ݧ؅ཧ l ࠓͩͱ (大分基本的なことですが) 共通なものは共通の場所を参照する実験によって変えたいパラメータはハードコードせずyamlを参照するバージョン管理はgitで ˞DPOGJHQZ೿ͷਓ΋͍ͯͦͷลΓ͸޷Έͩͱࢥ͍·͢ ͪΌΜͱ؅ཧͰ͖ΔίʔυΛॻ͘͜ͱ͸ όάΛݮΒ͢ɺਖ਼࣮͘͠૷͢Δ্Ͱඇৗʹॏཁ

Slide 27

Slide 27 text

27 ΤϯδχΞϦϯάྗ c࣮ݧ؅ཧ l )ZESBͳͲΛ࢖͏ͱZBNMͷ಺༰ΛίϚϯυҾ਺Ͱม͑ΕΔ l PTQBUIKPJO஍ࠈͳͲ͔Β΋ղ์͞ΕΔ yaml内 .shファイル内 https://github.com/facebookresearch/hydra

Slide 28

Slide 28 text

28 ΤϯδχΞϦϯάྗ c࣮ݧ؅ཧ l ͍Ζ͍Ζࢼͯࣗ͠෼ͷதͰͷ5JQTΈ͍ͨͳͷ͕ͨ·͍ͬͯ͘ l ($4ʹCBDLVQΛ࢒͓ͯ͘͠ l 74$PEF 3FNPUF%FWFMPQNFOU%PDLFSͰ։ൃ؀ڥߏங l 8#Ͱϩά؅ཧ IUUQTXXXXBOECDPN l Lossだけじゃなく、実験を行ったcommit idや引数なども保存してくれる

Slide 29

Slide 29 text

29 ΤϯδχΞϦϯάྗ cͦͷଞ l ଞʹ΋৭ʑͳπʔϧͷ࢖͍উखΛࢼ͢৔ॴͱͯ͠ஸ౓ྑ͍ l %FFQ(SBQI-JCSBSZ %(- l 3"1*%4 l 1ZUPSDI-JHIUOJOH l "*1MBUGPSN

Slide 30

Slide 30 text

30 ͦͷଞ ໾ʹཱͭ͜ͱ l ͳΜ͔ͩΜͩ/PUFCPPL΋1BOEBTͷॻ͖ํ΍ՄࢹԽͷ࢓ํͳͲࢀߟʹͳΔ෦ ෼͸݁ߏ͋Δ Ԛ͍ίʔυ΋ଟ͍ l ίϯϖΛ͢Ε͹͢Δ΄Ͳίʔυࢿ࢈͕ஷ·Δɻίʔυ͕ચ࿅͞ΕΔɻ l ࣮຿Ͱྲྀ༻Ͱ͖Δ෦෼΋ଟ͍ l ίʔυΛॻ͘ྔ͕࣮຿͚ͩΑΓΊͪΌͪ͘Ό૿͑ΔͷͰɺ࣮૷׳Εͯ͘͠Δ l ॳΊͯ৮ΕΔEPNBJOͷσʔλΛѻ͏࿅शʹͳΔ l 5FBN.FSHF͸ѱͰ͸ͳ͍ l ࣗ෼͸ࣗ૸ྗΛཆ͍͔ͨͬͨͷͰɺTPMPͰࢀՃ͢Δ͜ͱ͕ଟ͔ͬͨͷ Ͱ͕͢ɺ5FBN.FSHFͰͷֶͼ͸ͱͯ΋ଟ͍ͱࢥ͍·͢ l Կ΋ͯ͘͠Εͳ͍ɺνʔτ͞ΕΔ৔߹ѱʹ΋ͳΓಘΔͷͰɺਓΛબΜ Ͱ.FSHF͠·͠ΐ͏

Slide 31

Slide 31 text

31 ·ͱΊ l Ͳ͏ͤ,BHHMFΛ΍ΔͳΒʮԿΛ਎ʹ͚͍͔ͭͨʯΛҙࣝ͢Δ l ͪΌΜͱҙࣝͯ͠औΓ૊ΉͷͰ͋Ε͹ɺҎԼͷΑ͏ͳೳྗ͕਎ʹͭ͘ ͍ͭͨ l ࣗ૸ྗ l ࢥߟྗ l ࣮ݧ؅ཧೳྗ l ࣮૷ྗ l ʢ΋ͪΖΜ࣮຿Ͱ͔͠਎ʹ͔ͭͳ͍ೳྗ΋͋ΔͷͰ࣮຿΋ؤுΓ·͠ΐ͏ʣ

Slide 32

Slide 32 text

32 Mobility Technologiesでは中途入社してくれる方大募集！配車アプリGOサービスにおいて、需要予測、経路推薦などでデータサイエンスを活用しています。ドライブレコーダーから得られる映像・センサーデータを用いた安全運転支援や、3D地図作成などにデータサイエンスを活用しています。 • Mobility Technologies͸ʮҠಈͰਓΛ޾ͤʹɻʯΛϛογϣϯʹɺ೔ຊͷϞϏϦςΟ࢈ۀΛΞ οϓσʔτ͢Δ༷ʑͳITαʔϏεͷఏڙΛߦ͍ͬͯ·͢ɻ • DeNAΦʔτϞʔςΟϒࣄۀΛձࣾ෼ׂ͠ɺJapanTaxiͱ౷߹ͨ͠ձࣾͰ͢ɻ

Slide 33

Slide 33 text

33 Thank you for your listening !!