urban data challenge with dash

F3eb7cf23caf810b30aa798e335039d0?s=47 Hide Ogawa
February 15, 2019
330

urban data challenge with dash

はんなりPythonの会#14 

F3eb7cf23caf810b30aa798e335039d0?s=128

Hide Ogawa

February 15, 2019
Tweet

Transcript

  1. ඈࣖ௕໨ ඈࣖ௕໨ Urban Data Challenge with Dash Chomoku Hideyuki Ogawa

    (@ogawahideyuki)
  2. ඈࣖ௕໨ ඈࣖ௕໨ ࣗݾ঺հ খ઒ɹӳ޾ !PHBXBIJEFZVLJ  ߹ಉձࣾ௕໨ܦӦ ۚ༥ɺσʔλɺϒϩοΫνΣʔϯͷձࣾͰ͢ ͸ΜͳΓ1ZUIPOɺ#MPDLDIBJO0TBLBΦʔΨφΠβʔ ࢲࣗ਎͸ʮԿࣄ΋શྗͰʂʯΛϞοτʔʹ

  3. ඈࣖ௕໨ ඈࣖ௕໨ %BTIͱ͸ʁ 1ZUIPOͷՄࢹԽϑϨʔϜϫʔΫ1MPUMZͱ 'MBTLɺ3FBDUΛ଍ͨ͠΋ͷɻ΢ΣϒΞϓϦέʔγϣϯʹͰ͖Δɻ IUUQTEBTIQMPUMZ 1MPUMZࣗମ͕͔ͳΓΠϯλϥΫςΟϒʹಈ͘ͷʹՃ͑ɺ ཁૉͷબ୒ͳͲ͕πʔϧ΍ίʔϧόοΫͱ͍͏ػೳΛ࢖ͬͯ ඳ͚ΔͷͰσʔλΛ͍Ζ͍Ζͳ֯౓͔ΒݟΒΕΔʂ ͋ͱ͍Ζ͍Ζͳਓͱڞ༗ͯ͠

    ৭ʑҙݟΛͿ͚ͭ߹͏ͱ͔෺ੌ͘ྑ͍ͱࢥ͏ɻ ͪΐͬͱ͚ͩίʔυΛݟͯΈ·͠ΐ͏ɻ
  4. ඈࣖ௕໨ ඈࣖ௕໨ ΞʔόϯσʔλνϟϨϯδͱ͸ʁ IUUQVSCBOEBUBDIBMMFOHFKQBCPVU ஍Ҭ՝୊ͷղܾΛ໨తͱ࣏ͨࣗ͠ମΛத৺ͱ͢Δ ެڞσʔλͷ׆༻ͨ͠೥ؒͷΠϕϯτ։࠵Λ൐͏ ҰൠࢀՃܕίϯςετ ·͊ૣ͍࿩͕ɺσʔλΛѻ͏৆ۚ෇͖ͷ ίϯςετ͕͋Δͬͯ͜ͱ΍ͳ

  5. ඈࣖ௕໨ ඈࣖ௕໨ σʔλݩʑ޷͖΍͠ɺ৆ۚ΋ग़ΔΈ͍ͨ΍͠ɺ %BTI͓͡͞Μͱͯ͠ͷ஍ҐΛ֫ಘ͢ΔͨΊʹग़Δ͔ʂ ୈҰಈػ ୈೋಈػ ۚ༥ͷੈքͰ΋ΦϧλφςΟϒσʔλ͸΍ͬͯΔ͠ ΍͓͍ͬͯͨΒ͍Ζ͍Ζ໾ʹཱͭͰʂ ్த͔Βͷಈػ ೔ຊͷ౷ܭ΍͹͍͠ɺσʔλΛ࢖ͬͯ

    ༧ࢉ͕ճ͞ΕΔΑ͏ʹ͠ͳ͍ͱɺϗϯϚ೔ຊ΍͹ͳΔͰʂʂ Ϟνϕʔγϣϯ
  6. ඈࣖ௕໨ ඈࣖ௕໨ ·͊ͳΜ͔ͦΜͳงғؾ͸͋Γ·͚ͨ͠ͲͶ͐ʙ ͔Μ΂͍ͷෆنଇൃݴ݄೔ IUUQUBNFJLFOFUEJBSZKBOIUN ͜Ε͸࢖͑ΔσʔλΛ୳ͯ͠׆༻Ͱ͖Δͱࣔ͞ͳ͍ͱ σʔλͳ͘ͳΔ͔΋͠ΕΜʂʂʂ

  7. ඈࣖ௕໨ ඈࣖ௕໨ ͱ͍͏Θ͚Ͱɺ େࡕͷަ௨σʔλͷมԽΛͪΐΖͬͱݟΑ͏ͱ͍͚ͯͨ͠Ͳɺ ॴಘͱ͔৭ʑͳσʔλΛՄࢹԽͯ͠Έ·ͨ͠ɻ IUUQTPTBLBUBLPZBLJIFSPLVBQQDPN ༧૝֎ͩͬͨ͜ͱ େࡕࢢͷΦʔϓϯσʔλͷαΠτ͕࡞඼࡞੒தʹ ࢖͑ͳ͔ͬͨɾɾɾ ΋͏Ұͭ͸ژ౎ͷ॓ധॴͷՄࢹԽ

    ͜Ε͸લ͔Β࡞͍ͬͯͨ΋ͷʹͪΐͬͱσʔλΛ଍ͨ͠ɻ IUUQTNZEBTILZPUPIFSPLVBQQDPN
  8. ඈࣖ௕໨ ඈࣖ௕໨ େมͩͬͨ͜ͱ ΤΫηϧσʔλͰ೥ҐͰ୲౰ऀ͕มΘΔͷ͔ ࡞Γ͕มΘΔͷͰɺϓϩάϥϜ࡞ͬͯ΋೥ָ͔ͤͯ͠͞΋Β͑ͣɺ ·ͨɺΤΫηϧΛݟͳ͕Βௐ੔͠ͳ͍ͱ͍͚ͳ͔ͬͨ͜ͱɻ ͜Ε͸·͡Ͱ΍͹͍ɻ ࣄྫ େࡕࢢɹࣗಈंอ༗୆਺ IUUQXXXDJUZPTBLBMHKQUPTIJLFJLBLVQBHFIUNM

    ਖ਼௚೔͘Β͍ίϨͷॲཧʹඅ΍ͨ͠ɻ ࠷ॳ͜Μͳࣄ͕͋Δͷ͔ͱࢥͬͨɻ ಉ͡σʔλΛҧ͏ߦʹೖΕͯͨΓΞϗ͔ͱࢥͬͨɻ IUUQTHJUIVCDPNNB[BSJNPOPVSCBO@EBUB@DIBMMFOHF@PTBLBCMPCNBTUFS EBUBDBS@BMM@BMMDTW
  9. ඈࣖ௕໨ ඈࣖ௕໨ ژ౎ͷཱྀؗσʔλͷ࡞Γํ ɾσʔλ͸ΤΫηϧɻॅॴͳͲ͕ࡌ͍ͬͯΔ ɾ͔ͬ͜Α͘஍ਤʹϓϩοτ͍ͨ͠ͳͱࢥͬͨɻ ɾ஍ਤʹϓϩοτ͢Δ৔߹ɺܦ౓ͱҢ౓͕ඞཁͰ͋Δ͜ͱ͕Θ͔ͬͨɻ ɾͳΜ͔άʔάϧ͸༗ྉͬͯ৘ใ͕͋ͬͨͷͰ ϠϑʔͷδΦίʔμʔ"1*Λ࢖ͬͨ IUUQTEFWFMPQFSZBIPPDPKQXFCBQJNBQPQFOMPDBMQMBUGPSNW HFPDPEFSIUNM

    ɾͲ͏΋׬શͳҐஔ৘ใ͸ಘΒΕͳ͍ ʢԿஸ໨୯Ґʣ͔͔͠͠ͿΓ͸ͳ͍Α͏ʹݟ͑Δɻ ɾͦͷͨΊॅॴΛ࡟Γͳ͕ΒҐஔσʔλΛಘΔΑ͏ʹͨ͠ɻ
  10. ඈࣖ௕໨ ඈࣖ௕໨ ژ౎ͷཱྀؗσʔλͷ࡞Γํ  ɾ࠷ॳ͸จࣈ࡟Γͳ͕Β౴͕͑ݟ͔ͭΔ·Ͱ͍ͬͯ͏ ࡞ۀΛߦ͍ͨ͘ͳͬͨɻ͔֬࠶ؼؔ਺ͬͯͷͰग़དྷΔΜ͡Όͳ͔͚ͬͨͬʁʁ Ͳ͔͜ͰಡΜ͔ͩͳ͊ͱࢥ͕ͬͨɺ ͜ͷຊʹ͋ͬͯ࡞Δ͜ͱ͕Ͱ͖ྑ͔ͬͨɻ ৭ʑ࡞Γ࢝ΊΔͱΞϧΰϦζϜͬͯॏཁͩͳ ͬͯࢥ͑ͨɻ

  11. ඈࣖ௕໨ ඈࣖ௕໨ ژ౎ͷཱྀؗσʔλͷ࡞Γํ  ஍ਤσʔλͷϓϩοτ ͻͱ·ͣNBQCPYͱ͍͏αʔϏεΛ࢖͏Α͏ͳͷͰJE QBTTXPSEͱτʔΫϯΛ࡞Δɻ Ͳ͜ͰώϯτΛಘ͔ͨ๨Ε͕ͨฏ໘ΑΓࣼΊ͔Βݟͨ΄͏͕̏%ͬΆ͘ ख͕͔͔͍ͬͯΔΑ͏ʹݟ͑ΔͷͰͦͷΞΠσΞΛ࠾༻ͨ͠ɻ ΍ͬͨ͜ͱ͸ͻͱͭͣͭϒϩάΛ࡞͓ͬͯ͘ͱ

    ݟฦͤɺͦͷ࣌ʹߟ͑ͨ͜ͱ͕Θ͔ͬͯྑ͍ɻ IUUQTXXXNB[BSJNPOPOFUFOUSZ PQFOEBUB@WJTVBMJ[BUJPO@XJUI@QMPUMZ
  12. ඈࣖ௕໨ ඈࣖ௕໨ ژ౎ͷཱྀؗσʔλͷ࡞Γํ ̐ IFSPLVʹ͋͛Δ ࣮͸͕͜͜%BTIͰҰ൪ϏοΫϦͨ͠఺Ͱɺ ؆୯ʹ΢ΣϒͰશһʹڞ༗Ͱ͖Δͬͯͱ͜Ζ͕ ྑ͍ͱࢥͬͯ·͢ɻʢIFSPLV͕ੌ͍ʁͲͬͪʁͲͬͪ΋ੌ͍ʁʣ ΍Γ͔ͨ IUUQTEBTIQMPUMZEFQMPZNFOU

    ɾϩʔΧϧͰಈ͘΋ͷʹJNQPSUPTɺTFSWFSBQQTFSWFSͬͯจݴΛ଍͢ɻ ɾHJUJHOPSFϑΝΠϧΛ࡞Δɻ ɾ1SPDpMFΛͭ͘Δɻ ɾSFRVJSFNFOUTUYUΛͭ͘Δɻ ɾίϚϯυΛ̑ߦॻ͘ʂ ɾૣ͍ʂ؆୯ʂIFSPLVੌ͍ ɾະͩʹ714΁ͷ͋͛ํΛ෼͔͍ͬͯͳ͍
  13. ඈࣖ௕໨ ඈࣖ௕໨ ژ౎ͷཱྀؗσʔλ׆༻ํ๏Ҋ ॓ധࢪઃͷ૿Ճͱژ౎ͷ॓ധऀͷؔ܎ ૿͑࢝Ίͨ೥·Ͱ͔͠·ͩσʔλ͕ఏڙ͞Ε͓ͯΒͣɾɾ σʔλʹͳ͍৔ॴ͕ຊ౰ʹͳ͍ͷͰ͋Ε͹ɾɾ ަ௨खஈͷൃୡ͕ॏཁʹࢥ͏ɻ ೆͷํΛݟͯΈΔͱɺ஍ԼమԊઢ͸॓ധࢪઃ͕ ͋Δ͕ɺ஍Լమ͕௨͍ͬͯͳ͍ೆ۠ͷ΄͏͕ͳ͍ɻ ͦ͏͍͏஍ҬͬͯΠϯό΢ϯυͷޮՌΛड͚͍ͯͳ͍

    ͱߟ͑ΒΕɺͦͷԸܙΛ༩͑ΔΑ͏ͳ੓ࡦ͕ඞཁɻ
  14. ඈࣖ௕໨ ඈࣖ௕໨ େࡕσʔλ֓؍ ɾͳΜ͔౷ܭࣄ݅΋͋Γɺ౷ܭσʔλΛͱΓ͋͑ͣ ͨ͘͞Μ٧ΊࠐΉํ਑ʹͨ͠ɻ͔͠͠ɺΦʔϓϯσʔλαΠτ͕ ࢖͑ͳ͍ͱ͍͏ΞΫγσϯτ΋ɻ ɾσʔλΛݟ͍ͯΔͱ༧ࢉ͕ݮগ͍ͯ͠ΔӨڹ͔ʢόΠΞε͔͔ͬͯΔʁʣ σʔλͷࡉ͔͕͞ͳ͘ͳ͍ͬͯΔͱ࣮ײͰ͖Δσʔλ΋ଟ͘ݟΒΕͨɻ ɾͰ΋ࢥ͍ͷ֎σʔλ͸ଟ͋͘Γɺ ͜ΕͬͯϏδωε΍Δ্Ͱνϣοτ׆༻͢Δ͚ͩͰ༏Ґʹ

    ಇ͘ΜͰ͸ͳ͍͔ͱࢥͬͨɻ ɾ࡞Γํ͸ͱΓ͋͑ͣΤΫηϧσʔλΛྑ͘ݟͯʢॏཁʣɺ QBOEBTͰ͜ͶΔʂDTWͩͱߦ͕ͣΕͯΔͱ͔ͳ͍ͷͰྑ͔ͬͨɻ
  15. ඈࣖ௕໨ ඈࣖ௕໨ େࡕσʔλ͔Β֞ؒݟ͑ͨ͜ͱ ɾਓޱಈ޲ΛݟΔͱɺେࡕࢢશମͰ͸̎̌೥Ͱ̐ˋऑਓޱ͕૿͍͑ͯΔɻ ɾ͔͠͠ɺਓޱͷਪҠ͸۠͝ͱʹόϥόϥɻ ɾҰൠʹΨϥ͕ѱ͍஍Ҭ͕ݮগ܏޲ʹ͋Γͦ͏͕ͩɺ ࣄ݅ൃੜͷώετϦΧϧͱ͔ݟ͚ͭΒΕͳ͔ͬͨͷͰͳΜͱ΋ݴ͑ͳ͍ɻ ɾਓޱݮগ஍ҬͰ΋ੈଳ਺ΛݟΔͱݮ͍ͬͯΔͱ͜Ζ͸গͳ͍ɻ ɾࣗಈं୆਺͸ݮ͍ͬͯΔ͚Ͳɺී௨৐༻ं͸૿͍͑ͯΔɻ ঎༻ं͕ݮ͍ͬͯΔɻʢौ଺࣌ؒ͸ܶతʹݮগʣ

    ɾόεར༻͸ͨͩͻͨ͢Βݮগɻ஍Լమ͸ճ෮܏޲ɻ ɾࢲమͷར༻͸ݮগɻ+3͸ڧ͍ɻ
  16. ඈࣖ௕໨ ඈࣖ௕໨ େࡕσʔλͰ͸ྔ͕ଟ͘ͳΔͷͰλϒΛ࢖ͬͯΈͨ ΍ͬͯΈ͚ͨͲɺλϒ࢖͏ͱը໘ͷԼ·ͰݟͨΒ ্͍͍ͪͪ·Ͱ໭Βͳ͍ͱ͍͚ͳ͍ͷͰɺ͜Ε͸͋·Γྑ͘ͳ͍ͷͰ͸ɾɾɾ IUUQTEBTIQMPUMZEBTIDPSFDPNQPOFOUTUBCT λϒ͸ίʔϧόοΫͰར༻͢Δํ๏ͱλϒͷதʹνϧυϨϯͱͯ͠ ར༻͢Δํ๏ͷ͕̎ͭ͋Δɻ λϒͷத਎΋ίʔϧόοΫ͢ΔͷͰɺνϧυϨϯͰ࡞Γ·ͨ͠ɻ ίʔυΛॻ͍͍ͯΔײ͡Ͱ͸ϖʔδͷ͸͡Ίʹ

    EDD5BC ͱ͚ͭΔ͚ͩͳͷͰɺ͋·Γ໘౗͞͸ͳ͍͚Ͳɻ
  17. ඈࣖ௕໨ ඈࣖ௕໨ Ͳ͏ݟͤΔ͔ͷ໰୊ ͱΓ͋͑ͣɺ͢΂ͯͷ஍ҬΛ͍ͬ΃ΜʹݟΒΕͨ΄͏͕ Θ͔Γ΍͍͢΍Ζͬͯ͜ͱͰશ෦͍ͬ΃Μʹݟͤͨɻ ͔͠͠ɺຌྫ͕શ෦ग़͍ͯͳ͍ɻ ্ݶͱ͔͋Δͷ͔ͳ͊ɾɾɾ ผ݅ͰશࠃͷσʔλʹऔΓ૊ΜͰ͍ΔͷͰ͕͢ɺ ͦΕͰ͸͍͔ͭ͘ΛϐοΫΞοϓͯ͠௥ՃͰ͖ΔΑ͏ʹ͍ͯ͠Δɻ IUUQTTZPLFOLFJ[BJIFSPLVBQQDPN

    ͻͱͭͣͭυϩοϓμ΢ϯϝχϡʔͰݟΒΕΔ Α͏ʹ΋͕ͨ͠ɺબ୒ࢶ͕ଟ͍ͱɺͦΕ͸ͦΕͰ໘౗͍͘͞ɻ ߲໨͕ଟ͍ͱνΣοΫϘοΫε͕ྑ͕͛ͩ͞ɺ ཁૉ͕̎ͭͱ͔ʹͳͬͯޓ͍ʹ߲໨͕େྔͱ͔ ͳͬͨ৔߹Ͳ͏͢Δ͔ͱ͔ɾɾɾ
  18. ඈࣖ௕໨ ඈࣖ௕໨ εϥΠμʔಈ͔ͳ͍໰୊ ͸ΜͳΓ1ZUIPOͷϋϯζΦϯͳΜ͔Ͱ΋ ૽͍Ͱ͍͔ͨ΋͠Ε·ͤΜ͕ɺωοτʹ্͛ΔͱͳΜ͔ εϥΠμʔ͕ಈ͖·ͤΜʢϩʔΧϧͰ͸ಈ͘ʣɻ ͜Ε΋͋͛ͯͪΐͬͱ͔ͯ͠Βࢥ͍ग़ͨ͠ͷͰ ಈ͔ͳ͍··ͷ࡞඼ͱͳͬͨʢఏग़͕ΪϦΪϦͰͦͷ೔΋ΊͪΌ๩͔ͬͨ͠ɾɾɾʣ ίϛϡχςΟʔͰฉ͍ͯΈΔ΂͖Ͱ͠ΐ͏Ͷ ʢ࣍ճ·Ͱʹ͸ɾɾɾʣ

  19. ඈࣖ௕໨ ඈࣖ௕໨ ·ͱΊ ɾ1%'දࣔ༻ͷΤΫηϧΛ࢖͑ΔΑ͏ʹ͢Δͷ݁ߏ໘౗ ɾ͔͠͠ɺ͔ͬ͠Γ͍ͯ͠ΔެతͳػؔͰ͜ΕͩͬͨΒࢲاۀ͸ɾɾɾ ɾࠃͷσʔλ͹͔Γݟ͖͚ͯͨͲࢢொଜ୯ҐͰ৭ʑͳσʔλ͕͋Γͦ͏ ɾࠓճ͸ืू̍ϲ݄લͱ͔ʹؾ෇͍͚ͨͲɺ࣍ճ͸ΠϕϯτΛ։࠵ͯ͠ ༧ࢉ̍̌ສԁ΋ΒͬͯͳΜ͔੝େʹ΍ͬͯΈ͍ͨʂʂʂ ɾͦΕΛ࢖࣮ͬͯࡍʹϏδωεΛͯ͠Ք͍Ͱ੫ۚऩΊͯ ͦΕͰ౷ܭσʔλΛ֦ॆͯ͠΋Β͏Έ͍ͨͳϧʔϓΛճͤΔͱ໘ന͍͔ͳͱࢥ͏

    ɾσʔλ͕෺ੌ͘࢖͑Δͬͯͱ͜ΖΛݟ͚ͤͭ·͠ΐ͏ʂ