Save 37% off PRO during our Black Friday Sale! »

リサーチデータとの付き合い方

644870a746584fec3fb59cf8a432e38e?s=47 Ryusei
January 16, 2020

 リサーチデータとの付き合い方

644870a746584fec3fb59cf8a432e38e?s=128

Ryusei

January 16, 2020
Tweet

Transcript

  1. Ϧαʔνσʔλͱ ͏·͘෇͖߹͏ͨΊʹ େࣄͳ͜ͱ

  2. ࣗݾ঺հ Ryusei Ikezawa • גࣜձࣾ FiNC Technologies • ৽ଔ1೥໨ •

    άϩʔεΤϯδχΞʢࣗশʣ • ϑοταϧͱϥϯχϯά͕޷͖Ͱ͢
  3. FiNC Technologiesͬͯʁ

  4. None
  5. None
  6. άϩʔεΤϯδχΞϦϯάͬͯʁ

  7. άϩʔεΤϯδχΞ͕΍Δ͜ͱ σʔλ෼ੳ ΤϯδχΞϦϯά • ࢪࡦͷݕূ • σʔλநग़ • ෼ੳମ੍Λ࡞Δ •

    KPIཱҊ • αʔϏεͷઃܭ • ࣮૷ • ςετ • อक
  8. άϩʔεΤϯδχΞʢࣗশʣͱͯ͠ ಇ͍͖ͯͨதͰɺֶΜͩ͜ͱΛڞ༗͠·͢

  9. Ϧαʔνσʔλͱ͏·͘෇͖߹͏ͨΊʹେࣄͳ3ͭͷ͜ͱ

  10. ֎෦ͷπʔϧΑ͘࢖͍·͢ΑͶʁ

  11. ΞϯέʔτΛ࣮ࢪ͍ͨ͠ͱ͍͏ࣾ಺ཁ๬͔Βඅ༻ରޮՌͰ֎෦ͷπʔ ϧΛಋೖ͢Δ͜ͱʹ

  12. σʔλΛूܭ͍ͨ͠ʂ ΞϓϦϢʔβʔΛ΋ͬͱ෼ੳ͍ͨ͠ʂ ࣾ಺ Ξϯέʔτπʔϧ ෼ੳ΁ͷظ଴஋ πʔϧͷάϥϑ͕ݟ΍͍͢ʂ

  13. σʔλ΋ཷ·͖ͬͯͨ͠ɺ ෼ੳ͍ͯͧ͘͠ʂ

  14. ͔͠͠ɺ໰୊͕...

  15. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ঢ়گ σʔλͷܗ͕ࣜಛघ

  16. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ঢ়گ ͦͷ݁Ռ σʔλͷܗ͕ࣜಛघ

  17. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ ঢ়گ ͦͷ݁Ռ σʔλͷܗ͕ࣜಛघ

  18. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍

    σʔλͷܗ͕ࣜಛघ
  19. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ खಈͰ؅ཧ/ूܭ

    πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ
  20. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ

    ੔ܗͯ͠σʔλΛ݁߹͢Δ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ
  21. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ

    σʔλͷܗ͕ࣜಛघ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ “Ϣʔβʔσʔλͷநग़” ͱ͔ “ճ౴ঢ়گͷ෼ੳ” ͕݁ߏͳखؒ
  22. ෼ੳνʔϜͷϝϯόʔʢઌഐํʣ͕ ٞ࿦ΛॏͶɺࡦΛߨͨ͡

  23. ໰୊ʹର͢ΔղܾҊ ໰୊ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ղܾҊ શࣾతʹ࢖͑Δ

    Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  24. πʔϧ CSV DL upload ఆظ࣮ߦ ྑ͍ײ͡ʹ ੔ܗ ໰୊ͷղܾͷ࣮ݱ

  25. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  26. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  27. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  28. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  29. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  30. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏ ΈΜͳخ͍͠ʂ
  31. ͦͷ݁Ռ ࣄۀ΁ͷӨڹ αϯϓϦϯά͕ Ͱ͖ΔΑ͏ʹͳΔ ৄࡉͳϢʔβʔͷ ηάϝϯτΛ࡞੒Ͱ͖Δ Ͱ͖Δ͜ͱ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ நग़ґཔ͕ݮͬͯ

    ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ΫϥΠΞϯτ΁ͷ ఏҊͷલʹٞ࿦͕Ͱ͖Δ ΞϓϦϚʔέςΟϯάͷ ઓུʹ׆͔ͤΔ
  32. • ಋೖલ:ʮಋೖޙʹӡ༻ͷ໰୊͕ى͖ͳͦ͞͏͔ʯΛ૝ఆ͓ͯ͘͠ ◦ σʔλ෼ੳͷ෦෼͸ɺ༏ઌ౓͕ޙΖʹͳͬͯ͠·͏͜ͱ΋͋Δ • ࣾ಺Ͱ࢖͑ΔΑ͏ʹσʔλΛ੔ܗ͢Δ ◦ ಛఆͷ୭͔͚͕ͩ࢖͑ΔܗࣜʹͳΒͳ͍Α͏ʹ • ࣗಈԽͰ͖Δ෦෼͸ࣗಈԽ͢Δ

    ◦ σʔλͷ࣋ͪํ͕ಛघͳ৔߹͕͋ΔͷͰɺεΫϦϓτͰͲ͏ʹ͔͢Δ ◦ ͦΕΛఆظ࣮ߦ͢Δ؀ڥΛ࡞Δ Ϧαʔνσʔλͱͷ෇͖߹͍ํͷ·ͱΊ
  33. ͓·͚ ʢద౰ʹฉ͍͍ͯͩ͘͞ʣ

  34. ͘͢͝؆୯ʹղܾͨ͠Α͏ʹݟ͑Δ͚Ͳ ࣮͸ɺͦΕ·Ͱ1ਓͰղܾ͠Α͏ͱ͍ͯͨ͠

  35. ໰୊ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ

    ੔ܗͯ͠σʔλΛ݁߹͢Δ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ
  36. ໰୊ʹϑΥʔΧε ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ

    ੔ܗͯ͠σʔλΛ݁߹͢Δ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ
  37. ʮճ౴཰ʯΛօ͕ӾཡͰ͖Δ ͱ͜Ζʹஔ͖͍ͨʂ

  38. εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ ※Ϋιίʔυ͢Έ·ͤΜ

  39. ϩάΠϯͰ͖ͨ! εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏

  40. ϩάΠϯͰ͖ͨ! εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ Ξϯέʔτʹ ͨͲΓண͍ͨ! ʢgetͰ͖ͨʣ

  41. ϩάΠϯͰ͖ͨ! Selenium ࠷ߴʂ εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ Ξϯέʔτʹ ͨͲΓண͍ͨ! ʢgetͰ͖ͨʣ

  42. ϩάΠϯͰ͖ͨ! Selenium ࠷ߴʂ εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ Ξϯέʔτʹ ͨͲΓண͍ͨ! ʢgetͰ͖ͨʣ ͜ͷ··͍͚ΔΘ!

  43. εΫϨΠϐϯάେ࡞ઓ

  44. εΫϨΠϐϯάେ࡞ઓ

  45. εΫϨΠϐϯάେ࡞ઓ ࣦഊ ίʔυ্ͰΧʔιϧΛಈ͔͞ͳ͍ͱ਺஋͕औಘͰ͖ͳͯ͘அ೦ ʢٕज़ྗ͕͋Γ·ͤΜͰͨ͠ʣ άϥϑͷϚʔΧʔ্ʹΧʔιϧΛಈ͔ ͢ͱɺ਺஋͕දࣔ͞ΕΔ࢓༷Ͱͨ͠

  46. ͜ͷ࣌ΛৼΓฦͬͯ൓ল • ࣗ෼͚ͩͰ΍Ζ͏ͱ͠ͳ͍ ʢ৽ଔ͋Δ͋Δʣ ◦ ஌ݟͷ͋ΔਓΛר͖ࠐΉ΂͖ • ͪΌΜͱࠔ͍ͬͯΔਓͱٞ࿦͢Δ ◦ ஌Γ͍ͨ͸ճ౴཰ΑΓ΋σʔλͦͷ΋ͷͩͬͨ

    ◦ εΫϨΠϐϯά͕࣮ݱͰ͖ͯ΋खಈ෦෼͸ଞʹͨ͘͞Μ͋Δ • Ͳ͕͜໰୊ͳͷ͔ຊ࣭తͳ෦෼Λղܾ͢Δ ◦ ໰୊͸ɺσʔλͷ݁߹ͱશࣾతʹσʔλ͕ݟ͑Δ͜ͱ ◦ ࠓճͩͱࣗಈԽ͢΂͖͸σʔλͷ੔ܗͱredshift΁ͷimportͩͬͨ ◦ ͳ͔ͥάϥϑͷεΫϨΠϐϯάΛ͠·ͨ͠...
  47. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠