リサーチデータとの付き合い方

Transcript

1. Ϧαʔνσʔλͱ ͏·͘෇͖߹͏ͨΊʹ େࣄͳ͜ͱ

2. ࣗݾ঺հ Ryusei Ikezawa • גࣜձࣾ FiNC Technologies • ৽ଔ1೥໨ •

   άϩʔεΤϯδχΞʢࣗশʣ • ϑοταϧͱϥϯχϯά͕޷͖Ͱ͢

3. FiNC Technologiesͬͯʁ

4. None
5. None

6. άϩʔεΤϯδχΞϦϯάͬͯʁ

7. άϩʔεΤϯδχΞ͕΍Δ͜ͱ σʔλ෼ੳ ΤϯδχΞϦϯά • ࢪࡦͷݕূ • σʔλநग़ • ෼ੳମ੍Λ࡞Δ •

   KPIཱҊ • αʔϏεͷઃܭ • ࣮૷ • ςετ • อक

8. άϩʔεΤϯδχΞʢࣗশʣͱͯ͠ ಇ͍͖ͯͨதͰɺֶΜͩ͜ͱΛڞ༗͠·͢

9. Ϧαʔνσʔλͱ͏·͘෇͖߹͏ͨΊʹେࣄͳ3ͭͷ͜ͱ

10. ֎෦ͷπʔϧΑ͘࢖͍·͢ΑͶʁ

11. ΞϯέʔτΛ࣮ࢪ͍ͨ͠ͱ͍͏ࣾ಺ཁ๬͔Βඅ༻ରޮՌͰ֎෦ͷπʔ ϧΛಋೖ͢Δ͜ͱʹ

12. σʔλΛूܭ͍ͨ͠ʂ ΞϓϦϢʔβʔΛ΋ͬͱ෼ੳ͍ͨ͠ʂ ࣾ಺ Ξϯέʔτπʔϧ ෼ੳ΁ͷظ଴஋ πʔϧͷάϥϑ͕ݟ΍͍͢ʂ

13. σʔλ΋ཷ·͖ͬͯͨ͠ɺ ෼ੳ͍ͯͧ͘͠ʂ

14. ͔͠͠ɺ໰୊͕...

15. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ঢ়گ σʔλͷܗ͕ࣜಛघ

16. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ঢ়گ ͦͷ݁Ռ σʔλͷܗ͕ࣜಛघ

17. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ ঢ়گ ͦͷ݁Ռ σʔλͷܗ͕ࣜಛघ

18. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍

    σʔλͷܗ͕ࣜಛघ

19. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ खಈͰ؅ཧ/ूܭ

    πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ

20. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ

    ੔ܗͯ͠σʔλΛ݁߹͢Δ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ

21. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ

    σʔλͷܗ͕ࣜಛघ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ “Ϣʔβʔσʔλͷநग़” ͱ͔ “ճ౴ঢ়گͷ෼ੳ” ͕݁ߏͳखؒ

22. ෼ੳνʔϜͷϝϯόʔʢઌഐํʣ͕ ٞ࿦ΛॏͶɺࡦΛߨͨ͡

23. ໰୊ʹର͢ΔղܾҊ ໰୊ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ղܾҊ શࣾతʹ࢖͑Δ

    Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ ੔ܗΛεΫϦϓτͰߦ͏

24. πʔϧ CSV DL upload ఆظ࣮ߦ ྑ͍ײ͡ʹ ੔ܗ ໰୊ͷղܾͷ࣮ݱ

25. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏

26. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏

27. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏

28. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏

29. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏

30. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏ ΈΜͳخ͍͠ʂ

31. ͦͷ݁Ռ ࣄۀ΁ͷӨڹ αϯϓϦϯά͕ Ͱ͖ΔΑ͏ʹͳΔ ৄࡉͳϢʔβʔͷ ηάϝϯτΛ࡞੒Ͱ͖Δ Ͱ͖Δ͜ͱ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ நग़ґཔ͕ݮͬͯ

    ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ΫϥΠΞϯτ΁ͷ ఏҊͷલʹٞ࿦͕Ͱ͖Δ ΞϓϦϚʔέςΟϯάͷ ઓུʹ׆͔ͤΔ

32. • ಋೖલ:ʮಋೖޙʹӡ༻ͷ໰୊͕ى͖ͳͦ͞͏͔ʯΛ૝ఆ͓ͯ͘͠ ◦ σʔλ෼ੳͷ෦෼͸ɺ༏ઌ౓͕ޙΖʹͳͬͯ͠·͏͜ͱ΋͋Δ • ࣾ಺Ͱ࢖͑ΔΑ͏ʹσʔλΛ੔ܗ͢Δ ◦ ಛఆͷ୭͔͚͕ͩ࢖͑ΔܗࣜʹͳΒͳ͍Α͏ʹ • ࣗಈԽͰ͖Δ෦෼͸ࣗಈԽ͢Δ

    ◦ σʔλͷ࣋ͪํ͕ಛघͳ৔߹͕͋ΔͷͰɺεΫϦϓτͰͲ͏ʹ͔͢Δ ◦ ͦΕΛఆظ࣮ߦ͢Δ؀ڥΛ࡞Δ Ϧαʔνσʔλͱͷ෇͖߹͍ํͷ·ͱΊ

33. ͓·͚ ʢద౰ʹฉ͍͍ͯͩ͘͞ʣ

34. ͘͢͝؆୯ʹղܾͨ͠Α͏ʹݟ͑Δ͚Ͳ ࣮͸ɺͦΕ·Ͱ1ਓͰղܾ͠Α͏ͱ͍ͯͨ͠

35. ໰୊ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ

    ੔ܗͯ͠σʔλΛ݁߹͢Δ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ

36. ໰୊ʹϑΥʔΧε ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ

    ੔ܗͯ͠σʔλΛ݁߹͢Δ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ

37. ʮճ౴཰ʯΛօ͕ӾཡͰ͖Δ ͱ͜Ζʹஔ͖͍ͨʂ

38. εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ ※Ϋιίʔυ͢Έ·ͤΜ

39. ϩάΠϯͰ͖ͨ! εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏

40. ϩάΠϯͰ͖ͨ! εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ Ξϯέʔτʹ ͨͲΓண͍ͨ! ʢgetͰ͖ͨʣ

41. ϩάΠϯͰ͖ͨ! Selenium ࠷ߴʂ εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ Ξϯέʔτʹ ͨͲΓண͍ͨ! ʢgetͰ͖ͨʣ

42. ϩάΠϯͰ͖ͨ! Selenium ࠷ߴʂ εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ Ξϯέʔτʹ ͨͲΓண͍ͨ! ʢgetͰ͖ͨʣ ͜ͷ··͍͚ΔΘ!

43. εΫϨΠϐϯάେ࡞ઓ

44. εΫϨΠϐϯάେ࡞ઓ

45. εΫϨΠϐϯάେ࡞ઓ ࣦഊ ίʔυ্ͰΧʔιϧΛಈ͔͞ͳ͍ͱ਺஋͕औಘͰ͖ͳͯ͘அ೦ ʢٕज़ྗ͕͋Γ·ͤΜͰͨ͠ʣ άϥϑͷϚʔΧʔ্ʹΧʔιϧΛಈ͔ ͢ͱɺ਺஋͕දࣔ͞ΕΔ࢓༷Ͱͨ͠

46. ͜ͷ࣌ΛৼΓฦͬͯ൓ল • ࣗ෼͚ͩͰ΍Ζ͏ͱ͠ͳ͍ ʢ৽ଔ͋Δ͋Δʣ ◦ ஌ݟͷ͋ΔਓΛר͖ࠐΉ΂͖ • ͪΌΜͱࠔ͍ͬͯΔਓͱٞ࿦͢Δ ◦ ஌Γ͍ͨ͸ճ౴཰ΑΓ΋σʔλͦͷ΋ͷͩͬͨ

    ◦ εΫϨΠϐϯά͕࣮ݱͰ͖ͯ΋खಈ෦෼͸ଞʹͨ͘͞Μ͋Δ • Ͳ͕͜໰୊ͳͷ͔ຊ࣭తͳ෦෼Λղܾ͢Δ ◦ ໰୊͸ɺσʔλͷ݁߹ͱશࣾతʹσʔλ͕ݟ͑Δ͜ͱ ◦ ࠓճͩͱࣗಈԽ͢΂͖͸σʔλͷ੔ܗͱredshift΁ͷimportͩͬͨ ◦ ͳ͔ͥάϥϑͷεΫϨΠϐϯάΛ͠·ͨ͠...

47. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠