リサーチデータとの付き合い方

Transcript

1. Ϧαʔνσʔλͱ ͏·͘෇͖߹͏ͨΊʹ େࣄͳ͜ͱ
2. ࣗݾ঺հ Ryusei Ikezawa • גࣜձࣾ FiNC Technologies • ৽ଔ1೥໨ • άϩʔεΤϯδχΞʢࣗশʣ • ϑοταϧͱϥϯχϯά͕޷͖Ͱ͢
3. FiNC Technologiesͬͯʁ
6. άϩʔεΤϯδχΞϦϯάͬͯʁ
7. άϩʔεΤϯδχΞ͕΍Δ͜ͱ σʔλ෼ੳ ΤϯδχΞϦϯά • ࢪࡦͷݕূ • σʔλநग़ • ෼ੳମ੍Λ࡞Δ • KPIཱҊ • αʔϏεͷઃܭ • ࣮૷ • ςετ • อक
8. άϩʔεΤϯδχΞʢࣗশʣͱͯ͠ ಇ͍͖ͯͨதͰɺֶΜͩ͜ͱΛڞ༗͠·͢
9. Ϧαʔνσʔλͱ͏·͘෇͖߹͏ͨΊʹେࣄͳ3ͭͷ͜ͱ
10. ֎෦ͷπʔϧΑ͘࢖͍·͢ΑͶʁ
11. ΞϯέʔτΛ࣮ࢪ͍ͨ͠ͱ͍͏ࣾ಺ཁ๬͔Βඅ༻ରޮՌͰ֎෦ͷπʔ ϧΛಋೖ͢Δ͜ͱʹ
12. σʔλΛूܭ͍ͨ͠ʂ ΞϓϦϢʔβʔΛ΋ͬͱ෼ੳ͍ͨ͠ʂ ࣾ಺ Ξϯέʔτπʔϧ ෼ੳ΁ͷظ଴஋ πʔϧͷάϥϑ͕ݟ΍͍͢ʂ
13. σʔλ΋ཷ·͖ͬͯͨ͠ɺ ෼ੳ͍ͯͧ͘͠ʂ
14. ͔͠͠ɺ໰୊͕...
15. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ঢ়گ σʔλͷܗ͕ࣜಛघ
16. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ঢ়گ ͦͷ݁Ռ σʔλͷܗ͕ࣜಛघ
17. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ ঢ়گ ͦͷ݁Ռ σʔλͷܗ͕ࣜಛघ
18. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ
19. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ
20. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ
21. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ σʔλͷܗ͕ࣜಛघ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ “Ϣʔβʔσʔλͷநग़” ͱ͔ “ճ౴ঢ়گͷ෼ੳ” ͕݁ߏͳखؒ
22. ෼ੳνʔϜͷϝϯόʔʢઌഐํʣ͕ ٞ࿦ΛॏͶɺࡦΛߨͨ͡
23. ໰୊ʹର͢ΔղܾҊ ໰୊ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ղܾҊ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ ੔ܗΛεΫϦϓτͰߦ͏
24. πʔϧ CSV DL upload ఆظ࣮ߦ ྑ͍ײ͡ʹ ੔ܗ ໰୊ͷղܾͷ࣮ݱ
25. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
26. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
27. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
28. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
29. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
30. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏ ΈΜͳخ͍͠ʂ
31. ͦͷ݁Ռ ࣄۀ΁ͷӨڹ αϯϓϦϯά͕ Ͱ͖ΔΑ͏ʹͳΔ ৄࡉͳϢʔβʔͷ ηάϝϯτΛ࡞੒Ͱ͖Δ Ͱ͖Δ͜ͱ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ΫϥΠΞϯτ΁ͷ ఏҊͷલʹٞ࿦͕Ͱ͖Δ ΞϓϦϚʔέςΟϯάͷ ઓུʹ׆͔ͤΔ
32. • ಋೖલ:ʮಋೖޙʹӡ༻ͷ໰୊͕ى͖ͳͦ͞͏͔ʯΛ૝ఆ͓ͯ͘͠ ◦ σʔλ෼ੳͷ෦෼͸ɺ༏ઌ౓͕ޙΖʹͳͬͯ͠·͏͜ͱ΋͋Δ • ࣾ಺Ͱ࢖͑ΔΑ͏ʹσʔλΛ੔ܗ͢Δ ◦ ಛఆͷ୭͔͚͕ͩ࢖͑ΔܗࣜʹͳΒͳ͍Α͏ʹ • ࣗಈԽͰ͖Δ෦෼͸ࣗಈԽ͢Δ ◦ σʔλͷ࣋ͪํ͕ಛघͳ৔߹͕͋ΔͷͰɺεΫϦϓτͰͲ͏ʹ͔͢Δ ◦ ͦΕΛఆظ࣮ߦ͢Δ؀ڥΛ࡞Δ Ϧαʔνσʔλͱͷ෇͖߹͍ํͷ·ͱΊ
33. ͓·͚ ʢద౰ʹฉ͍͍ͯͩ͘͞ʣ
34. ͘͢͝؆୯ʹղܾͨ͠Α͏ʹݟ͑Δ͚Ͳ ࣮͸ɺͦΕ·Ͱ1ਓͰղܾ͠Α͏ͱ͍ͯͨ͠
35. ໰୊ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ
36. ໰୊ʹϑΥʔΧε ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ σʔλͷܗ͕ࣜಛघ
37. ʮճ౴཰ʯΛօ͕ӾཡͰ͖Δ ͱ͜Ζʹஔ͖͍ͨʂ
38. εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ ※Ϋιίʔυ͢Έ·ͤΜ
39. ϩάΠϯͰ͖ͨ! εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏
40. ϩάΠϯͰ͖ͨ! εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ Ξϯέʔτʹ ͨͲΓண͍ͨ! ʢgetͰ͖ͨʣ
41. ϩάΠϯͰ͖ͨ! Selenium ࠷ߴʂ εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ Ξϯέʔτʹ ͨͲΓண͍ͨ! ʢgetͰ͖ͨʣ
42. ϩάΠϯͰ͖ͨ! Selenium ࠷ߴʂ εΫϨΠϐϯάେ࡞ઓ JupyterͰͱΓ͋͑ͣɺճ౴཰Λऔಘͯ͠ΈΑ͏ Ξϯέʔτʹ ͨͲΓண͍ͨ! ʢgetͰ͖ͨʣ ͜ͷ··͍͚ΔΘ!
43. εΫϨΠϐϯάେ࡞ઓ
44. εΫϨΠϐϯάେ࡞ઓ
45. εΫϨΠϐϯάେ࡞ઓ ࣦഊ ίʔυ্ͰΧʔιϧΛಈ͔͞ͳ͍ͱ਺஋͕औಘͰ͖ͳͯ͘அ೦ ʢٕज़ྗ͕͋Γ·ͤΜͰͨ͠ʣ άϥϑͷϚʔΧʔ্ʹΧʔιϧΛಈ͔ ͢ͱɺ਺஋͕දࣔ͞ΕΔ࢓༷Ͱͨ͠
46. ͜ͷ࣌ΛৼΓฦͬͯ൓ল • ࣗ෼͚ͩͰ΍Ζ͏ͱ͠ͳ͍ ʢ৽ଔ͋Δ͋Δʣ ◦ ஌ݟͷ͋ΔਓΛר͖ࠐΉ΂͖ • ͪΌΜͱࠔ͍ͬͯΔਓͱٞ࿦͢Δ ◦ ஌Γ͍ͨ͸ճ౴཰ΑΓ΋σʔλͦͷ΋ͷͩͬͨ ◦ εΫϨΠϐϯά͕࣮ݱͰ͖ͯ΋खಈ෦෼͸ଞʹͨ͘͞Μ͋Δ • Ͳ͕͜໰୊ͳͷ͔ຊ࣭తͳ෦෼Λղܾ͢Δ ◦ ໰୊͸ɺσʔλͷ݁߹ͱશࣾతʹσʔλ͕ݟ͑Δ͜ͱ ◦ ࠓճͩͱࣗಈԽ͢΂͖͸σʔλͷ੔ܗͱredshift΁ͷimportͩͬͨ ◦ ͳ͔ͥάϥϑͷεΫϨΠϐϯάΛ͠·ͨ͠...
47. ͝ਗ਼ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠