Upgrade to Pro — share decks privately, control downloads, hide ads and more …

リサーチデータとの付き合い方

Avatar for Ryusei Ryusei
January 16, 2020

 リサーチデータとの付き合い方

Avatar for Ryusei

Ryusei

January 16, 2020
Tweet

Other Decks in Business

Transcript

  1. ࣗݾ঺հ Ryusei Ikezawa • גࣜձࣾ FiNC Technologies • ৽ଔ1೥໨ •

    άϩʔεΤϯδχΞʢࣗশʣ • ϑοταϧͱϥϯχϯά͕޷͖Ͱ͢
  2. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ

    σʔλͷܗ͕ࣜಛघ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ “Ϣʔβʔσʔλͷநग़” ͱ͔ “ճ౴ঢ়گͷ෼ੳ” ͕݁ߏͳखؒ
  3. ໰୊ʹର͢ΔղܾҊ ໰୊ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ղܾҊ શࣾతʹ࢖͑Δ

    Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  4. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  5. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  6. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  7. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  8. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  9. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏ ΈΜͳخ͍͠ʂ
  10. ͦͷ݁Ռ ࣄۀ΁ͷӨڹ αϯϓϦϯά͕ Ͱ͖ΔΑ͏ʹͳΔ ৄࡉͳϢʔβʔͷ ηάϝϯτΛ࡞੒Ͱ͖Δ Ͱ͖Δ͜ͱ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ நग़ґཔ͕ݮͬͯ

    ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ΫϥΠΞϯτ΁ͷ ఏҊͷલʹٞ࿦͕Ͱ͖Δ ΞϓϦϚʔέςΟϯάͷ ઓུʹ׆͔ͤΔ
  11. ͜ͷ࣌ΛৼΓฦͬͯ൓ল • ࣗ෼͚ͩͰ΍Ζ͏ͱ͠ͳ͍ ʢ৽ଔ͋Δ͋Δʣ ◦ ஌ݟͷ͋ΔਓΛר͖ࠐΉ΂͖ • ͪΌΜͱࠔ͍ͬͯΔਓͱٞ࿦͢Δ ◦ ஌Γ͍ͨ͸ճ౴཰ΑΓ΋σʔλͦͷ΋ͷͩͬͨ

    ◦ εΫϨΠϐϯά͕࣮ݱͰ͖ͯ΋खಈ෦෼͸ଞʹͨ͘͞Μ͋Δ • Ͳ͕͜໰୊ͳͷ͔ຊ࣭తͳ෦෼Λղܾ͢Δ ◦ ໰୊͸ɺσʔλͷ݁߹ͱશࣾతʹσʔλ͕ݟ͑Δ͜ͱ ◦ ࠓճͩͱࣗಈԽ͢΂͖͸σʔλͷ੔ܗͱredshift΁ͷimportͩͬͨ ◦ ͳ͔ͥάϥϑͷεΫϨΠϐϯάΛ͠·ͨ͠...