Upgrade to Pro — share decks privately, control downloads, hide ads and more …

リサーチデータとの付き合い方

Sponsored · Ship Features Fearlessly Turn features on and off without deploys. Used by thousands of Ruby developers.
Avatar for Ryusei Ryusei
January 16, 2020

 リサーチデータとの付き合い方

Avatar for Ryusei

Ryusei

January 16, 2020
Tweet

Other Decks in Business

Transcript

  1. ࣗݾ঺հ Ryusei Ikezawa • גࣜձࣾ FiNC Technologies • ৽ଔ1೥໨ •

    άϩʔεΤϯδχΞʢࣗশʣ • ϑοταϧͱϥϯχϯά͕޷͖Ͱ͢
  2. πʔϧΛऔΓר͘؀ڥ΍ঢ়گ͔Β໰୊͕ൃੜ खಈͰ؅ཧ/ूܭ πʔϧϩάΠϯݖݶ API͕ͳ͍ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ঢ়گ ͦͷ݁Ռ

    σʔλͷܗ͕ࣜಛघ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ “Ϣʔβʔσʔλͷநग़” ͱ͔ “ճ౴ঢ়گͷ෼ੳ” ͕݁ߏͳखؒ
  3. ໰୊ʹର͢ΔղܾҊ ໰୊ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ղܾҊ શࣾతʹ࢖͑Δ

    Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  4. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  5. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  6. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  7. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  8. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏
  9. Ͱ͖ΔΑ͏ʹͳͬͨ͜ͱ ໰୊ ࣮ݱ ෼ੳϨϙʔτΛग़͢ͷʹ ίετʢ࣌ؒʣ͕͔͔Δ σʔλΛӾཡͰ͖Δ ਓ͕গͳ͍ ֤෦ॺ͔Βґཔʹ ͦͷ౓ʹखಈͰରԠ ղܾҊ

    நग़ґཔ͕ݮͬͯ ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ ϩʔΧϧʹDLͨ͠ޙ ੔ܗͯ͠σʔλΛ݁߹͢Δ શࣾతʹ࢖͑Δ Redshiftʹஔ͘ ࣗಈͰఆظ࣮ߦ͠ RedshiftʹσʔλΛೖΕΔ ϨϙʔτΛ࡞͓͍ͬͯͯ ݟΒΕΔΑ͏ʹ͢Δ ੔ܗΛεΫϦϓτͰߦ͏ ΈΜͳخ͍͠ʂ
  10. ͦͷ݁Ռ ࣄۀ΁ͷӨڹ αϯϓϦϯά͕ Ͱ͖ΔΑ͏ʹͳΔ ৄࡉͳϢʔβʔͷ ηάϝϯτΛ࡞੒Ͱ͖Δ Ͱ͖Δ͜ͱ ෼ੳϨϙʔτΛ RedashͰՄࢹԽ நग़ґཔ͕ݮͬͯ

    ֤͕ࣗ෼ੳՄೳʹ RedashΛӾཡͰ͖Ε͹ σʔλΛӾཡՄೳ Redash্ͰSQLΛॻ͍ͯ σʔλΛ݁߹ ΫϥΠΞϯτ΁ͷ ఏҊͷલʹٞ࿦͕Ͱ͖Δ ΞϓϦϚʔέςΟϯάͷ ઓུʹ׆͔ͤΔ
  11. ͜ͷ࣌ΛৼΓฦͬͯ൓ল • ࣗ෼͚ͩͰ΍Ζ͏ͱ͠ͳ͍ ʢ৽ଔ͋Δ͋Δʣ ◦ ஌ݟͷ͋ΔਓΛר͖ࠐΉ΂͖ • ͪΌΜͱࠔ͍ͬͯΔਓͱٞ࿦͢Δ ◦ ஌Γ͍ͨ͸ճ౴཰ΑΓ΋σʔλͦͷ΋ͷͩͬͨ

    ◦ εΫϨΠϐϯά͕࣮ݱͰ͖ͯ΋खಈ෦෼͸ଞʹͨ͘͞Μ͋Δ • Ͳ͕͜໰୊ͳͷ͔ຊ࣭తͳ෦෼Λղܾ͢Δ ◦ ໰୊͸ɺσʔλͷ݁߹ͱશࣾతʹσʔλ͕ݟ͑Δ͜ͱ ◦ ࠓճͩͱࣗಈԽ͢΂͖͸σʔλͷ੔ܗͱredshift΁ͷimportͩͬͨ ◦ ͳ͔ͥάϥϑͷεΫϨΠϐϯάΛ͠·ͨ͠...