Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤

Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤

Amazon Redshift事例祭り 2020での発表資料です。Redshiftをデータ活用基盤の中心で使っていくうえで特に障害となった4つの課題について解決策を述べます。

Minero Aoki

August 06, 2020
Tweet

More Decks by Minero Aoki

Other Decks in Technology

Transcript

  1. ΫοΫύουגࣜձࣾ੨໦ๆ࿠ ΅͘ͷ͔Μ͕͍͑ͨ͞ ͖ΐ͏ͷσʔλ׆༻ج൫ ʙσʔλϨΠΫͬͯݴ͏ͳʙ

  2. ࣗݾ঺հ ‣ ੨໦ๆ࿠ʢ͓͖͋ΈͶΖ͏ʣ ‣ ݩ3VCZίϛολʔ ‣ લ৬ฒྻ3%#.4ϕϯμʔ ‣ ฒྻσʔλϕʔεͱग़ձ͏ ‣

    ݱ৬ΫοΫύου ‣ ෼ੳαʔϏεʮͨ΂ΈΔʯͷ։ൃ ‣ σʔλ׆༻ج൫ͷߏங ‣ ΫοΫύουͷϦΞʔΩςΫνϟ
  3. σʔλͷՁ஋Λ ࠷΋ߴΊΔʹ͸ʁ

  4.  ୭Ͱ΋෼ੳͰ͖Δ  ͢΂ͯΛ෼ੳͰ͖Δ

  5.  42-த৺ 42-Ͱׂͷॲཧ͕ߦ͑Δɻ࢒Γׂ͸ద౰ͳݴޠͰॲཧͰ͖Δɻ෼ੳऀ͸42-Λॻ͘લఏɻ  ੍໿ͷͳ͍σʔλॲཧ σʔλͷαΠζ΍ग़ॴɺछྨʹΑͬͯͰ͖Δ͜ͱΛ੍ݶ͞Εͨ͘ͳ͍ɻ  ϑϧΦʔϓϯੑળઆ Ͱ͖Δ͔͗Γଟ͘ͷ৘ใɺՄೳͳ͔͗Γڧ͍ݖݶΛ͢΂ͯͷϢʔβʔʹग़͢ɻ ΫοΫύουʹ͓͚Δ

    σʔλ෼ੳج൫ߏஙͷϙϦγʔ
  6. ෼ੳܥͷσʔλϑϩʔ 3FETIJGUETYMBSHFº 5# OPEFTMJDF όϧΫ ΤΫεϙʔτ 12 +%#$ .Z42-ɾ 1PTUHSF42-

    qVFOUE Ϛελʔ ϩά +40/ 4 όονδϣϒɾ ଞγεςϜ 5BCMFBV  3FEBTI ؅ཧը໘ ͳͲ 8PSLEBZ 4BMFTGPSDF ;FOEFTL τϥϯβ Ϋγϣϯ ςʔϒϧఔ౓ ຊऑ ຊऑ ϩά αϚϦʔ αϚϦʔ 42-όον໿ຊ 12 +%#$ #*ܥ
  7. w ϨγϐݕࡧΠϯσοΫεߏங w ݩσʔλͷूܭɾऔಘ෦෼Λத৺ʹ3VCZίʔυΛ42-΁ม׵ͨ͠ɻ w Ϩγϐͷ෼͔ͪॻ͖ͳͲͷෳࡶͳ෦෼͸3VCZʹ෼཭ɻ w 3FETIJGUʹม׵ͨ͠෦෼͸਺ेഒʹߴ଎ԽͰ͖ͨɻ w Ϣʔβʔʹ͍ۙ഑ૹϙΠϯτͷݕग़

    w HFPTQBUJBMؔ਺Λ࢖ͬͯ༣ศ൪߸͔Β࠷΋͍ۙϙΠϯτΛݕग़ͨ͠ɻ w ݕࡧޠͷස౓෼ੳ w ୯ޠͷ෼ׂͱਖ਼نԽ͚ͩΛ6%'Ͱ࣮૷͠ɺ࢒Γ͸͢΂ͯ42-Խͨ͠ɻ 3FETIJGUԽͨ͠ૉ௚Ͱͳ͍ॲཧͷྫ
  8. ࠓ೔ϑΥʔΧε͢Δ ͭͷ՝୊

  9. ڊେςʔϒϧ ෛՙͷεύΠΫ ΞϓϦ%#࿈ܞ ੑળઆ%8)

  10. ՝୊ڊେςʔϒϧ

  11. w গ਺ͷڊେͳϩά͕େ൒ͷ༰ྔΛ઎Ί͍ͯΔ w ͳ͔ͥڊେͳϩά΄Ͳߴස౓ʹϩʔυ͠ͳ͚Ε͹ͳΒͳ͍ w খ͍͞ϩά΋਺͚ͩ͸ͨ͘͞Μ͋Δʢݏ͕Β͔ͤʁʂʣ ϩάͷঢ়گ [email protected] 5# JNQSFTTJPOT

    5# ॏཁϩά܈ݸͰ5# ༗৅ແ৅ͷϩά܈ݸऑͰ5# ෼ ࣌ؒʙ͝ͱ ෼ ෼ ෼
  12. w σΟεΫ଍Γͳ͍໰୊ w ίϛοτ͕஗͗͢Δ໰୊ w WBDVVNTPSUPOMZ໰୊ w σʔλೖΕ௚͠໰୊ w จࣈྻͷ௕͞଍Γͳ͔ͬͨ໰୊

    w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍໰୊ ಺෦ςʔϒϧϩάͷ໰୊
  13. 3FETIJGU 4 w 1SJTNʢ಺੡ʣʹΑΔϩʔυ w 1BSRVFUͷϚʔδͱɺ೚ҙλΠϜκʔϯͰͷύʔςΟγϣχϯά͕Մೳ w 1SJTNৄࡉIUUQTUFDIMJGFDPPLQBEDPNFOUSZ ղܾࡦ4QFDUSVNΛ࢖͍੾Δ ֎෦

    ςʔϒϧ +40/ +40/ +40/ 1SJTN4USFBN 1BSRVFU 1BSRVFU MJWFPCKFDUT 1BSRVFU 1SJTN .FSHF 1BSRVFU NFSHFEPCKFDUT ౸ண͍ͩ͠ॲཧ ໿࣌ؒ ͝ͱ (MVFΧλϩά Ͱ੾Γସ͑
  14. w σΟεΫ଍Γͳ͍໰୊ w ίϛοτ͕஗͗͢Δ໰୊ w WBDVVNTPSUPOMZ໰୊ w σʔλೖΕ௚͠໰୊ w จࣈྻͷ௕͞଍Γͳ͔ͬͨ໰୊

    w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍໰୊ 4QFDUSVN1SJTNಋೖޙ ͳ͘ͳͬͨ ͳ͘ͳͬͨ ͕Μ͹ͬͯղܾͨ͠ 1BSRVFUͰղܾ ܕਪ࿦Ͱղܾ༧ఆ ͳ͘ͳͬͨ
  15. w ڊେͳςʔϒϧͷ৔߹ɺ4QFDUSVN͸಺෦ςʔϒϧͱಉ౳ɺ΋͠ ͘͸଎͍৔߹͢Β͋Δɻ w ஗͍৔߹΋͍͍ͤͥ ͍ͯͲͳͷͰڐ༰Ͱ͖Δɻ 4QFDUSVNͷ࣮ߦ଎౓͸Ͳ͏͔ʁ

  16. w ڊେͳςʔϒϧ͸4QFDUSVNʹҠͯ͠͠·ͬͨͷͰɺ3"͸͋· ΓϝϦοτ͕ͳ͍ɻ w 1SJTNͰղܾͨ͠໰୊͕෮׆ͯ͠͠·͏ͷͰɺϩάΛ಺෦ςʔϒ ϧʹ໭͢͜ͱ͸͋Γ͑ͳ͍ɻ w ͍·ͷͱ͜Ζ3"΁ͷҠߦ༧ఆ͸ͳ͠ɻ৽ػೳ͍ͩ͠ɻ 3"͸Өڹ͕͋Δ͔ʁ

  17. ௨ৗεΩʔϚ w ֎෦εΩʔϚʢFYUFSOBMTDIFNBʣΛϢʔβʔʹ௚઀࢖ΘͤΔ΂ ͖Ͱͳ͍ɻ w ֎෦εΩʔϚʹ͸Ϗϡʔ͕࡞Εͳ͍ͷͰɺޓ׵ੑΛอͭͨΊͷॲ ཧΛೖΕΔ༨஍͕ͳ͍ɻ w ௨ৗͷεΩʔϚʹ4QFDUSVNςʔϒϧΛࢀর͢ΔϏϡʔΛ࡞Γɺ ͦͪΒΛݟͤΔ΄͏͕Α͍ɻ

    5JQT֎෦εΩʔϚ͸ެ։͠ͳ͍ Ϗϡʔ ֎෦εΩʔϚ ςʔϒϧ ެ։͠ͳ͍ʂ Ϗϡʔ͚ͩΛݟͤΔ
  18. ՝୊ෛՙͷεύΠΫ

  19. ͋Γ͕ͪͳ$16࢖༻཰άϥϑ

  20. w ݪҼ5BCMFBV͔ΒͷΫΤϦʔ w ڊେͳϩάΛԿ೥෼΋ॲཧ͢Δ w ϩάಉ࢜Λෆ౳߸ͰൣғδϣΠϯ w 6%'Λ࢖͍·͍ͬͯ͘Δ w ୡ੒͍ͨ͜͠ͱ

    w ଞͷΫΤϦʔ͕ఀࢭ͢Δɾ஗͘ͳΓ͗͢ΔͷΛආ͚͍ͨ w ڊେΫΤϦʔ͸࣌ؒ಺ʹऴΘΕ͹Α͍ ෛՙͷεύΠΫ
  21. w ϝϦοτॏ͍ΫΤϦʔ͕૸͍ͬͯͯ΋ଞͷΫΤϦʔ͕ࢭ·Βͳ ͍ɻฏۉ͍ͯͲΫΤϦʔͷ଴ͪ࣌ؒΛ୹͔͘Ͱ͖ͨɻ w σϝϦοτ஋ஈ͕ߴ͍ɻ3*ͷΑ͏ͳίετ௿ݮͷ࢓૊Έ͕ͳ͍ ͠ɺෛՙͷ௿͍࣌ؒ΋ίετ͕Լ͕Βͳ͍ɻ ղܾࡦ$PODVSSFODZ4DBMJOHͱ6TBHF-JNJU 3FETIJGUΫϥελʔͷΩϟύγςΟʢ3*ͰΧόʔʣ $PODVSSFODZ4DBMJOHͰ ্৐ͤ

    6TBHF-JNJUͰ੍ݶ UJNF Ϋϥελʔͷෛՙ
  22. ‣ "VUP8-.Λ༗ޮʹ͢ΔͱɺΫΤϦʔͷ༏ઌ౓Ͱ$16ɾ*0Λ੍ ޚͰ͖Δɻ w ϝϦοτ࣮ߦ࣌ؒͷ௕͍ΫΤϦʔͷ༏ઌ౓ΛԼ͛Δ͜ͱͰɺॏ ͍ΫΤϦʔ͸Ώͬ͘Γ࣮ߦͭͭ͠ɺଞͷΫΤϦʔ΁ͷӨڹ͸཈͑ ΒΕΔɻ w σϝϦοτॏ͍ΫΤϦʔ͸ΑΓ஗͘ͳΔɻ w

    ༏ઌ౓ͷܾΊ͔ͨ͸Α͘ݕ౼͍ͨ͠ ղܾࡦ"VUP8-.ʢݕূதʣ
  23. ՝୊ΞϓϦ%#࿈ܞ

  24. औΓࠐΜͰ͍ΔϚελʔςʔϒϧ %#λΠϓ ςʔϒϧ਺ γεςϜ ִؒ ํࣜ .Z42-  1JQFMJOFE.JHSBUPSʢ಺੡ʣ ೔࣍

    શߦચ͍ସ͑ 1PTUHSF42-  "84%BUBCBTF.JHSBUJPO4FSWJDF ೔࣍ શߦચ͍ସ͑ %ZOBNP%#  %ZOBNP%#4USFBNTˠ1SJTN ৗ࣌ ࠩ෼ߋ৽
  25. w ΞϓϦ%#ˠ3FETIJGUͷ໰୊ w ϩʔυͷස౓Λ೔࣍ΑΓ্͍͛ͨ w ςʔϒϧ͝ͱʹϩʔυઃఆ͕ඞཁ w όονͰϩʔυ׬ྃΛ଴ͭͷΛ๨Ε͕ͪ w 3FETIJGUˠΞϓϦ%#ͷ໰୊

    w ௨ৗ4&-&$5͸ΞϓϦͷϝϞϦ͕ᷓΕΔͷͰ࢖͑ͳ͍͕ɺΧʔ ιϧ͸MFBEFSOPEFͷෛՙ͕ߴ͍ w σʔλΛಡΉ్தͰ%#ίωΫγϣϯ͕੾ΕΔͱ࠶։Ͱ͖ͳ͍ w 6/-0"%ΛશϓϩάϥϚ͕ॻ͘ͷ͸೉͍͠ ΞϓϦ%#࿈ܞͷ໰୊
  26. w খ͍͞ςʔϒϧʹ͍ͭͯ͸ɺ'FEFSBUFE2VFSZܦ༝ʹ੾Γସ͑Δ ͜ͱͰ͍·͙͢͢΂ͯΛղܾͰ͖Δ w େ͖͍ςʔϒϧ͸ఆظతʹ3FETIJGU΁Ωϟογϡ ղܾࡦ'FEFSBUFE2VFSZʢݕূதʣ

  27. w όονδϣϒ͸ݪଇ2VFVFSZʢ಺੡ʣΛ࢖ͬͯόϧΫΤΫεϙʔ τΛ͍ͯ͠Δɻ w 2VFVFSZ͸)551"1*ͰΫΤϦʔΛड͚෇͚ͯ6/-0"%͠ɺͦ ͷ463-Λฦ͢αʔϏεɻ w Χʔιϧͱ͸ҟͳΓɺΞϓϦʢόονδϣϒʣଆ͕4͔Β௚઀ σʔλΛಡΉͷͰ3FETIJGUͷෛՙ͕͍ܰɻ ղܾࡦ)551"1*ͰͷΤΫεϙʔτ

    4 $47 3FETIJGU ςʔϒϧ 2VFVFSZ όονδϣϒ 6/-0"% δϣϒଆ͕ಡΈࠐΈ
  28. ՝୊ੑળઆ%8)

  29. w ͍͘Βੑળઆͱ͸͍͑ɺશһʹ3FETIJGUεʔύʔϢʔβʔΛղ์ ͢Δ͜ͱ͸͕͢͞ʹͰ͖ͳ͍ɻ࠷௿ݶɺߦಈΛ؂ࠪͰ͖Δඞཁ͕ ͋Δɻ w ݖݶཁٻΛਃ੥ࣜʹ͢ΔͱɺͦΕΛॲཧ͢Δσʔλج൫νʔϜ͕ ϘτϧωοΫʹͳΔɻ w 3FETIJGUͷσϑΥϧτͩͱɺ࡞੒͞Εͨ௚ޙͷςʔϒϧ͸Φʔφ ʔҎ֎ಡΊͳ͍ɻ͔͠͠શһ͕ςʔϒϧΛ࡞Δͨͼʹ(3"/5͢

    Δͷ΋ඇݱ࣮తɻ ੑળઆ%8)ͷ՝୊
  30. w ݸਓ༻Ϣʔβʔͷ࡞੒ɺύεϫʔυϦηοτɺݸਓ༻εΩʔϚͷ ࡞੒ɺεΩʔϚݖݶͷऔಘͳͲΛίϯιʔϧ͔Βߦ͑Δ w ͍ͭͰʹ3FETIJGUͷϩʔυΤϥʔ΍4্ͷϩά΋ݟΒΕΔ ղܾࡦ%8)ίϯιʔϧʢ಺੡ʣ

  31. w BMUFSEFGBVMUQSJWJMFHFTจΛ࢖͏ͱɺ3FETIJGUϢʔβʔ͝ͱɾε ΩʔϚ͝ͱʹσϑΥϧτͷݖݶΛઃఆ͢Δ͜ͱ͕Ͱ͖Δɻ w σϑΥϧτͰQVCMJDʢશϢʔβʔʣͷTFMFDUݖݶ͕෇͘Α͏ʹ͠ ͓͚ͯ͹ϑϧΦʔϓϯʹͰ͖Δɻ ղܾࡦBMUFSEFGBVMUQSJWJMFHF

  32. ·ͱΊ

  33. ڊେςʔϒϧ ෛՙͷεύΠΫ ΞϓϦ%#࿈ܞ ੑળઆ%8) ࠓ೔͓࿩ͨͭ͠͠ͷ՝୊

  34. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠