Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤

Amazon Redshift事例祭り 2020での発表資料です。Redshiftをデータ活用基盤の中心で使っていくうえで特に障害となった4つの課題について解決策を述べます。

Transcript

1. ΫοΫύουגࣜձࣾ੨໦ๆ࿠
   ΅͘ͷ͔Μ͕͍͑ͨ͞
   ͖ΐ͏ͷσʔλ׆༻ج൫
   ʙσʔλϨΠΫͬͯݴ͏ͳʙ
   

   View Slide

2. ࣗݾ঺հ
   ‣ ੨໦ๆ࿠ʢ͓͖͋ΈͶΖ͏ʣ
   ‣ ݩ3VCZίϛολʔ
   ‣ લ৬ฒྻ3%#.4ϕϯμʔ
   ‣ ฒྻσʔλϕʔεͱग़ձ͏
   ‣ ݱ৬ΫοΫύου
   ‣ ෼ੳαʔϏεʮͨ΂ΈΔʯͷ։ൃ
   ‣ σʔλ׆༻ج൫ͷߏங
   ‣ ΫοΫύουͷϦΞʔΩςΫνϟ
   

   View Slide

3. σʔλͷՁ஋Λ
   ࠷΋ߴΊΔʹ͸ʁ
   

   View Slide

4. ୭Ͱ΋෼ੳͰ͖Δ
   ͢΂ͯΛ෼ੳͰ͖Δ
   

   View Slide

5. 42-த৺
   42-Ͱׂͷॲཧ͕ߦ͑Δɻ࢒Γׂ͸ద౰ͳݴޠͰॲཧͰ͖Δɻ෼ੳऀ͸42-Λॻ͘લఏɻ
   ੍໿ͷͳ͍σʔλॲཧ
   σʔλͷαΠζ΍ग़ॴɺछྨʹΑͬͯͰ͖Δ͜ͱΛ੍ݶ͞Εͨ͘ͳ͍ɻ
   ϑϧΦʔϓϯੑળઆ
   Ͱ͖Δ͔͗Γଟ͘ͷ৘ใɺՄೳͳ͔͗Γڧ͍ݖݶΛ͢΂ͯͷϢʔβʔʹग़͢ɻ
   ΫοΫύουʹ͓͚Δ
   σʔλ෼ੳج൫ߏஙͷϙϦγʔ
   

   View Slide

6. ෼ੳܥͷσʔλϑϩʔ
   3FETIJGUETYMBSHFº
   5# OPEFTMJDF
   
   όϧΫ
   ΤΫεϙʔτ
   12 +%#$
   .Z42-ɾ
   1PTUHSF42-
   qVFOUE
   Ϛελʔ
   ϩά
   +40/
   
   4
   όονδϣϒɾ
   ଞγεςϜ
   5BCMFBV
   3FEBTI
   ؅ཧը໘
   ͳͲ
   8PSLEBZ
   4BMFTGPSDF
   ;FOEFTL
   τϥϯβ
   Ϋγϣϯ
   ςʔϒϧఔ౓
   ຊऑ
   ຊऑ
   ϩά
   αϚϦʔ
   αϚϦʔ
   42-όον໿ຊ
   12 +%#$
   #*ܥ
   

   View Slide

7. w ϨγϐݕࡧΠϯσοΫεߏங
   w ݩσʔλͷूܭɾऔಘ෦෼Λத৺ʹ3VCZίʔυΛ42-΁ม׵ͨ͠ɻ
   w Ϩγϐͷ෼͔ͪॻ͖ͳͲͷෳࡶͳ෦෼͸3VCZʹ෼཭ɻ
   w 3FETIJGUʹม׵ͨ͠෦෼͸਺ेഒʹߴ଎ԽͰ͖ͨɻ
   w Ϣʔβʔʹ͍ۙ഑ૹϙΠϯτͷݕग़
   w HFPTQBUJBMؔ਺Λ࢖ͬͯ༣ศ൪߸͔Β࠷΋͍ۙϙΠϯτΛݕग़ͨ͠ɻ
   w ݕࡧޠͷස౓෼ੳ
   w ୯ޠͷ෼ׂͱਖ਼نԽ͚ͩΛ6%'Ͱ࣮૷͠ɺ࢒Γ͸͢΂ͯ42-Խͨ͠ɻ
   3FETIJGUԽͨ͠ૉ௚Ͱͳ͍ॲཧͷྫ
   

   View Slide

8. ࠓ೔ϑΥʔΧε͢Δ
   ͭͷ՝୊
   

   View Slide

9. ڊେςʔϒϧ
   ෛՙͷεύΠΫ
   ΞϓϦ%#࿈ܞ
   ੑળઆ%8)
   

   View Slide

10. ՝୊ڊେςʔϒϧ
    

    View Slide

11. w গ਺ͷڊେͳϩά͕େ൒ͷ༰ྔΛ઎Ί͍ͯΔ
    w ͳ͔ͥڊେͳϩά΄Ͳߴස౓ʹϩʔυ͠ͳ͚Ε͹ͳΒͳ͍
    w খ͍͞ϩά΋਺͚ͩ͸ͨ͘͞Μ͋Δʢݏ͕Β͔ͤʁʂʣ
    ϩάͷঢ়گ
    QW@MPH
    5# JNQSFTTJPOT
    5#
    ॏཁϩά܈ݸͰ5#
    ༗৅ແ৅ͷϩά܈ݸऑͰ5#
    ෼
    ࣌ؒʙ͝ͱ
    ෼ ෼
    ෼
    

    View Slide

12. w σΟεΫ଍Γͳ͍໰୊
    w ίϛοτ͕஗͗͢Δ໰୊
    w WBDVVNTPSUPOMZ໰୊
    w σʔλೖΕ௚͠໰୊
    w จࣈྻͷ௕͞଍Γͳ͔ͬͨ໰୊
    w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍໰୊
    ಺෦ςʔϒϧϩάͷ໰୊
    

    View Slide

13. 3FETIJGU
    4
    w 1SJTNʢ಺੡ʣʹΑΔϩʔυ
    w 1BSRVFUͷϚʔδͱɺ೚ҙλΠϜκʔϯͰͷύʔςΟγϣχϯά͕Մೳ
    w 1SJTNৄࡉIUUQTUFDIMJGFDPPLQBEDPNFOUSZ
    ղܾࡦ4QFDUSVNΛ࢖͍੾Δ
    ֎෦
    ςʔϒϧ
    +40/
    +40/
    +40/
    1SJTN4USFBN
    1BSRVFU
    1BSRVFU
    MJWFPCKFDUT
    1BSRVFU
    1SJTN
    .FSHF
    1BSRVFU
    NFSHFEPCKFDUT
    ౸ண͍ͩ͠ॲཧ
    ໿࣌ؒ
    ͝ͱ
    (MVFΧλϩά
    Ͱ੾Γସ͑
    

    View Slide

14. w σΟεΫ଍Γͳ͍໰୊
    w ίϛοτ͕஗͗͢Δ໰୊
    w WBDVVNTPSUPOMZ໰୊
    w σʔλೖΕ௚͠໰୊
    w จࣈྻͷ௕͞଍Γͳ͔ͬͨ໰୊
    w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍໰୊
    4QFDUSVN1SJTNಋೖޙ
    ͳ͘ͳͬͨ
    ͳ͘ͳͬͨ
    ͕Μ͹ͬͯղܾͨ͠
    1BSRVFUͰղܾ
    ܕਪ࿦Ͱղܾ༧ఆ
    ͳ͘ͳͬͨ
    

    View Slide

15. w ڊେͳςʔϒϧͷ৔߹ɺ4QFDUSVN͸಺෦ςʔϒϧͱಉ౳ɺ΋͠
    ͘͸଎͍৔߹͢Β͋Δɻ
    w ஗͍৔߹΋͍͍͍ͤͥͯͲͳͷͰڐ༰Ͱ͖Δɻ
    4QFDUSVNͷ࣮ߦ଎౓͸Ͳ͏͔ʁ
    

    View Slide

16. w ڊେͳςʔϒϧ͸4QFDUSVNʹҠͯ͠͠·ͬͨͷͰɺ3"͸͋·
    ΓϝϦοτ͕ͳ͍ɻ
    w 1SJTNͰղܾͨ͠໰୊͕෮׆ͯ͠͠·͏ͷͰɺϩάΛ಺෦ςʔϒ
    ϧʹ໭͢͜ͱ͸͋Γ͑ͳ͍ɻ
    w ͍·ͷͱ͜Ζ3"΁ͷҠߦ༧ఆ͸ͳ͠ɻ৽ػೳ͍ͩ͠ɻ
    3"͸Өڹ͕͋Δ͔ʁ
    

    View Slide

17. ௨ৗεΩʔϚ
    w ֎෦εΩʔϚʢFYUFSOBMTDIFNBʣΛϢʔβʔʹ௚઀࢖ΘͤΔ΂
    ͖Ͱͳ͍ɻ
    w ֎෦εΩʔϚʹ͸Ϗϡʔ͕࡞Εͳ͍ͷͰɺޓ׵ੑΛอͭͨΊͷॲ
    ཧΛೖΕΔ༨஍͕ͳ͍ɻ
    w ௨ৗͷεΩʔϚʹ4QFDUSVNςʔϒϧΛࢀর͢ΔϏϡʔΛ࡞Γɺ
    ͦͪΒΛݟͤΔ΄͏͕Α͍ɻ
    5JQT֎෦εΩʔϚ͸ެ։͠ͳ͍
    Ϗϡʔ
    ֎෦εΩʔϚ
    ςʔϒϧ
    ެ։͠ͳ͍ʂ
    Ϗϡʔ͚ͩΛݟͤΔ
    

    View Slide

18. ՝୊ෛՙͷεύΠΫ
    

    View Slide

19. ͋Γ͕ͪͳ$16࢖༻཰άϥϑ
    

    View Slide

20. w ݪҼ5BCMFBV͔ΒͷΫΤϦʔ
    w ڊେͳϩάΛԿ೥෼΋ॲཧ͢Δ
    w ϩάಉ࢜Λෆ౳߸ͰൣғδϣΠϯ
    w 6%'Λ࢖͍·͍ͬͯ͘Δ
    w ୡ੒͍ͨ͜͠ͱ
    w ଞͷΫΤϦʔ͕ఀࢭ͢Δɾ஗͘ͳΓ͗͢ΔͷΛආ͚͍ͨ
    w ڊେΫΤϦʔ͸࣌ؒ಺ʹऴΘΕ͹Α͍
    ෛՙͷεύΠΫ
    

    View Slide

21. w ϝϦοτॏ͍ΫΤϦʔ͕૸͍ͬͯͯ΋ଞͷΫΤϦʔ͕ࢭ·Βͳ
    ͍ɻฏۉ͍ͯͲΫΤϦʔͷ଴ͪ࣌ؒΛ୹͔͘Ͱ͖ͨɻ
    w σϝϦοτ஋ஈ͕ߴ͍ɻ3*ͷΑ͏ͳίετ௿ݮͷ࢓૊Έ͕ͳ͍
    ͠ɺෛՙͷ௿͍࣌ؒ΋ίετ͕Լ͕Βͳ͍ɻ
    ղܾࡦ$PODVSSFODZ4DBMJOHͱ6TBHF-JNJU
    3FETIJGUΫϥελʔͷΩϟύγςΟʢ3*ͰΧόʔʣ
    $PODVSSFODZ4DBMJOHͰ
    ্৐ͤ
    6TBHF-JNJUͰ੍ݶ
    UJNF
    Ϋϥελʔͷෛՙ
    

    View Slide

22. ‣ "VUP8-.Λ༗ޮʹ͢ΔͱɺΫΤϦʔͷ༏ઌ౓Ͱ$16ɾ*0Λ੍
    ޚͰ͖Δɻ
    w ϝϦοτ࣮ߦ࣌ؒͷ௕͍ΫΤϦʔͷ༏ઌ౓ΛԼ͛Δ͜ͱͰɺॏ
    ͍ΫΤϦʔ͸Ώͬ͘Γ࣮ߦͭͭ͠ɺଞͷΫΤϦʔ΁ͷӨڹ͸཈͑
    ΒΕΔɻ
    w σϝϦοτॏ͍ΫΤϦʔ͸ΑΓ஗͘ͳΔɻ
    w ༏ઌ౓ͷܾΊ͔ͨ͸Α͘ݕ౼͍ͨ͠
    ղܾࡦ"VUP8-.ʢݕূதʣ
    

    View Slide

23. ՝୊ΞϓϦ%#࿈ܞ
    

    View Slide

24. औΓࠐΜͰ͍ΔϚελʔςʔϒϧ
    %#λΠϓ ςʔϒϧ਺ γεςϜ ִؒ ํࣜ
    .Z42- 1JQFMJOFE.JHSBUPSʢ಺੡ʣ ೔࣍ શߦચ͍ସ͑
    1PTUHSF42- "84%BUBCBTF.JHSBUJPO4FSWJDF ೔࣍ શߦચ͍ସ͑
    %ZOBNP%# %ZOBNP%#4USFBNTˠ1SJTN ৗ࣌ ࠩ෼ߋ৽
    

    View Slide

25. w ΞϓϦ%#ˠ3FETIJGUͷ໰୊
    w ϩʔυͷස౓Λ೔࣍ΑΓ্͍͛ͨ
    w ςʔϒϧ͝ͱʹϩʔυઃఆ͕ඞཁ
    w όονͰϩʔυ׬ྃΛ଴ͭͷΛ๨Ε͕ͪ
    w 3FETIJGUˠΞϓϦ%#ͷ໰୊
    w ௨ৗ4&-&$5͸ΞϓϦͷϝϞϦ͕ᷓΕΔͷͰ࢖͑ͳ͍͕ɺΧʔ
    ιϧ͸MFBEFSOPEFͷෛՙ͕ߴ͍
    w σʔλΛಡΉ్தͰ%#ίωΫγϣϯ͕੾ΕΔͱ࠶։Ͱ͖ͳ͍
    w 6/-0"%ΛશϓϩάϥϚ͕ॻ͘ͷ͸೉͍͠
    ΞϓϦ%#࿈ܞͷ໰୊
    

    View Slide

26. w খ͍͞ςʔϒϧʹ͍ͭͯ͸ɺ'FEFSBUFE2VFSZܦ༝ʹ੾Γସ͑Δ
    ͜ͱͰ͍·͙͢͢΂ͯΛղܾͰ͖Δ
    w େ͖͍ςʔϒϧ͸ఆظతʹ3FETIJGU΁Ωϟογϡ
    ղܾࡦ'FEFSBUFE2VFSZʢݕূதʣ
    

    View Slide

27. w όονδϣϒ͸ݪଇ2VFVFSZʢ಺੡ʣΛ࢖ͬͯόϧΫΤΫεϙʔ
    τΛ͍ͯ͠Δɻ
    w 2VFVFSZ͸)551"1*ͰΫΤϦʔΛड͚෇͚ͯ6/-0"%͠ɺͦ
    ͷ463-Λฦ͢αʔϏεɻ
    w Χʔιϧͱ͸ҟͳΓɺΞϓϦʢόονδϣϒʣଆ͕4͔Β௚઀
    σʔλΛಡΉͷͰ3FETIJGUͷෛՙ͕͍ܰɻ
    ղܾࡦ)551"1*ͰͷΤΫεϙʔτ
    4
    $47
    3FETIJGU
    ςʔϒϧ 2VFVFSZ όονδϣϒ
    6/-0"% δϣϒଆ͕ಡΈࠐΈ
    

    View Slide

28. ՝୊ੑળઆ%8)
    

    View Slide

29. w ͍͘Βੑળઆͱ͸͍͑ɺશһʹ3FETIJGUεʔύʔϢʔβʔΛղ์
    ͢Δ͜ͱ͸͕͢͞ʹͰ͖ͳ͍ɻ࠷௿ݶɺߦಈΛ؂ࠪͰ͖Δඞཁ͕
    ͋Δɻ
    w ݖݶཁٻΛਃ੥ࣜʹ͢ΔͱɺͦΕΛॲཧ͢Δσʔλج൫νʔϜ͕
    ϘτϧωοΫʹͳΔɻ
    w 3FETIJGUͷσϑΥϧτͩͱɺ࡞੒͞Εͨ௚ޙͷςʔϒϧ͸Φʔφ
    ʔҎ֎ಡΊͳ͍ɻ͔͠͠શһ͕ςʔϒϧΛ࡞Δͨͼʹ(3"/5͢
    Δͷ΋ඇݱ࣮తɻ
    ੑળઆ%8)ͷ՝୊
    

    View Slide

30. w ݸਓ༻Ϣʔβʔͷ࡞੒ɺύεϫʔυϦηοτɺݸਓ༻εΩʔϚͷ
    ࡞੒ɺεΩʔϚݖݶͷऔಘͳͲΛίϯιʔϧ͔Βߦ͑Δ
    w ͍ͭͰʹ3FETIJGUͷϩʔυΤϥʔ΍4্ͷϩά΋ݟΒΕΔ
    ղܾࡦ%8)ίϯιʔϧʢ಺੡ʣ
    

    View Slide

31. w BMUFSEFGBVMUQSJWJMFHFTจΛ࢖͏ͱɺ3FETIJGUϢʔβʔ͝ͱɾε
    ΩʔϚ͝ͱʹσϑΥϧτͷݖݶΛઃఆ͢Δ͜ͱ͕Ͱ͖Δɻ
    w σϑΥϧτͰQVCMJDʢશϢʔβʔʣͷTFMFDUݖݶ͕෇͘Α͏ʹ͠
    ͓͚ͯ͹ϑϧΦʔϓϯʹͰ͖Δɻ
    ղܾࡦBMUFSEFGBVMUQSJWJMFHF
    

    View Slide

32. ·ͱΊ
    

    View Slide

33. ڊେςʔϒϧ
    ෛՙͷεύΠΫ
    ΞϓϦ%#࿈ܞ
    ੑળઆ%8)
    ࠓ೔͓࿩ͨͭ͠͠ͷ՝୊
    

    View Slide

34. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠
    

    View Slide