$30 off During Our Annual Pro Sale. View Details »

Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤

Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤

Amazon Redshift事例祭り 2020での発表資料です。Redshiftをデータ活用基盤の中心で使っていくうえで特に障害となった4つの課題について解決策を述べます。

Minero Aoki

August 06, 2020
Tweet

More Decks by Minero Aoki

Other Decks in Technology

Transcript

  1. ΫοΫύουגࣜձࣾ੨໦ๆ࿠
    ΅͘ͷ͔Μ͕͍͑ͨ͞
    ͖ΐ͏ͷσʔλ׆༻ج൫
    ʙσʔλϨΠΫͬͯݴ͏ͳʙ

    View Slide

  2. ࣗݾ঺հ
    ‣ ੨໦ๆ࿠ʢ͓͖͋ΈͶΖ͏ʣ
    ‣ ݩ3VCZίϛολʔ
    ‣ લ৬ฒྻ3%#.4ϕϯμʔ
    ‣ ฒྻσʔλϕʔεͱग़ձ͏
    ‣ ݱ৬ΫοΫύου
    ‣ ෼ੳαʔϏεʮͨ΂ΈΔʯͷ։ൃ
    ‣ σʔλ׆༻ج൫ͷߏங
    ‣ ΫοΫύουͷϦΞʔΩςΫνϟ

    View Slide

  3. σʔλͷՁ஋Λ
    ࠷΋ߴΊΔʹ͸ʁ

    View Slide

  4. ୭Ͱ΋෼ੳͰ͖Δ
    ͢΂ͯΛ෼ੳͰ͖Δ

    View Slide

  5. 42-த৺
    42-Ͱׂͷॲཧ͕ߦ͑Δɻ࢒Γׂ͸ద౰ͳݴޠͰॲཧͰ͖Δɻ෼ੳऀ͸42-Λॻ͘લఏɻ
    ੍໿ͷͳ͍σʔλॲཧ
    σʔλͷαΠζ΍ग़ॴɺछྨʹΑͬͯͰ͖Δ͜ͱΛ੍ݶ͞Εͨ͘ͳ͍ɻ
    ϑϧΦʔϓϯੑળઆ
    Ͱ͖Δ͔͗Γଟ͘ͷ৘ใɺՄೳͳ͔͗Γڧ͍ݖݶΛ͢΂ͯͷϢʔβʔʹग़͢ɻ
    ΫοΫύουʹ͓͚Δ
    σʔλ෼ੳج൫ߏஙͷϙϦγʔ

    View Slide

  6. ෼ੳܥͷσʔλϑϩʔ
    3FETIJGUETYMBSHFº
    5# OPEFTMJDF

    όϧΫ
    ΤΫεϙʔτ
    12 +%#$
    .Z42-ɾ
    1PTUHSF42-
    qVFOUE
    Ϛελʔ
    ϩά
    +40/

    4
    όονδϣϒɾ
    ଞγεςϜ
    5BCMFBV
    3FEBTI
    ؅ཧը໘
    ͳͲ
    8PSLEBZ
    4BMFTGPSDF
    ;FOEFTL
    τϥϯβ
    Ϋγϣϯ
    ςʔϒϧఔ౓
    ຊऑ
    ຊऑ
    ϩά
    αϚϦʔ
    αϚϦʔ
    42-όον໿ຊ
    12 +%#$
    #*ܥ

    View Slide

  7. w ϨγϐݕࡧΠϯσοΫεߏங
    w ݩσʔλͷूܭɾऔಘ෦෼Λத৺ʹ3VCZίʔυΛ42-΁ม׵ͨ͠ɻ
    w Ϩγϐͷ෼͔ͪॻ͖ͳͲͷෳࡶͳ෦෼͸3VCZʹ෼཭ɻ
    w 3FETIJGUʹม׵ͨ͠෦෼͸਺ेഒʹߴ଎ԽͰ͖ͨɻ
    w Ϣʔβʔʹ͍ۙ഑ૹϙΠϯτͷݕग़
    w HFPTQBUJBMؔ਺Λ࢖ͬͯ༣ศ൪߸͔Β࠷΋͍ۙϙΠϯτΛݕग़ͨ͠ɻ
    w ݕࡧޠͷස౓෼ੳ
    w ୯ޠͷ෼ׂͱਖ਼نԽ͚ͩΛ6%'Ͱ࣮૷͠ɺ࢒Γ͸͢΂ͯ42-Խͨ͠ɻ
    3FETIJGUԽͨ͠ૉ௚Ͱͳ͍ॲཧͷྫ

    View Slide

  8. ࠓ೔ϑΥʔΧε͢Δ
    ͭͷ՝୊

    View Slide

  9. ڊେςʔϒϧ
    ෛՙͷεύΠΫ
    ΞϓϦ%#࿈ܞ
    ੑળઆ%8)

    View Slide

  10. ՝୊ڊେςʔϒϧ

    View Slide

  11. w গ਺ͷڊେͳϩά͕େ൒ͷ༰ྔΛ઎Ί͍ͯΔ
    w ͳ͔ͥڊେͳϩά΄Ͳߴස౓ʹϩʔυ͠ͳ͚Ε͹ͳΒͳ͍
    w খ͍͞ϩά΋਺͚ͩ͸ͨ͘͞Μ͋Δʢݏ͕Β͔ͤʁʂʣ
    ϩάͷঢ়گ
    QW@MPH
    5# JNQSFTTJPOT
    5#
    ॏཁϩά܈ݸͰ5#
    ༗৅ແ৅ͷϩά܈ݸऑͰ5#

    ࣌ؒʙ͝ͱ
    ෼ ෼

    View Slide

  12. w σΟεΫ଍Γͳ͍໰୊
    w ίϛοτ͕஗͗͢Δ໰୊
    w WBDVVNTPSUPOMZ໰୊
    w σʔλೖΕ௚͠໰୊
    w จࣈྻͷ௕͞଍Γͳ͔ͬͨ໰୊
    w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍໰୊
    ಺෦ςʔϒϧϩάͷ໰୊

    View Slide

  13. 3FETIJGU
    4
    w 1SJTNʢ಺੡ʣʹΑΔϩʔυ
    w 1BSRVFUͷϚʔδͱɺ೚ҙλΠϜκʔϯͰͷύʔςΟγϣχϯά͕Մೳ
    w 1SJTNৄࡉIUUQTUFDIMJGFDPPLQBEDPNFOUSZ
    ղܾࡦ4QFDUSVNΛ࢖͍੾Δ
    ֎෦
    ςʔϒϧ
    +40/
    +40/
    +40/
    1SJTN4USFBN
    1BSRVFU
    1BSRVFU
    MJWFPCKFDUT
    1BSRVFU
    1SJTN
    .FSHF
    1BSRVFU
    NFSHFEPCKFDUT
    ౸ண͍ͩ͠ॲཧ
    ໿࣌ؒ
    ͝ͱ
    (MVFΧλϩά
    Ͱ੾Γସ͑

    View Slide

  14. w σΟεΫ଍Γͳ͍໰୊
    w ίϛοτ͕஗͗͢Δ໰୊
    w WBDVVNTPSUPOMZ໰୊
    w σʔλೖΕ௚͠໰୊
    w จࣈྻͷ௕͞଍Γͳ͔ͬͨ໰୊
    w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍໰୊
    4QFDUSVN1SJTNಋೖޙ
    ͳ͘ͳͬͨ
    ͳ͘ͳͬͨ
    ͕Μ͹ͬͯղܾͨ͠
    1BSRVFUͰղܾ
    ܕਪ࿦Ͱղܾ༧ఆ
    ͳ͘ͳͬͨ

    View Slide

  15. w ڊେͳςʔϒϧͷ৔߹ɺ4QFDUSVN͸಺෦ςʔϒϧͱಉ౳ɺ΋͠
    ͘͸଎͍৔߹͢Β͋Δɻ
    w ஗͍৔߹΋͍͍͍ͤͥͯͲͳͷͰڐ༰Ͱ͖Δɻ
    4QFDUSVNͷ࣮ߦ଎౓͸Ͳ͏͔ʁ

    View Slide

  16. w ڊେͳςʔϒϧ͸4QFDUSVNʹҠͯ͠͠·ͬͨͷͰɺ3"͸͋·
    ΓϝϦοτ͕ͳ͍ɻ
    w 1SJTNͰղܾͨ͠໰୊͕෮׆ͯ͠͠·͏ͷͰɺϩάΛ಺෦ςʔϒ
    ϧʹ໭͢͜ͱ͸͋Γ͑ͳ͍ɻ
    w ͍·ͷͱ͜Ζ3"΁ͷҠߦ༧ఆ͸ͳ͠ɻ৽ػೳ͍ͩ͠ɻ
    3"͸Өڹ͕͋Δ͔ʁ

    View Slide

  17. ௨ৗεΩʔϚ
    w ֎෦εΩʔϚʢFYUFSOBMTDIFNBʣΛϢʔβʔʹ௚઀࢖ΘͤΔ΂
    ͖Ͱͳ͍ɻ
    w ֎෦εΩʔϚʹ͸Ϗϡʔ͕࡞Εͳ͍ͷͰɺޓ׵ੑΛอͭͨΊͷॲ
    ཧΛೖΕΔ༨஍͕ͳ͍ɻ
    w ௨ৗͷεΩʔϚʹ4QFDUSVNςʔϒϧΛࢀর͢ΔϏϡʔΛ࡞Γɺ
    ͦͪΒΛݟͤΔ΄͏͕Α͍ɻ
    5JQT֎෦εΩʔϚ͸ެ։͠ͳ͍
    Ϗϡʔ
    ֎෦εΩʔϚ
    ςʔϒϧ
    ެ։͠ͳ͍ʂ
    Ϗϡʔ͚ͩΛݟͤΔ

    View Slide

  18. ՝୊ෛՙͷεύΠΫ

    View Slide

  19. ͋Γ͕ͪͳ$16࢖༻཰άϥϑ

    View Slide

  20. w ݪҼ5BCMFBV͔ΒͷΫΤϦʔ
    w ڊେͳϩάΛԿ೥෼΋ॲཧ͢Δ
    w ϩάಉ࢜Λෆ౳߸ͰൣғδϣΠϯ
    w 6%'Λ࢖͍·͍ͬͯ͘Δ
    w ୡ੒͍ͨ͜͠ͱ
    w ଞͷΫΤϦʔ͕ఀࢭ͢Δɾ஗͘ͳΓ͗͢ΔͷΛආ͚͍ͨ
    w ڊେΫΤϦʔ͸࣌ؒ಺ʹऴΘΕ͹Α͍
    ෛՙͷεύΠΫ

    View Slide

  21. w ϝϦοτॏ͍ΫΤϦʔ͕૸͍ͬͯͯ΋ଞͷΫΤϦʔ͕ࢭ·Βͳ
    ͍ɻฏۉ͍ͯͲΫΤϦʔͷ଴ͪ࣌ؒΛ୹͔͘Ͱ͖ͨɻ
    w σϝϦοτ஋ஈ͕ߴ͍ɻ3*ͷΑ͏ͳίετ௿ݮͷ࢓૊Έ͕ͳ͍
    ͠ɺෛՙͷ௿͍࣌ؒ΋ίετ͕Լ͕Βͳ͍ɻ
    ղܾࡦ$PODVSSFODZ4DBMJOHͱ6TBHF-JNJU
    3FETIJGUΫϥελʔͷΩϟύγςΟʢ3*ͰΧόʔʣ
    $PODVSSFODZ4DBMJOHͰ
    ্৐ͤ
    6TBHF-JNJUͰ੍ݶ
    UJNF
    Ϋϥελʔͷෛՙ

    View Slide

  22. ‣ "VUP8-.Λ༗ޮʹ͢ΔͱɺΫΤϦʔͷ༏ઌ౓Ͱ$16ɾ*0Λ੍
    ޚͰ͖Δɻ
    w ϝϦοτ࣮ߦ࣌ؒͷ௕͍ΫΤϦʔͷ༏ઌ౓ΛԼ͛Δ͜ͱͰɺॏ
    ͍ΫΤϦʔ͸Ώͬ͘Γ࣮ߦͭͭ͠ɺଞͷΫΤϦʔ΁ͷӨڹ͸཈͑
    ΒΕΔɻ
    w σϝϦοτॏ͍ΫΤϦʔ͸ΑΓ஗͘ͳΔɻ
    w ༏ઌ౓ͷܾΊ͔ͨ͸Α͘ݕ౼͍ͨ͠
    ղܾࡦ"VUP8-.ʢݕূதʣ

    View Slide

  23. ՝୊ΞϓϦ%#࿈ܞ

    View Slide

  24. औΓࠐΜͰ͍ΔϚελʔςʔϒϧ
    %#λΠϓ ςʔϒϧ਺ γεςϜ ִؒ ํࣜ
    .Z42- 1JQFMJOFE.JHSBUPSʢ಺੡ʣ ೔࣍ શߦચ͍ସ͑
    1PTUHSF42- "84%BUBCBTF.JHSBUJPO4FSWJDF ೔࣍ શߦચ͍ସ͑
    %ZOBNP%# %ZOBNP%#4USFBNTˠ1SJTN ৗ࣌ ࠩ෼ߋ৽

    View Slide

  25. w ΞϓϦ%#ˠ3FETIJGUͷ໰୊
    w ϩʔυͷස౓Λ೔࣍ΑΓ্͍͛ͨ
    w ςʔϒϧ͝ͱʹϩʔυઃఆ͕ඞཁ
    w όονͰϩʔυ׬ྃΛ଴ͭͷΛ๨Ε͕ͪ
    w 3FETIJGUˠΞϓϦ%#ͷ໰୊
    w ௨ৗ4&-&$5͸ΞϓϦͷϝϞϦ͕ᷓΕΔͷͰ࢖͑ͳ͍͕ɺΧʔ
    ιϧ͸MFBEFSOPEFͷෛՙ͕ߴ͍
    w σʔλΛಡΉ్தͰ%#ίωΫγϣϯ͕੾ΕΔͱ࠶։Ͱ͖ͳ͍
    w 6/-0"%ΛશϓϩάϥϚ͕ॻ͘ͷ͸೉͍͠
    ΞϓϦ%#࿈ܞͷ໰୊

    View Slide

  26. w খ͍͞ςʔϒϧʹ͍ͭͯ͸ɺ'FEFSBUFE2VFSZܦ༝ʹ੾Γସ͑Δ
    ͜ͱͰ͍·͙͢͢΂ͯΛղܾͰ͖Δ
    w େ͖͍ςʔϒϧ͸ఆظతʹ3FETIJGU΁Ωϟογϡ
    ղܾࡦ'FEFSBUFE2VFSZʢݕূதʣ

    View Slide

  27. w όονδϣϒ͸ݪଇ2VFVFSZʢ಺੡ʣΛ࢖ͬͯόϧΫΤΫεϙʔ
    τΛ͍ͯ͠Δɻ
    w 2VFVFSZ͸)551"1*ͰΫΤϦʔΛड͚෇͚ͯ6/-0"%͠ɺͦ
    ͷ463-Λฦ͢αʔϏεɻ
    w Χʔιϧͱ͸ҟͳΓɺΞϓϦʢόονδϣϒʣଆ͕4͔Β௚઀
    σʔλΛಡΉͷͰ3FETIJGUͷෛՙ͕͍ܰɻ
    ղܾࡦ)551"1*ͰͷΤΫεϙʔτ
    4
    $47
    3FETIJGU
    ςʔϒϧ 2VFVFSZ όονδϣϒ
    6/-0"% δϣϒଆ͕ಡΈࠐΈ

    View Slide

  28. ՝୊ੑળઆ%8)

    View Slide

  29. w ͍͘Βੑળઆͱ͸͍͑ɺશһʹ3FETIJGUεʔύʔϢʔβʔΛղ์
    ͢Δ͜ͱ͸͕͢͞ʹͰ͖ͳ͍ɻ࠷௿ݶɺߦಈΛ؂ࠪͰ͖Δඞཁ͕
    ͋Δɻ
    w ݖݶཁٻΛਃ੥ࣜʹ͢ΔͱɺͦΕΛॲཧ͢Δσʔλج൫νʔϜ͕
    ϘτϧωοΫʹͳΔɻ
    w 3FETIJGUͷσϑΥϧτͩͱɺ࡞੒͞Εͨ௚ޙͷςʔϒϧ͸Φʔφ
    ʔҎ֎ಡΊͳ͍ɻ͔͠͠શһ͕ςʔϒϧΛ࡞Δͨͼʹ(3"/5͢
    Δͷ΋ඇݱ࣮తɻ
    ੑળઆ%8)ͷ՝୊

    View Slide

  30. w ݸਓ༻Ϣʔβʔͷ࡞੒ɺύεϫʔυϦηοτɺݸਓ༻εΩʔϚͷ
    ࡞੒ɺεΩʔϚݖݶͷऔಘͳͲΛίϯιʔϧ͔Βߦ͑Δ
    w ͍ͭͰʹ3FETIJGUͷϩʔυΤϥʔ΍4্ͷϩά΋ݟΒΕΔ
    ղܾࡦ%8)ίϯιʔϧʢ಺੡ʣ

    View Slide

  31. w BMUFSEFGBVMUQSJWJMFHFTจΛ࢖͏ͱɺ3FETIJGUϢʔβʔ͝ͱɾε
    ΩʔϚ͝ͱʹσϑΥϧτͷݖݶΛઃఆ͢Δ͜ͱ͕Ͱ͖Δɻ
    w σϑΥϧτͰQVCMJDʢશϢʔβʔʣͷTFMFDUݖݶ͕෇͘Α͏ʹ͠
    ͓͚ͯ͹ϑϧΦʔϓϯʹͰ͖Δɻ
    ղܾࡦBMUFSEFGBVMUQSJWJMFHF

    View Slide

  32. ·ͱΊ

    View Slide

  33. ڊେςʔϒϧ
    ෛՙͷεύΠΫ
    ΞϓϦ%#࿈ܞ
    ੑળઆ%8)
    ࠓ೔͓࿩ͨͭ͠͠ͷ՝୊

    View Slide

  34. ͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠

    View Slide