Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤
Search
Minero Aoki
August 06, 2020
Technology
2
980
Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤
Amazon Redshift事例祭り 2020での発表資料です。Redshiftをデータ活用基盤の中心で使っていくうえで特に障害となった4つの課題について解決策を述べます。
Minero Aoki
August 06, 2020
Tweet
Share
More Decks by Minero Aoki
See All by Minero Aoki
Data Engineering Study #20 "Introduction to Data Analytics with SQL" Book
aamine
15
5.2k
Treasure Data TechTalk 2022 - TD CDP in 30 minutes
aamine
1
2.6k
Why Cookpad Is Choosing Redshift as Our Data Platform
aamine
5
3.1k
Cookpad TechKitchen #8: Breaking BatchJobs Beautifully
aamine
3
1.4k
Cookpad 2016 Summer Intern: Programming Paradigm
aamine
4
19k
Other Decks in Technology
See All in Technology
Operating Operator
shhnjk
1
650
サイバーエージェントグループのSRE10年の歩みとAI時代の生存戦略
shotatsuge
4
830
Delegating the chores of authenticating users to Keycloak
ahus1
0
180
ポストコロナ時代の SaaS におけるコスト削減の意義
izzii
1
260
[SRE NEXT] ARR150億円_エンジニア140名_27チーム_17プロダクトから始めるSLO.pdf
satos
5
2.1k
TLSから見るSREの未来
atpons
2
240
話題の MCP と巡る OCI RAG ソリューションの旅 - Select AI with RAG と Generative AI Agents ディープダイブ
oracle4engineer
PRO
5
110
セキュアな社内Dify運用と外部連携の両立 ~AIによるAPIリスク評価~
zozotech
PRO
0
100
60以上のプロダクトを持つ組織における開発者体験向上への取り組み - チームAPIとBackstageで構築する組織の可視化基盤 - / sre next 2025 Efforts to Improve Developer Experience in an Organization with Over 60 Products
vtryo
3
980
助けて! XからWaylandに移行しないと新しいGNOMEが使えなくなっちゃう 2025-07-12
nobutomurata
2
140
20250707-AI活用の個人差を埋めるチームづくり
shnjtk
6
4.1k
ゼロからはじめる採用広報
yutadayo
4
1k
Featured
See All Featured
Building Adaptive Systems
keathley
43
2.7k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Thoughts on Productivity
jonyablonski
69
4.7k
Why Our Code Smells
bkeepers
PRO
336
57k
Become a Pro
speakerdeck
PRO
29
5.4k
For a Future-Friendly Web
brad_frost
179
9.8k
The Straight Up "How To Draw Better" Workshop
denniskardys
235
140k
Docker and Python
trallard
45
3.5k
Sharpening the Axe: The Primacy of Toolmaking
bcantrill
44
2.4k
How to Think Like a Performance Engineer
csswizardry
25
1.7k
The Language of Interfaces
destraynor
158
25k
Music & Morning Musume
bryan
46
6.7k
Transcript
ΫοΫύουגࣜձࣾ੨ๆ ΅͘ͷ͔Μ͕͍͑ͨ͞ ͖ΐ͏ͷσʔλ׆༻ج൫ ʙσʔλϨΠΫͬͯݴ͏ͳʙ
ࣗݾհ ‣ ੨ๆʢ͓͖͋ΈͶΖ͏ʣ ‣ ݩ3VCZίϛολʔ ‣ લ৬ฒྻ3%#.4ϕϯμʔ ‣ ฒྻσʔλϕʔεͱग़ձ͏ ‣
ݱ৬ΫοΫύου ‣ ੳαʔϏεʮͨΈΔʯͷ։ൃ ‣ σʔλ׆༻ج൫ͷߏங ‣ ΫοΫύουͷϦΞʔΩςΫνϟ
σʔλͷՁΛ ࠷ߴΊΔʹʁ
୭ͰੳͰ͖Δ ͯ͢ΛੳͰ͖Δ
42-த৺ 42-Ͱׂͷॲཧ͕ߦ͑ΔɻΓׂదͳݴޠͰॲཧͰ͖Δɻੳऀ42-Λॻ͘લఏɻ ੍ͷͳ͍σʔλॲཧ σʔλͷαΠζग़ॴɺछྨʹΑͬͯͰ͖Δ͜ͱΛ੍ݶ͞Εͨ͘ͳ͍ɻ ϑϧΦʔϓϯੑળઆ Ͱ͖Δ͔͗Γଟ͘ͷใɺՄೳͳ͔͗Γڧ͍ݖݶΛͯ͢ͷϢʔβʔʹग़͢ɻ ΫοΫύουʹ͓͚Δ
σʔλੳج൫ߏஙͷϙϦγʔ
ੳܥͷσʔλϑϩʔ 3FETIJGUETYMBSHFº 5# OPEFTMJDF όϧΫ ΤΫεϙʔτ 12 +%#$ .Z42-ɾ 1PTUHSF42-
qVFOUE Ϛελʔ ϩά +40/ 4 όονδϣϒɾ ଞγεςϜ 5BCMFBV 3FEBTI ཧը໘ ͳͲ 8PSLEBZ 4BMFTGPSDF ;FOEFTL τϥϯβ Ϋγϣϯ ςʔϒϧఔ ຊऑ ຊऑ ϩά αϚϦʔ αϚϦʔ 42-όονຊ 12 +%#$ #*ܥ
w ϨγϐݕࡧΠϯσοΫεߏங w ݩσʔλͷूܭɾऔಘ෦Λத৺ʹ3VCZίʔυΛ42-มͨ͠ɻ w Ϩγϐͷ͔ͪॻ͖ͳͲͷෳࡶͳ෦3VCZʹɻ w 3FETIJGUʹมͨ͠෦ेഒʹߴԽͰ͖ͨɻ w Ϣʔβʔʹ͍ۙૹϙΠϯτͷݕग़
w HFPTQBUJBMؔΛͬͯ༣ศ൪߸͔Β࠷͍ۙϙΠϯτΛݕग़ͨ͠ɻ w ݕࡧޠͷසੳ w ୯ޠͷׂͱਖ਼نԽ͚ͩΛ6%'Ͱ࣮͠ɺΓͯ͢42-Խͨ͠ɻ 3FETIJGUԽͨ͠ૉͰͳ͍ॲཧͷྫ
ࠓϑΥʔΧε͢Δ ͭͷ՝
ڊେςʔϒϧ ෛՙͷεύΠΫ ΞϓϦ%#࿈ܞ ੑળઆ%8)
՝ڊେςʔϒϧ
w গͷڊେͳϩά͕େͷ༰ྔΛΊ͍ͯΔ w ͳ͔ͥڊେͳϩά΄Ͳߴසʹϩʔυ͠ͳ͚ΕͳΒͳ͍ w খ͍͞ϩά͚ͩͨ͘͞Μ͋Δʢݏ͕Β͔ͤʁʂʣ ϩάͷঢ়گ QW@MPH 5# JNQSFTTJPOT
5# ॏཁϩά܈ݸͰ5# ༗ແͷϩά܈ݸऑͰ5# ࣌ؒʙ͝ͱ
w σΟεΫΓͳ͍ w ίϛοτ͕͗͢Δ w WBDVVNTPSUPOMZ w σʔλೖΕ͠ w จࣈྻͷ͞Γͳ͔ͬͨ
w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍ ෦ςʔϒϧϩάͷ
3FETIJGU 4 w 1SJTNʢʣʹΑΔϩʔυ w 1BSRVFUͷϚʔδͱɺҙλΠϜκʔϯͰͷύʔςΟγϣχϯά͕Մೳ w 1SJTNৄࡉIUUQTUFDIMJGFDPPLQBEDPNFOUSZ ղܾࡦ4QFDUSVNΛ͍Δ ֎෦
ςʔϒϧ +40/ +40/ +40/ 1SJTN4USFBN 1BSRVFU 1BSRVFU MJWFPCKFDUT 1BSRVFU 1SJTN .FSHF 1BSRVFU NFSHFEPCKFDUT ౸ண͍ͩ͠ॲཧ ࣌ؒ ͝ͱ (MVFΧλϩά ͰΓସ͑
w σΟεΫΓͳ͍ w ίϛοτ͕͗͢Δ w WBDVVNTPSUPOMZ w σʔλೖΕ͠ w จࣈྻͷ͞Γͳ͔ͬͨ
w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍ 4QFDUSVN1SJTNಋೖޙ ͳ͘ͳͬͨ ͳ͘ͳͬͨ ͕Μͬͯղܾͨ͠ 1BSRVFUͰղܾ ܕਪͰղܾ༧ఆ ͳ͘ͳͬͨ
w ڊେͳςʔϒϧͷ߹ɺ4QFDUSVN෦ςʔϒϧͱಉɺ͠ ͍͘߹͢Β͋Δɻ w ͍߹͍͍ͤͥ ͍ͯͲͳͷͰڐ༰Ͱ͖Δɻ 4QFDUSVNͷ࣮ߦͲ͏͔ʁ
w ڊେͳςʔϒϧ4QFDUSVNʹҠͯ͠͠·ͬͨͷͰɺ3"͋· ΓϝϦοτ͕ͳ͍ɻ w 1SJTNͰղܾ͕ͨ͠෮׆ͯ͠͠·͏ͷͰɺϩάΛ෦ςʔϒ ϧʹ͢͜ͱ͋Γ͑ͳ͍ɻ w ͍·ͷͱ͜Ζ3"ͷҠߦ༧ఆͳ͠ɻ৽ػೳ͍ͩ͠ɻ 3"Өڹ͕͋Δ͔ʁ
௨ৗεΩʔϚ w ֎෦εΩʔϚʢFYUFSOBMTDIFNBʣΛϢʔβʔʹΘͤΔ ͖Ͱͳ͍ɻ w ֎෦εΩʔϚʹϏϡʔ͕࡞Εͳ͍ͷͰɺޓੑΛอͭͨΊͷॲ ཧΛೖΕΔ༨͕ͳ͍ɻ w ௨ৗͷεΩʔϚʹ4QFDUSVNςʔϒϧΛࢀর͢ΔϏϡʔΛ࡞Γɺ ͦͪΒΛݟͤΔ΄͏͕Α͍ɻ
5JQT֎෦εΩʔϚެ։͠ͳ͍ Ϗϡʔ ֎෦εΩʔϚ ςʔϒϧ ެ։͠ͳ͍ʂ Ϗϡʔ͚ͩΛݟͤΔ
՝ෛՙͷεύΠΫ
͋Γ͕ͪͳ$16༻άϥϑ
w ݪҼ5BCMFBV͔ΒͷΫΤϦʔ w ڊେͳϩάΛԿॲཧ͢Δ w ϩάಉ࢜Λෆ߸ͰൣғδϣΠϯ w 6%'Λ͍·͍ͬͯ͘Δ w ୡ͍ͨ͜͠ͱ
w ଞͷΫΤϦʔ͕ఀࢭ͢Δɾ͘ͳΓ͗͢ΔͷΛආ͚͍ͨ w ڊେΫΤϦʔ࣌ؒʹऴΘΕΑ͍ ෛՙͷεύΠΫ
w ϝϦοτॏ͍ΫΤϦʔ͕͍ͬͯͯଞͷΫΤϦʔ͕ࢭ·Βͳ ͍ɻฏۉ͍ͯͲΫΤϦʔͷͪ࣌ؒΛ͔͘Ͱ͖ͨɻ w σϝϦοτஈ͕ߴ͍ɻ3*ͷΑ͏ͳίετݮͷΈ͕ͳ͍ ͠ɺෛՙͷ͍࣌ؒίετ͕Լ͕Βͳ͍ɻ ղܾࡦ$PODVSSFODZ4DBMJOHͱ6TBHF-JNJU 3FETIJGUΫϥελʔͷΩϟύγςΟʢ3*ͰΧόʔʣ $PODVSSFODZ4DBMJOHͰ ্ͤ
6TBHF-JNJUͰ੍ݶ UJNF Ϋϥελʔͷෛՙ
‣ "VUP8-.Λ༗ޮʹ͢ΔͱɺΫΤϦʔͷ༏ઌͰ$16ɾ*0Λ੍ ޚͰ͖Δɻ w ϝϦοτ࣮ߦ࣌ؒͷ͍ΫΤϦʔͷ༏ઌΛԼ͛Δ͜ͱͰɺॏ ͍ΫΤϦʔΏͬ͘Γ࣮ߦͭͭ͠ɺଞͷΫΤϦʔͷӨڹ͑ ΒΕΔɻ w σϝϦοτॏ͍ΫΤϦʔΑΓ͘ͳΔɻ w
༏ઌͷܾΊ͔ͨΑ͘ݕ౼͍ͨ͠ ղܾࡦ"VUP8-.ʢݕূதʣ
՝ΞϓϦ%#࿈ܞ
औΓࠐΜͰ͍ΔϚελʔςʔϒϧ %#λΠϓ ςʔϒϧ γεςϜ ִؒ ํࣜ .Z42- 1JQFMJOFE.JHSBUPSʢʣ ࣍
શߦચ͍ସ͑ 1PTUHSF42- "84%BUBCBTF.JHSBUJPO4FSWJDF ࣍ શߦચ͍ସ͑ %ZOBNP%# %ZOBNP%#4USFBNTˠ1SJTN ৗ࣌ ࠩߋ৽
w ΞϓϦ%#ˠ3FETIJGUͷ w ϩʔυͷසΛ࣍ΑΓ্͍͛ͨ w ςʔϒϧ͝ͱʹϩʔυઃఆ͕ඞཁ w όονͰϩʔυྃΛͭͷΛΕ͕ͪ w 3FETIJGUˠΞϓϦ%#ͷ
w ௨ৗ4&-&$5ΞϓϦͷϝϞϦ͕ᷓΕΔͷͰ͑ͳ͍͕ɺΧʔ ιϧMFBEFSOPEFͷෛՙ͕ߴ͍ w σʔλΛಡΉ్தͰ%#ίωΫγϣϯ͕ΕΔͱ࠶։Ͱ͖ͳ͍ w 6/-0"%ΛશϓϩάϥϚ͕ॻ͘ͷ͍͠ ΞϓϦ%#࿈ܞͷ
w খ͍͞ςʔϒϧʹ͍ͭͯɺ'FEFSBUFE2VFSZܦ༝ʹΓସ͑Δ ͜ͱͰ͍·͙ͯ͢͢ΛղܾͰ͖Δ w େ͖͍ςʔϒϧఆظతʹ3FETIJGUΩϟογϡ ղܾࡦ'FEFSBUFE2VFSZʢݕূதʣ
w όονδϣϒݪଇ2VFVFSZʢʣΛͬͯόϧΫΤΫεϙʔ τΛ͍ͯ͠Δɻ w 2VFVFSZ)551"1*ͰΫΤϦʔΛड͚͚ͯ6/-0"%͠ɺͦ ͷ463-Λฦ͢αʔϏεɻ w ΧʔιϧͱҟͳΓɺΞϓϦʢόονδϣϒʣଆ͕4͔Β σʔλΛಡΉͷͰ3FETIJGUͷෛՙ͕͍ܰɻ ղܾࡦ)551"1*ͰͷΤΫεϙʔτ
4 $47 3FETIJGU ςʔϒϧ 2VFVFSZ όονδϣϒ 6/-0"% δϣϒଆ͕ಡΈࠐΈ
՝ੑળઆ%8)
w ͍͘Βੑળઆͱ͍͑ɺશһʹ3FETIJGUεʔύʔϢʔβʔΛղ์ ͢Δ͜ͱ͕͢͞ʹͰ͖ͳ͍ɻ࠷ݶɺߦಈΛࠪͰ͖Δඞཁ͕ ͋Δɻ w ݖݶཁٻΛਃࣜʹ͢ΔͱɺͦΕΛॲཧ͢Δσʔλج൫νʔϜ͕ ϘτϧωοΫʹͳΔɻ w 3FETIJGUͷσϑΥϧτͩͱɺ࡞͞ΕͨޙͷςʔϒϧΦʔφ ʔҎ֎ಡΊͳ͍ɻ͔͠͠શһ͕ςʔϒϧΛ࡞Δͨͼʹ(3"/5͢
Δͷඇݱ࣮తɻ ੑળઆ%8)ͷ՝
w ݸਓ༻Ϣʔβʔͷ࡞ɺύεϫʔυϦηοτɺݸਓ༻εΩʔϚͷ ࡞ɺεΩʔϚݖݶͷऔಘͳͲΛίϯιʔϧ͔Βߦ͑Δ w ͍ͭͰʹ3FETIJGUͷϩʔυΤϥʔ4্ͷϩάݟΒΕΔ ղܾࡦ%8)ίϯιʔϧʢʣ
w BMUFSEFGBVMUQSJWJMFHFTจΛ͏ͱɺ3FETIJGUϢʔβʔ͝ͱɾε ΩʔϚ͝ͱʹσϑΥϧτͷݖݶΛઃఆ͢Δ͜ͱ͕Ͱ͖Δɻ w σϑΥϧτͰQVCMJDʢશϢʔβʔʣͷTFMFDUݖݶ͕͘Α͏ʹ͠ ͓͚ͯϑϧΦʔϓϯʹͰ͖Δɻ ղܾࡦBMUFSEFGBVMUQSJWJMFHF
·ͱΊ
ڊେςʔϒϧ ෛՙͷεύΠΫ ΞϓϦ%#࿈ܞ ੑળઆ%8) ࠓ͓ͨͭ͠͠ͷ՝
͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠