Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤
Search
Minero Aoki
August 06, 2020
Technology
2
970
Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤
Amazon Redshift事例祭り 2020での発表資料です。Redshiftをデータ活用基盤の中心で使っていくうえで特に障害となった4つの課題について解決策を述べます。
Minero Aoki
August 06, 2020
Tweet
Share
More Decks by Minero Aoki
See All by Minero Aoki
Data Engineering Study #20 "Introduction to Data Analytics with SQL" Book
aamine
15
5.2k
Treasure Data TechTalk 2022 - TD CDP in 30 minutes
aamine
1
2.6k
Why Cookpad Is Choosing Redshift as Our Data Platform
aamine
5
3.1k
Cookpad TechKitchen #8: Breaking BatchJobs Beautifully
aamine
3
1.4k
Cookpad 2016 Summer Intern: Programming Paradigm
aamine
4
19k
Other Decks in Technology
See All in Technology
TerraformをSaaSで使うとAzureの運用がこんなに楽ちん!HCP Terraformって何?
mnakabayashi
0
130
原則から考える保守しやすいComposable関数設計
moriatsushi
3
390
Introduction to Sansan for Engineers / エンジニア向け会社紹介
sansan33
PRO
5
38k
Tensix Core アーキテクチャ解説
tenstorrent_japan
0
360
OCI Oracle Database Services新機能アップデート(2025/03-2025/05)
oracle4engineer
PRO
1
140
Grafana MCP serverでなんかし隊 / Try Grafana MCP server
kohbis
0
340
Devin(Deep) Wiki/Searchの活用で変わる開発の世界観/devin-wiki-search-impact
tomoki10
0
310
技術職じゃない私がVibe Codingで感じた、AGIが身近になる未来
blueb
0
120
Nonaka Sensei
kawaguti
PRO
3
680
Kotlinで学ぶ 代数的データ型
ysknsid25
5
1.1k
讓測試不再 BB! 從 BDD 到 CI/CD, 不靠人力也能 MVP
line_developers_tw
PRO
0
160
生成AIをテストプロセスに活用し"よう"としている話 #jasstnano
makky_tyuyan
0
160
Featured
See All Featured
Optimizing for Happiness
mojombo
379
70k
Raft: Consensus for Rubyists
vanstee
139
7k
Designing for Performance
lara
609
69k
Fireside Chat
paigeccino
37
3.5k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
231
53k
Statistics for Hackers
jakevdp
799
220k
Adopting Sorbet at Scale
ufuk
77
9.4k
Product Roadmaps are Hard
iamctodd
PRO
53
11k
Building a Modern Day E-commerce SEO Strategy
aleyda
41
7.3k
We Have a Design System, Now What?
morganepeng
52
7.6k
KATA
mclloyd
29
14k
Making Projects Easy
brettharned
116
6.2k
Transcript
ΫοΫύουגࣜձࣾ੨ๆ ΅͘ͷ͔Μ͕͍͑ͨ͞ ͖ΐ͏ͷσʔλ׆༻ج൫ ʙσʔλϨΠΫͬͯݴ͏ͳʙ
ࣗݾհ ‣ ੨ๆʢ͓͖͋ΈͶΖ͏ʣ ‣ ݩ3VCZίϛολʔ ‣ લ৬ฒྻ3%#.4ϕϯμʔ ‣ ฒྻσʔλϕʔεͱग़ձ͏ ‣
ݱ৬ΫοΫύου ‣ ੳαʔϏεʮͨΈΔʯͷ։ൃ ‣ σʔλ׆༻ج൫ͷߏங ‣ ΫοΫύουͷϦΞʔΩςΫνϟ
σʔλͷՁΛ ࠷ߴΊΔʹʁ
୭ͰੳͰ͖Δ ͯ͢ΛੳͰ͖Δ
42-த৺ 42-Ͱׂͷॲཧ͕ߦ͑ΔɻΓׂదͳݴޠͰॲཧͰ͖Δɻੳऀ42-Λॻ͘લఏɻ ੍ͷͳ͍σʔλॲཧ σʔλͷαΠζग़ॴɺछྨʹΑͬͯͰ͖Δ͜ͱΛ੍ݶ͞Εͨ͘ͳ͍ɻ ϑϧΦʔϓϯੑળઆ Ͱ͖Δ͔͗Γଟ͘ͷใɺՄೳͳ͔͗Γڧ͍ݖݶΛͯ͢ͷϢʔβʔʹग़͢ɻ ΫοΫύουʹ͓͚Δ
σʔλੳج൫ߏஙͷϙϦγʔ
ੳܥͷσʔλϑϩʔ 3FETIJGUETYMBSHFº 5# OPEFTMJDF όϧΫ ΤΫεϙʔτ 12 +%#$ .Z42-ɾ 1PTUHSF42-
qVFOUE Ϛελʔ ϩά +40/ 4 όονδϣϒɾ ଞγεςϜ 5BCMFBV 3FEBTI ཧը໘ ͳͲ 8PSLEBZ 4BMFTGPSDF ;FOEFTL τϥϯβ Ϋγϣϯ ςʔϒϧఔ ຊऑ ຊऑ ϩά αϚϦʔ αϚϦʔ 42-όονຊ 12 +%#$ #*ܥ
w ϨγϐݕࡧΠϯσοΫεߏங w ݩσʔλͷूܭɾऔಘ෦Λத৺ʹ3VCZίʔυΛ42-มͨ͠ɻ w Ϩγϐͷ͔ͪॻ͖ͳͲͷෳࡶͳ෦3VCZʹɻ w 3FETIJGUʹมͨ͠෦ेഒʹߴԽͰ͖ͨɻ w Ϣʔβʔʹ͍ۙૹϙΠϯτͷݕग़
w HFPTQBUJBMؔΛͬͯ༣ศ൪߸͔Β࠷͍ۙϙΠϯτΛݕग़ͨ͠ɻ w ݕࡧޠͷසੳ w ୯ޠͷׂͱਖ਼نԽ͚ͩΛ6%'Ͱ࣮͠ɺΓͯ͢42-Խͨ͠ɻ 3FETIJGUԽͨ͠ૉͰͳ͍ॲཧͷྫ
ࠓϑΥʔΧε͢Δ ͭͷ՝
ڊେςʔϒϧ ෛՙͷεύΠΫ ΞϓϦ%#࿈ܞ ੑળઆ%8)
՝ڊେςʔϒϧ
w গͷڊେͳϩά͕େͷ༰ྔΛΊ͍ͯΔ w ͳ͔ͥڊେͳϩά΄Ͳߴසʹϩʔυ͠ͳ͚ΕͳΒͳ͍ w খ͍͞ϩά͚ͩͨ͘͞Μ͋Δʢݏ͕Β͔ͤʁʂʣ ϩάͷঢ়گ QW@MPH 5# JNQSFTTJPOT
5# ॏཁϩά܈ݸͰ5# ༗ແͷϩά܈ݸऑͰ5# ࣌ؒʙ͝ͱ
w σΟεΫΓͳ͍ w ίϛοτ͕͗͢Δ w WBDVVNTPSUPOMZ w σʔλೖΕ͠ w จࣈྻͷ͞Γͳ͔ͬͨ
w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍ ෦ςʔϒϧϩάͷ
3FETIJGU 4 w 1SJTNʢʣʹΑΔϩʔυ w 1BSRVFUͷϚʔδͱɺҙλΠϜκʔϯͰͷύʔςΟγϣχϯά͕Մೳ w 1SJTNৄࡉIUUQTUFDIMJGFDPPLQBEDPNFOUSZ ղܾࡦ4QFDUSVNΛ͍Δ ֎෦
ςʔϒϧ +40/ +40/ +40/ 1SJTN4USFBN 1BSRVFU 1BSRVFU MJWFPCKFDUT 1BSRVFU 1SJTN .FSHF 1BSRVFU NFSHFEPCKFDUT ౸ண͍ͩ͠ॲཧ ࣌ؒ ͝ͱ (MVFΧλϩά ͰΓସ͑
w σΟεΫΓͳ͍ w ίϛοτ͕͗͢Δ w WBDVVNTPSUPOMZ w σʔλೖΕ͠ w จࣈྻͷ͞Γͳ͔ͬͨ
w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍ 4QFDUSVN1SJTNಋೖޙ ͳ͘ͳͬͨ ͳ͘ͳͬͨ ͕Μͬͯղܾͨ͠ 1BSRVFUͰղܾ ܕਪͰղܾ༧ఆ ͳ͘ͳͬͨ
w ڊେͳςʔϒϧͷ߹ɺ4QFDUSVN෦ςʔϒϧͱಉɺ͠ ͍͘߹͢Β͋Δɻ w ͍߹͍͍ͤͥ ͍ͯͲͳͷͰڐ༰Ͱ͖Δɻ 4QFDUSVNͷ࣮ߦͲ͏͔ʁ
w ڊେͳςʔϒϧ4QFDUSVNʹҠͯ͠͠·ͬͨͷͰɺ3"͋· ΓϝϦοτ͕ͳ͍ɻ w 1SJTNͰղܾ͕ͨ͠෮׆ͯ͠͠·͏ͷͰɺϩάΛ෦ςʔϒ ϧʹ͢͜ͱ͋Γ͑ͳ͍ɻ w ͍·ͷͱ͜Ζ3"ͷҠߦ༧ఆͳ͠ɻ৽ػೳ͍ͩ͠ɻ 3"Өڹ͕͋Δ͔ʁ
௨ৗεΩʔϚ w ֎෦εΩʔϚʢFYUFSOBMTDIFNBʣΛϢʔβʔʹΘͤΔ ͖Ͱͳ͍ɻ w ֎෦εΩʔϚʹϏϡʔ͕࡞Εͳ͍ͷͰɺޓੑΛอͭͨΊͷॲ ཧΛೖΕΔ༨͕ͳ͍ɻ w ௨ৗͷεΩʔϚʹ4QFDUSVNςʔϒϧΛࢀর͢ΔϏϡʔΛ࡞Γɺ ͦͪΒΛݟͤΔ΄͏͕Α͍ɻ
5JQT֎෦εΩʔϚެ։͠ͳ͍ Ϗϡʔ ֎෦εΩʔϚ ςʔϒϧ ެ։͠ͳ͍ʂ Ϗϡʔ͚ͩΛݟͤΔ
՝ෛՙͷεύΠΫ
͋Γ͕ͪͳ$16༻άϥϑ
w ݪҼ5BCMFBV͔ΒͷΫΤϦʔ w ڊେͳϩάΛԿॲཧ͢Δ w ϩάಉ࢜Λෆ߸ͰൣғδϣΠϯ w 6%'Λ͍·͍ͬͯ͘Δ w ୡ͍ͨ͜͠ͱ
w ଞͷΫΤϦʔ͕ఀࢭ͢Δɾ͘ͳΓ͗͢ΔͷΛආ͚͍ͨ w ڊେΫΤϦʔ࣌ؒʹऴΘΕΑ͍ ෛՙͷεύΠΫ
w ϝϦοτॏ͍ΫΤϦʔ͕͍ͬͯͯଞͷΫΤϦʔ͕ࢭ·Βͳ ͍ɻฏۉ͍ͯͲΫΤϦʔͷͪ࣌ؒΛ͔͘Ͱ͖ͨɻ w σϝϦοτஈ͕ߴ͍ɻ3*ͷΑ͏ͳίετݮͷΈ͕ͳ͍ ͠ɺෛՙͷ͍࣌ؒίετ͕Լ͕Βͳ͍ɻ ղܾࡦ$PODVSSFODZ4DBMJOHͱ6TBHF-JNJU 3FETIJGUΫϥελʔͷΩϟύγςΟʢ3*ͰΧόʔʣ $PODVSSFODZ4DBMJOHͰ ্ͤ
6TBHF-JNJUͰ੍ݶ UJNF Ϋϥελʔͷෛՙ
‣ "VUP8-.Λ༗ޮʹ͢ΔͱɺΫΤϦʔͷ༏ઌͰ$16ɾ*0Λ੍ ޚͰ͖Δɻ w ϝϦοτ࣮ߦ࣌ؒͷ͍ΫΤϦʔͷ༏ઌΛԼ͛Δ͜ͱͰɺॏ ͍ΫΤϦʔΏͬ͘Γ࣮ߦͭͭ͠ɺଞͷΫΤϦʔͷӨڹ͑ ΒΕΔɻ w σϝϦοτॏ͍ΫΤϦʔΑΓ͘ͳΔɻ w
༏ઌͷܾΊ͔ͨΑ͘ݕ౼͍ͨ͠ ղܾࡦ"VUP8-.ʢݕূதʣ
՝ΞϓϦ%#࿈ܞ
औΓࠐΜͰ͍ΔϚελʔςʔϒϧ %#λΠϓ ςʔϒϧ γεςϜ ִؒ ํࣜ .Z42- 1JQFMJOFE.JHSBUPSʢʣ ࣍
શߦચ͍ସ͑ 1PTUHSF42- "84%BUBCBTF.JHSBUJPO4FSWJDF ࣍ શߦચ͍ସ͑ %ZOBNP%# %ZOBNP%#4USFBNTˠ1SJTN ৗ࣌ ࠩߋ৽
w ΞϓϦ%#ˠ3FETIJGUͷ w ϩʔυͷසΛ࣍ΑΓ্͍͛ͨ w ςʔϒϧ͝ͱʹϩʔυઃఆ͕ඞཁ w όονͰϩʔυྃΛͭͷΛΕ͕ͪ w 3FETIJGUˠΞϓϦ%#ͷ
w ௨ৗ4&-&$5ΞϓϦͷϝϞϦ͕ᷓΕΔͷͰ͑ͳ͍͕ɺΧʔ ιϧMFBEFSOPEFͷෛՙ͕ߴ͍ w σʔλΛಡΉ్தͰ%#ίωΫγϣϯ͕ΕΔͱ࠶։Ͱ͖ͳ͍ w 6/-0"%ΛશϓϩάϥϚ͕ॻ͘ͷ͍͠ ΞϓϦ%#࿈ܞͷ
w খ͍͞ςʔϒϧʹ͍ͭͯɺ'FEFSBUFE2VFSZܦ༝ʹΓସ͑Δ ͜ͱͰ͍·͙ͯ͢͢ΛղܾͰ͖Δ w େ͖͍ςʔϒϧఆظతʹ3FETIJGUΩϟογϡ ղܾࡦ'FEFSBUFE2VFSZʢݕূதʣ
w όονδϣϒݪଇ2VFVFSZʢʣΛͬͯόϧΫΤΫεϙʔ τΛ͍ͯ͠Δɻ w 2VFVFSZ)551"1*ͰΫΤϦʔΛड͚͚ͯ6/-0"%͠ɺͦ ͷ463-Λฦ͢αʔϏεɻ w ΧʔιϧͱҟͳΓɺΞϓϦʢόονδϣϒʣଆ͕4͔Β σʔλΛಡΉͷͰ3FETIJGUͷෛՙ͕͍ܰɻ ղܾࡦ)551"1*ͰͷΤΫεϙʔτ
4 $47 3FETIJGU ςʔϒϧ 2VFVFSZ όονδϣϒ 6/-0"% δϣϒଆ͕ಡΈࠐΈ
՝ੑળઆ%8)
w ͍͘Βੑળઆͱ͍͑ɺશһʹ3FETIJGUεʔύʔϢʔβʔΛղ์ ͢Δ͜ͱ͕͢͞ʹͰ͖ͳ͍ɻ࠷ݶɺߦಈΛࠪͰ͖Δඞཁ͕ ͋Δɻ w ݖݶཁٻΛਃࣜʹ͢ΔͱɺͦΕΛॲཧ͢Δσʔλج൫νʔϜ͕ ϘτϧωοΫʹͳΔɻ w 3FETIJGUͷσϑΥϧτͩͱɺ࡞͞ΕͨޙͷςʔϒϧΦʔφ ʔҎ֎ಡΊͳ͍ɻ͔͠͠શһ͕ςʔϒϧΛ࡞Δͨͼʹ(3"/5͢
Δͷඇݱ࣮తɻ ੑળઆ%8)ͷ՝
w ݸਓ༻Ϣʔβʔͷ࡞ɺύεϫʔυϦηοτɺݸਓ༻εΩʔϚͷ ࡞ɺεΩʔϚݖݶͷऔಘͳͲΛίϯιʔϧ͔Βߦ͑Δ w ͍ͭͰʹ3FETIJGUͷϩʔυΤϥʔ4্ͷϩάݟΒΕΔ ղܾࡦ%8)ίϯιʔϧʢʣ
w BMUFSEFGBVMUQSJWJMFHFTจΛ͏ͱɺ3FETIJGUϢʔβʔ͝ͱɾε ΩʔϚ͝ͱʹσϑΥϧτͷݖݶΛઃఆ͢Δ͜ͱ͕Ͱ͖Δɻ w σϑΥϧτͰQVCMJDʢશϢʔβʔʣͷTFMFDUݖݶ͕͘Α͏ʹ͠ ͓͚ͯϑϧΦʔϓϯʹͰ͖Δɻ ղܾࡦBMUFSEFGBVMUQSJWJMFHF
·ͱΊ
ڊେςʔϒϧ ෛՙͷεύΠΫ ΞϓϦ%#࿈ܞ ੑળઆ%8) ࠓ͓ͨͭ͠͠ͷ՝
͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠