Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤
Search
Minero Aoki
August 06, 2020
Technology
2
980
Amazon Redshift事例祭り2020 - ぼくのかんがえたさいきょうのデータ活用基盤
Amazon Redshift事例祭り 2020での発表資料です。Redshiftをデータ活用基盤の中心で使っていくうえで特に障害となった4つの課題について解決策を述べます。
Minero Aoki
August 06, 2020
Tweet
Share
More Decks by Minero Aoki
See All by Minero Aoki
Data Engineering Study #20 "Introduction to Data Analytics with SQL" Book
aamine
15
5.2k
Treasure Data TechTalk 2022 - TD CDP in 30 minutes
aamine
1
2.6k
Why Cookpad Is Choosing Redshift as Our Data Platform
aamine
5
3.1k
Cookpad TechKitchen #8: Breaking BatchJobs Beautifully
aamine
3
1.4k
Cookpad 2016 Summer Intern: Programming Paradigm
aamine
4
19k
Other Decks in Technology
See All in Technology
Snowflake Summit 2025 データエンジニアリング関連新機能紹介 / Snowflake Summit 2025 What's New about Data Engineering
tiltmax3
0
310
エンジニア向け技術スタック情報
kauche
1
260
第9回情シス転職ミートアップ_テックタッチ株式会社
forester3003
0
230
なぜ私はいま、ここにいるのか? #もがく中堅デザイナー #プロダクトデザイナー
bengo4com
0
420
PostgreSQL 18 cancel request key長の変更とRailsへの関連
yahonda
0
120
Github Copilot エージェントモードで試してみた
ochtum
0
100
Oracle Audit Vault and Database Firewall 20 概要
oracle4engineer
PRO
3
1.7k
監視のこれまでとこれから/sakura monitoring seminar 2025
fujiwara3
11
3.9k
【TiDB GAME DAY 2025】Shadowverse: Worlds Beyond にみる TiDB 活用術
cygames
0
1.1k
LinkX_GitHubを基点にした_AI時代のプロジェクトマネジメント.pdf
iotcomjpadmin
0
170
生成AIで小説を書くためにプロンプトの制約や原則について学ぶ / prompt-engineering-for-ai-fiction
nwiizo
4
1.7k
Yamla: Rustでつくるリアルタイム性を追求した機械学習基盤 / Yamla: A Rust-Based Machine Learning Platform Pursuing Real-Time Capabilities
lycorptech_jp
PRO
3
120
Featured
See All Featured
Become a Pro
speakerdeck
PRO
28
5.4k
Intergalactic Javascript Robots from Outer Space
tanoku
271
27k
Improving Core Web Vitals using Speculation Rules API
sergeychernyshev
17
940
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
The Web Performance Landscape in 2024 [PerfNow 2024]
tammyeverts
8
670
How STYLIGHT went responsive
nonsquared
100
5.6k
How to Ace a Technical Interview
jacobian
277
23k
Facilitating Awesome Meetings
lara
54
6.4k
Building an army of robots
kneath
306
45k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
RailsConf 2023
tenderlove
30
1.1k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
657
60k
Transcript
ΫοΫύουגࣜձࣾ੨ๆ ΅͘ͷ͔Μ͕͍͑ͨ͞ ͖ΐ͏ͷσʔλ׆༻ج൫ ʙσʔλϨΠΫͬͯݴ͏ͳʙ
ࣗݾհ ‣ ੨ๆʢ͓͖͋ΈͶΖ͏ʣ ‣ ݩ3VCZίϛολʔ ‣ લ৬ฒྻ3%#.4ϕϯμʔ ‣ ฒྻσʔλϕʔεͱग़ձ͏ ‣
ݱ৬ΫοΫύου ‣ ੳαʔϏεʮͨΈΔʯͷ։ൃ ‣ σʔλ׆༻ج൫ͷߏங ‣ ΫοΫύουͷϦΞʔΩςΫνϟ
σʔλͷՁΛ ࠷ߴΊΔʹʁ
୭ͰੳͰ͖Δ ͯ͢ΛੳͰ͖Δ
42-த৺ 42-Ͱׂͷॲཧ͕ߦ͑ΔɻΓׂదͳݴޠͰॲཧͰ͖Δɻੳऀ42-Λॻ͘લఏɻ ੍ͷͳ͍σʔλॲཧ σʔλͷαΠζग़ॴɺछྨʹΑͬͯͰ͖Δ͜ͱΛ੍ݶ͞Εͨ͘ͳ͍ɻ ϑϧΦʔϓϯੑળઆ Ͱ͖Δ͔͗Γଟ͘ͷใɺՄೳͳ͔͗Γڧ͍ݖݶΛͯ͢ͷϢʔβʔʹग़͢ɻ ΫοΫύουʹ͓͚Δ
σʔλੳج൫ߏஙͷϙϦγʔ
ੳܥͷσʔλϑϩʔ 3FETIJGUETYMBSHFº 5# OPEFTMJDF όϧΫ ΤΫεϙʔτ 12 +%#$ .Z42-ɾ 1PTUHSF42-
qVFOUE Ϛελʔ ϩά +40/ 4 όονδϣϒɾ ଞγεςϜ 5BCMFBV 3FEBTI ཧը໘ ͳͲ 8PSLEBZ 4BMFTGPSDF ;FOEFTL τϥϯβ Ϋγϣϯ ςʔϒϧఔ ຊऑ ຊऑ ϩά αϚϦʔ αϚϦʔ 42-όονຊ 12 +%#$ #*ܥ
w ϨγϐݕࡧΠϯσοΫεߏங w ݩσʔλͷूܭɾऔಘ෦Λத৺ʹ3VCZίʔυΛ42-มͨ͠ɻ w Ϩγϐͷ͔ͪॻ͖ͳͲͷෳࡶͳ෦3VCZʹɻ w 3FETIJGUʹมͨ͠෦ेഒʹߴԽͰ͖ͨɻ w Ϣʔβʔʹ͍ۙૹϙΠϯτͷݕग़
w HFPTQBUJBMؔΛͬͯ༣ศ൪߸͔Β࠷͍ۙϙΠϯτΛݕग़ͨ͠ɻ w ݕࡧޠͷසੳ w ୯ޠͷׂͱਖ਼نԽ͚ͩΛ6%'Ͱ࣮͠ɺΓͯ͢42-Խͨ͠ɻ 3FETIJGUԽͨ͠ૉͰͳ͍ॲཧͷྫ
ࠓϑΥʔΧε͢Δ ͭͷ՝
ڊେςʔϒϧ ෛՙͷεύΠΫ ΞϓϦ%#࿈ܞ ੑળઆ%8)
՝ڊେςʔϒϧ
w গͷڊେͳϩά͕େͷ༰ྔΛΊ͍ͯΔ w ͳ͔ͥڊେͳϩά΄Ͳߴසʹϩʔυ͠ͳ͚ΕͳΒͳ͍ w খ͍͞ϩά͚ͩͨ͘͞Μ͋Δʢݏ͕Β͔ͤʁʂʣ ϩάͷঢ়گ QW@MPH 5# JNQSFTTJPOT
5# ॏཁϩά܈ݸͰ5# ༗ແͷϩά܈ݸऑͰ5# ࣌ؒʙ͝ͱ
w σΟεΫΓͳ͍ w ίϛοτ͕͗͢Δ w WBDVVNTPSUPOMZ w σʔλೖΕ͠ w จࣈྻͷ͞Γͳ͔ͬͨ
w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍ ෦ςʔϒϧϩάͷ
3FETIJGU 4 w 1SJTNʢʣʹΑΔϩʔυ w 1BSRVFUͷϚʔδͱɺҙλΠϜκʔϯͰͷύʔςΟγϣχϯά͕Մೳ w 1SJTNৄࡉIUUQTUFDIMJGFDPPLQBEDPNFOUSZ ղܾࡦ4QFDUSVNΛ͍Δ ֎෦
ςʔϒϧ +40/ +40/ +40/ 1SJTN4USFBN 1BSRVFU 1BSRVFU MJWFPCKFDUT 1BSRVFU 1SJTN .FSHF 1BSRVFU NFSHFEPCKFDUT ౸ண͍ͩ͠ॲཧ ࣌ؒ ͝ͱ (MVFΧλϩά ͰΓସ͑
w σΟεΫΓͳ͍ w ίϛοτ͕͗͢Δ w WBDVVNTPSUPOMZ w σʔλೖΕ͠ w จࣈྻͷ͞Γͳ͔ͬͨ
w ΧϥϜΛࣄલఆٛ͠ͳ͍ͱ͍͚ͳ͍ 4QFDUSVN1SJTNಋೖޙ ͳ͘ͳͬͨ ͳ͘ͳͬͨ ͕Μͬͯղܾͨ͠ 1BSRVFUͰղܾ ܕਪͰղܾ༧ఆ ͳ͘ͳͬͨ
w ڊେͳςʔϒϧͷ߹ɺ4QFDUSVN෦ςʔϒϧͱಉɺ͠ ͍͘߹͢Β͋Δɻ w ͍߹͍͍ͤͥ ͍ͯͲͳͷͰڐ༰Ͱ͖Δɻ 4QFDUSVNͷ࣮ߦͲ͏͔ʁ
w ڊେͳςʔϒϧ4QFDUSVNʹҠͯ͠͠·ͬͨͷͰɺ3"͋· ΓϝϦοτ͕ͳ͍ɻ w 1SJTNͰղܾ͕ͨ͠෮׆ͯ͠͠·͏ͷͰɺϩάΛ෦ςʔϒ ϧʹ͢͜ͱ͋Γ͑ͳ͍ɻ w ͍·ͷͱ͜Ζ3"ͷҠߦ༧ఆͳ͠ɻ৽ػೳ͍ͩ͠ɻ 3"Өڹ͕͋Δ͔ʁ
௨ৗεΩʔϚ w ֎෦εΩʔϚʢFYUFSOBMTDIFNBʣΛϢʔβʔʹΘͤΔ ͖Ͱͳ͍ɻ w ֎෦εΩʔϚʹϏϡʔ͕࡞Εͳ͍ͷͰɺޓੑΛอͭͨΊͷॲ ཧΛೖΕΔ༨͕ͳ͍ɻ w ௨ৗͷεΩʔϚʹ4QFDUSVNςʔϒϧΛࢀর͢ΔϏϡʔΛ࡞Γɺ ͦͪΒΛݟͤΔ΄͏͕Α͍ɻ
5JQT֎෦εΩʔϚެ։͠ͳ͍ Ϗϡʔ ֎෦εΩʔϚ ςʔϒϧ ެ։͠ͳ͍ʂ Ϗϡʔ͚ͩΛݟͤΔ
՝ෛՙͷεύΠΫ
͋Γ͕ͪͳ$16༻άϥϑ
w ݪҼ5BCMFBV͔ΒͷΫΤϦʔ w ڊେͳϩάΛԿॲཧ͢Δ w ϩάಉ࢜Λෆ߸ͰൣғδϣΠϯ w 6%'Λ͍·͍ͬͯ͘Δ w ୡ͍ͨ͜͠ͱ
w ଞͷΫΤϦʔ͕ఀࢭ͢Δɾ͘ͳΓ͗͢ΔͷΛආ͚͍ͨ w ڊେΫΤϦʔ࣌ؒʹऴΘΕΑ͍ ෛՙͷεύΠΫ
w ϝϦοτॏ͍ΫΤϦʔ͕͍ͬͯͯଞͷΫΤϦʔ͕ࢭ·Βͳ ͍ɻฏۉ͍ͯͲΫΤϦʔͷͪ࣌ؒΛ͔͘Ͱ͖ͨɻ w σϝϦοτஈ͕ߴ͍ɻ3*ͷΑ͏ͳίετݮͷΈ͕ͳ͍ ͠ɺෛՙͷ͍࣌ؒίετ͕Լ͕Βͳ͍ɻ ղܾࡦ$PODVSSFODZ4DBMJOHͱ6TBHF-JNJU 3FETIJGUΫϥελʔͷΩϟύγςΟʢ3*ͰΧόʔʣ $PODVSSFODZ4DBMJOHͰ ্ͤ
6TBHF-JNJUͰ੍ݶ UJNF Ϋϥελʔͷෛՙ
‣ "VUP8-.Λ༗ޮʹ͢ΔͱɺΫΤϦʔͷ༏ઌͰ$16ɾ*0Λ੍ ޚͰ͖Δɻ w ϝϦοτ࣮ߦ࣌ؒͷ͍ΫΤϦʔͷ༏ઌΛԼ͛Δ͜ͱͰɺॏ ͍ΫΤϦʔΏͬ͘Γ࣮ߦͭͭ͠ɺଞͷΫΤϦʔͷӨڹ͑ ΒΕΔɻ w σϝϦοτॏ͍ΫΤϦʔΑΓ͘ͳΔɻ w
༏ઌͷܾΊ͔ͨΑ͘ݕ౼͍ͨ͠ ղܾࡦ"VUP8-.ʢݕূதʣ
՝ΞϓϦ%#࿈ܞ
औΓࠐΜͰ͍ΔϚελʔςʔϒϧ %#λΠϓ ςʔϒϧ γεςϜ ִؒ ํࣜ .Z42- 1JQFMJOFE.JHSBUPSʢʣ ࣍
શߦચ͍ସ͑ 1PTUHSF42- "84%BUBCBTF.JHSBUJPO4FSWJDF ࣍ શߦચ͍ସ͑ %ZOBNP%# %ZOBNP%#4USFBNTˠ1SJTN ৗ࣌ ࠩߋ৽
w ΞϓϦ%#ˠ3FETIJGUͷ w ϩʔυͷසΛ࣍ΑΓ্͍͛ͨ w ςʔϒϧ͝ͱʹϩʔυઃఆ͕ඞཁ w όονͰϩʔυྃΛͭͷΛΕ͕ͪ w 3FETIJGUˠΞϓϦ%#ͷ
w ௨ৗ4&-&$5ΞϓϦͷϝϞϦ͕ᷓΕΔͷͰ͑ͳ͍͕ɺΧʔ ιϧMFBEFSOPEFͷෛՙ͕ߴ͍ w σʔλΛಡΉ్தͰ%#ίωΫγϣϯ͕ΕΔͱ࠶։Ͱ͖ͳ͍ w 6/-0"%ΛશϓϩάϥϚ͕ॻ͘ͷ͍͠ ΞϓϦ%#࿈ܞͷ
w খ͍͞ςʔϒϧʹ͍ͭͯɺ'FEFSBUFE2VFSZܦ༝ʹΓସ͑Δ ͜ͱͰ͍·͙ͯ͢͢ΛղܾͰ͖Δ w େ͖͍ςʔϒϧఆظతʹ3FETIJGUΩϟογϡ ղܾࡦ'FEFSBUFE2VFSZʢݕূதʣ
w όονδϣϒݪଇ2VFVFSZʢʣΛͬͯόϧΫΤΫεϙʔ τΛ͍ͯ͠Δɻ w 2VFVFSZ)551"1*ͰΫΤϦʔΛड͚͚ͯ6/-0"%͠ɺͦ ͷ463-Λฦ͢αʔϏεɻ w ΧʔιϧͱҟͳΓɺΞϓϦʢόονδϣϒʣଆ͕4͔Β σʔλΛಡΉͷͰ3FETIJGUͷෛՙ͕͍ܰɻ ղܾࡦ)551"1*ͰͷΤΫεϙʔτ
4 $47 3FETIJGU ςʔϒϧ 2VFVFSZ όονδϣϒ 6/-0"% δϣϒଆ͕ಡΈࠐΈ
՝ੑળઆ%8)
w ͍͘Βੑળઆͱ͍͑ɺશһʹ3FETIJGUεʔύʔϢʔβʔΛղ์ ͢Δ͜ͱ͕͢͞ʹͰ͖ͳ͍ɻ࠷ݶɺߦಈΛࠪͰ͖Δඞཁ͕ ͋Δɻ w ݖݶཁٻΛਃࣜʹ͢ΔͱɺͦΕΛॲཧ͢Δσʔλج൫νʔϜ͕ ϘτϧωοΫʹͳΔɻ w 3FETIJGUͷσϑΥϧτͩͱɺ࡞͞ΕͨޙͷςʔϒϧΦʔφ ʔҎ֎ಡΊͳ͍ɻ͔͠͠શһ͕ςʔϒϧΛ࡞Δͨͼʹ(3"/5͢
Δͷඇݱ࣮తɻ ੑળઆ%8)ͷ՝
w ݸਓ༻Ϣʔβʔͷ࡞ɺύεϫʔυϦηοτɺݸਓ༻εΩʔϚͷ ࡞ɺεΩʔϚݖݶͷऔಘͳͲΛίϯιʔϧ͔Βߦ͑Δ w ͍ͭͰʹ3FETIJGUͷϩʔυΤϥʔ4্ͷϩάݟΒΕΔ ղܾࡦ%8)ίϯιʔϧʢʣ
w BMUFSEFGBVMUQSJWJMFHFTจΛ͏ͱɺ3FETIJGUϢʔβʔ͝ͱɾε ΩʔϚ͝ͱʹσϑΥϧτͷݖݶΛઃఆ͢Δ͜ͱ͕Ͱ͖Δɻ w σϑΥϧτͰQVCMJDʢશϢʔβʔʣͷTFMFDUݖݶ͕͘Α͏ʹ͠ ͓͚ͯϑϧΦʔϓϯʹͰ͖Δɻ ղܾࡦBMUFSEFGBVMUQSJWJMFHF
·ͱΊ
ڊେςʔϒϧ ෛՙͷεύΠΫ ΞϓϦ%#࿈ܞ ੑળઆ%8) ࠓ͓ͨͭ͠͠ͷ՝
͝੩ௌ͋Γ͕ͱ͏͍͟͝·ͨ͠