Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
データ分析や機械学習などに用いる情報の集め方
Search
SAWADA Tadashi
March 07, 2018
Technology
1
880
データ分析や機械学習などに用いる情報の集め方
SAWADA Tadashi
March 07, 2018
Tweet
Share
More Decks by SAWADA Tadashi
See All by SAWADA Tadashi
2019-02-07-omotesandorb.pdf
cesare
0
90
Ruby for the machine learning projects
cesare
0
35
やってみようGitHub
cesare
3
300
Courseraを受講してみた
cesare
0
70
巻きますか
cesare
0
83
Other Decks in Technology
See All in Technology
Cracking the KubeCon CfP
inductor
2
270
Improve Your Development Workflow with Gemini Code Assist
meteatamel
0
120
GrafanaMeetup_AmazonManagedGrafanaのアクセス制御機能とマルチテナント環境下でのアクセス制御について
daitak
0
390
.NET Profiler in 2024.
kkamegawa
2
1k
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
5
37k
Cloud Service Mesh に触れ合う
phaya72
1
170
On Your Data を超えていく!
hirotomotaguchi
2
750
Amplify 🩷 Bedrock 〜生成AI入門〜
minorun365
PRO
8
460
Tellus の衛星データを見てみよう #mf_fukuoka
kongmingstrap
0
270
地理空間データ可視化・解析・活用ソリューション Pacific Spatial Solutions (PSS)
pacificspatialsolutions
0
330
R3のコードから見る実践LINQ実装最適化・コンカレントプログラミング実例
neuecc
3
2.3k
認知症フレンドリーテックとスタックチャン
naokiuc
0
180
Featured
See All Featured
CoffeeScript is Beautiful & I Never Want to Write Plain JavaScript Again
sstephenson
155
14k
Designing Experiences People Love
moore
136
23k
Clear Off the Table
cherdarchuk
85
310k
A better future with KSS
kneath
231
16k
BBQ
matthewcrist
80
8.8k
Making the Leap to Tech Lead
cromwellryan
125
8.5k
The MySQL Ecosystem @ GitHub 2015
samlambert
244
12k
Faster Mobile Websites
deanohume
300
30k
Keith and Marios Guide to Fast Websites
keithpitt
408
22k
Git: the NoSQL Database
bkeepers
PRO
423
63k
Principles of Awesome APIs and How to Build Them.
keavy
121
16k
Why You Should Never Use an ORM
jnunemaker
PRO
51
8.7k
Transcript
ظ ٭ ذ ⮔ 卥 塌 唩 㳔 肪
ם ל מ 氠 ַ 䝠 㖥 ס 겏 ״ 偙 8FC槁㖪.FFUVQ 4BXBEB5BEBTIJBLB!DFTBSF
蔦 䉁 箩 ♃ ˖ 屴氭婞 ˖ !DFTBSF ˖ ؠٚؗغ٠٭ؠتס偙־
匡ױג ˖ XFCئ٭لت圸碎յ ظ٭ذ⮔卥յ塌唩㳔肪 ˖ 5PLZVSC
♀ 傽 ס 需 ˖ ⮔卥٬塌唩㳔肪םלסظ٭ذס겏״偙 ˖ ,1*㴻掾镸廠 ˖ ؓغٌشؠם겏阛
˖ 塌唩㳔肪氠ס㳔肪ظ٭ذ겏
㝕 ◜ ם ׆ כ ע 劄 ⮴ מ ˖
03NBQQFSךظ٭ذ겏阛סע״ױֹ ˖ 氠ꄫֿ沌ם ˖ ֵ珺䬲ׂ ˖ 㵅갾מ熏糉ג ˖ ꬃ镆׀גַ偙ע䥡镩⚶ך
ע ״ מ ַ ה ֽ ֹ
ئ ٭ ل ت ס 箩 ♃ ˖ ؠٚؗغ٠٭ؠتכַֹئ٭لت ˖ ؠٚؗغخ٭ب٤ء ˖ ֽ♐◜ס⮂⚶ַ笠
⯼ 䳀 ؠ ٚ ؗ غ ٠ ٭
ؠ ت ס بتطّ 圸 䧯 ˖ "84┪מ㺤ꪛ ˖ 3BJMTסXFCؓوٛآ٭ب٘٤ ˖ ئ٭لت佻ֻظ٭ذي٭تע.Z42- 3%4
겏 阛 ⽟ ס بتطّ 圸 䧯 R a
i l s M y S Q L R e d s h i f t ू ܭ ܥ R e d a s h F l y D a t a Ͱ ς ʔϒϧ Λ ಉ ظ K P I ఆ ؍ ଌ ͷ όο ν ͳ Ͳ Ξ υ ϗ ο Ϋ ͳ ੳ ئ٭لت勓✄ %8)
ؠ ٚ ؗ غ ٠ ٭ ؠ ت ך ⺅
䪒 ז י ַ 겏 阛 ˖ ,1*겏阛 ˖ ؓغٌشؠ겏阛 ˖ 塌唩㳔肪氠ظ٭ذ
, 1* 겏 阛 ˖ ⻄甦ס䭰埉㴻掾镸廠 ˖ 溫ꜗٗ٭ا٭俙䱿瓌 ˖
傽嬐ס㛿┪溷ם俙㲻
ؓ غ ٌ ش ؠ ם 겏 阛 ˖ 偡瞬✑䨏絊ג״ס⮔卥
˖ րوٞنؔ٭ٜ䝠㖥霄箖מ剹ַג偙ֿ⺇峜椙ע虘 ׂםדֹ־ց ˖ ⚕氺笠ס☭ך42-ֿ剹ׄ☭ֿ㝂ַ ˖ 42-Ⳉ䒣⚶םלꪛ⥎ג׆כ
塌 唩 㳔 肪 氠 ס ظ ٭ ذ
겏 ˖ 侷䊘ظ٭ذכם䝠㖥겏״יׂ ˖ 杅䖇ꓪ溷ם俙⡑ ˖ ط؞تعס婞锺ⵊ ˖ )5.-ذءꯙ⹛ ˖ 銨阾䴓ס鞪俠 ˖ 䓺䡢筶闋卥
ظ ٭ ذ ס 겏 ״ 偙
겏 阛 ⽟ ס بتطّ 圸 䧯 ⫙
陧 R a i l s M y S Q L R e d s h i f t ू ܭ ܥ R e d a s h F l y D a t a Ͱ ς ʔϒϧ Λ ಉ ظ K P I ఆ ؍ ଌ ͷ όο ν ͳ Ͳ Ξ υ ϗ ο Ϋ ͳ ੳ
ظ ٭ ذ 겏 阛 ס 偙 R
a i l s M y S Q L Redshift ू ܭ ࡁ Έ σ ʔ λ ͷ ς ʔϒϧ ܈ ಉ ظ ू ܭ ݁ Ռ Λ อ ଘ Φ Ϧ δ φϧ ͷ ς ʔϒϧ ܈
ظ ٭ ذ 겏 阛 ס 偙 ˖
3FETIJGUמؠؙٛ䫋ׅי겏阛 ˖ 겏阛篙卸3FETIJGUס⯁סط٭هٜמ⟛㲽
㵅 갾 מ ❈ ז י ַ ص ٭ٜ 꿔
˖ CSJDPMBHF ˖ 3FETIJGUמֵظ٭ذ겏阛י3FETIJGUמط٭هٜ✑זי 呬等 ˖ ٠٭ؠنٞ٭ؙ٤ة٤ס䔢ⰺ ˖ FNCVML ˖ 3FETIJGUמֵظ٭ذ⯁ס%#םל瓌 ˖ نٜؔذ٭وٚءؕ٤ךظ٭ذס婞锺ⵊםל ˖ 겏阛笠ע׆סחךדַגַꪨמ⻉ֹ
㵅 갾 מ ❈ ז י ַ ص ٭ٜ 꿔
R a i l s M y S Q L Φ Ϧ δ φϧ ͷ ς ʔϒϧ ܈ Redshift E l a s t i c s e a rc h ू ܭ ࡁ Έ σ ʔ λ ͷ ς ʔϒϧ ܈ e m b u l k b r i c o l a g e
겏 阛 ס 鞏 꾴
겏 阛 ס 鞏 꾴 ˖ 塌ⳛ䙎ֿכיꓨ锡
겏 阛 מ ֽ ׄ 塌 ⳛ 䙎 כ
ע ˖ 겏阛ظ٭ذסꃯⲎ٬㜟剳ֿ筶僃ׂך׀׆כ ˖ 雧鉿꜔靯ס㝂ַ塌唩㳔肪ךע杅מ㝕◜
塌 ⳛ 䙎 ֿ ם ַ 枱 䡢 כ ע
˖ ظ٭ذ㙟סמ䩘ꪨכ免ꪨֿ־־ ˖ 偆ַظ٭ذֿ䖩锡מםגצמյ ┞־겏阛篁ײ皑ייַ ˖ 債㲽ؠֿؙٛ良㝕ⵊיַיյ 꽃潨┞ח鳉ס㝕㜟 ˖ חַ
ؠ ٚ ؗ غ ٠ ٭ ؠت ך ס
㸴 ⪽ ✄ 溷 ם ❛ ˖ ր偆ס☭כٛم٭ذס☭כךӶӶס⡑מ ꇙֵַֿ־ց ˖ ӶӶמע坎չםفؙٛ٭ب٘٤ֿ ˖ ؛ٛةػٜ%#מր偆ցրٛم٭ذ٭ցס نٚءעםַ ˖ סךյ겏阛ך꽒䒟
偆 כ ٛ م٭ ذ ٭ ˖ 偆גםր偆כٛم٭ذ٭⯁סӝӝס겏阛⡑ց 䖩锡מם䍲מ砯⮂כⲯ椙ֿ虘ׂםַ
˖ ր璓⚻סذٝ溷ؠؙٛցֿ嵣ꄼյ⻄䨾מؤمً ˖ ئ٭لت勓✄⣨ךظ٭ذס䓺ֿ㜟כ媃ןח ˖ ր偆כٛم٭ذ٭⯁סӶӶյמ┾♣⯁מ⮔闋 גַցכ־阋ככי긖⠱ ˖ 㸐䗎מ䩘ꪨֿ־־յ債㲽ס겏阛㚷ַ
䖩 锡 ד ז ג ס ˖ ٗ٭ا٭ֿ偆םס־ٛم٭ذ٭םס־銨نٚء ˖
阛砯座ײסط٭هֵֿٜףKPJOי⫙⯈氠ך׀ ˖ ┾♣⯁מ⮔ׄגַ ˖ ٗ٭ا٭ס┾♣銨⡑䭥חط٭هٜ✑
䖩 锡 ד ז ג ס ˖ 劄箽溷מ姯ַظ٭ذדׄךעםׂ ˖
겏阛ꇃ瓦סظ٭ذ⟛㲽יֽׂכ⫙⯈氠ך׀י➬⯈ ˖ ⛰յלַֹֹظ٭ذ氠䟨ס־ס陭阛עꓨ锡
겏 阛 ꇃ 瓦 ⟛ 㲽 ْؕ
٭ة Φ Ϧ δ φϧ ͷ ς ʔϒϧ ܈ Redshift ࠷ ऴ త ͳ ू ܭ ݁ Ռ ͷ ς ʔϒϧ ܈ ू ܭ ա ఔ ͷ ς ʔϒϧ ܈ • ৽ ࢀ o r Ϧ ϐʔ λ ʔ • ੈ ৽ ࢀ ɾ Ϧ ϐʔ λ ʔ ผ ͷ K P I Ξ υ ϗ ο Ϋ ू ܭ Ͱ ར ༻
겏 阛 ꇃ 瓦 ظ ٭ ذ ל ֹ
锶 ־ ˖ ✇⪪ꪛظ٭ذכ־ֿ㝕◜ ˖ ┞䍲⪪ꪛכ摾ꬃמ㜟ֻםׂם ˖ ◦䳕䙎ゼ꾴 ˖ 熏כ㴻掾镸廠ؠؙٛםלֿ⻄䨾ך媃ן ˖ ր✇יםַסמ㚷ױגց
ظ ٭ ذ ⪪ ꪛ ס 㕈 勓 䭰 ꓹ
˖ ם؆ך־؆ך궢⮂םַ ˖ 꾗⮂قذ٭٤םל锶嚋״חחյ⮂ס⹌ꈷ ˖ وٞءِٚ٤ءכ⻎ ˖ QVCMJDQSJWBUF❈ַ⮔ׄ ˖ 锶י虘ַסדׄQVCMJDמ ˖ QVCMJDמגظ٭ذע◦䳕䙎מ宜ꏕ
Q V C M J M D ם ط
٭هٜյ Q S J WB U F ם ط ٭هٜ ˖ %#ס⻏⯼疾ꪨכ埫ꮹ陭㴻ס篁ײ⻉ ˖ ׆ס⻏⯼疾ꪨמֵط٭هٜעQVCMJD ˖ ׆סꏕ┫עQSJWBUF ˖ 3FETIJGUדכ ր׆ס⻏⯼疾ꪨסꏕ┫מյ ׆סٗ٭ا٭ֿ✑זגط٭هٜעյ ׆סٞ٭ٜ䭥ח☭ꇖמ锶ֹֻמց כַֹ陭㴻ֿך׀
⪪ ꪛ ظ ٭ ذ ط ٭هٜ ס 陭 阛
˖ ⷃ┞סր⪢ꌃ⪜ցط٭هٜךעםׂյ 㝂俙ס㸯םط٭هٜמ ˖ 偆PSٛم٭ذ٭銨ط٭هٜ ˖ ٗ٭ا٭ס┾♣銨ط٭هٜ ˖ 㸯ַط٭هٜ篁ײ⻉י姯ַ䝠㖥䕑 ˖ ٝإهٞشؠ✑ْؕ٭ة ˖ 劄㸯ⷃ⛺סهٞشؠ⺅䲩ֻ
鏿 겧 ס 갧 㺽 ˖ ⷃ⛺هٞشؠ篁ײ⻉יյ㸴㝕׀ַق٭ص✑ ˖
ٗ٭ا٭ס偆PSٛم٭ذ٭銨ط٭هٜ ˖ ֵ䗎Ⳬֿ偆ٗ٭ا٭מס־ٛم٭ذ٭מ ס־銨ط٭هٜ ˖ 嫘갧溷מ鏿겧םق٭ص篁ײ┪ׅ
ෳ ࡶ ͞ ͷ ֊ Φ Ϧ δ φϧ
ͷ ς ʔϒϧ ܈ Redshift ࠷ ऴ త ͳ ू ܭ ݁ Ռ ͷ ς ʔϒϧ ܈ ج ຊ ଐ ੑ ͷ ς ʔϒϧ ܈ γ ϯ ϓϧ ͳ ύʔ π Λ ἧ ͑Δ ੜ ς ʔϒϧ ܈ Α Γ ෳ ࡶ ͳ σ ʔ λ Λ ੜ
ױ כ ״ ˖ ظ٭ذ겏阛ס塌ⳛ䙎 ˖ ꄫ╚겏阛ط٭هٜ⪪ꪛ ˖ ⪪ꪛط٭هٜס偙ꓹ٬陭阛