Upgrade to Pro — share decks privately, control downloads, hide ads and more …

楽してデータ分析したい / data engineering with oss

Avatar for Yuichi Takada Yuichi Takada
July 01, 2016
Technology
0
410

楽してデータ分析したい / data engineering with oss

2016/07/01(金) 20:00
#zohyomeetup
http://eventdots.jp/event/590958

Avatar for Yuichi Takada

Yuichi Takada

July 01, 2016
Tweet

More Decks by Yuichi Takada

See All by Yuichi Takada
取引ドメインでの取り組み / mercari transaction domain
Avatar for Yuichi Takada takady
0
100
isucon5 予選をどう惨敗したか / isucon5 qualifier
Avatar for Yuichi Takada takady
1
900

Other Decks in Technology

See All in Technology
Moto: Latent Motion Token as the Bridging Language for Learning Robot Manipulation from Videos
Avatar for peisuke peisuke
0
160
やり方は一つだけじゃない、正解だけを目指さず寄り道やその先まで自分流に楽しむ趣味プログラミングの探求 2025-11-15 YAPC::Fukuoka
Avatar for すぎゃーん sugyan
3
940
【M3】攻めのセキュリティの実践！プロアクティブなセキュリティ対策の実践事例
Avatar for mizu axelmizu
0
180
個人から巡るAI疲れと組織としてできること - AI疲れをふっとばせ。エンジニアのAI疲れ治療法 ショートセッション -
Avatar for kichion kikuchikakeru
4
1.8k
AI エージェント活用のベストプラクティスと今後の課題
Avatar for Asei Sugiyama asei
1
130
グローバルなコンパウンド戦略を支えるモジュラーモノリスとドメイン駆動設計
Avatar for かわうそ kawauso
3
7.7k
自然言語でAPI作業を片付ける！「Postman Agent Mode」
Avatar for 草薙昭彦 nagix
0
130
明日から真似してOk！NOT A HOTELで実践している入社手続きの自動化
Avatar for kajinari nkajihara
1
880
AI × クラウドで シイタケの収穫時期を判定してみた
Avatar for Lamaglama39 lamaglama39
1
390
Progressive Deliveryで支える！スケールする衛星コンステレーションの地上システム運用 / Ground Station Operation for Scalable Satellite Constellation by Progressive Delivery
Avatar for iselegant iselegant
1
210
学術的根拠から読み解くNotebookLMの音声活用法
Avatar for Shu Kobuchi shukob
0
250
ABEJA FIRST GUIDE for Software Engineers
Avatar for ABEJA abeja
0
3.2k

Featured

See All Featured
jQuery: Nuts, Bolts and Bling
Avatar for Doug Neiner dougneiner
65
8k
How to Ace a Technical Interview
Avatar for Jacob Kaplan-Moss jacobian
280
24k
Speed Design
Avatar for Sergey Chernyshev sergeychernyshev
33
1.2k
Mobile First: as difficult as doing things right
Avatar for Swwweet swwweet
225
10k
Code Review Best Practice
Avatar for Trisha Gee trishagee
72
19k
Context Engineering - Making Every Token Count
Avatar for Addy Osmani addyosmani
9
410
Building Flexible Design Systems
Avatar for Yesenia Perez-Cruz yeseniaperezcruz
329
39k
Code Reviewing Like a Champion
Avatar for maltzj maltzj
527
40k
Site-Speed That Sticks
Avatar for Harry Roberts csswizardry
13
970
Making the Leap to Tech Lead
Avatar for Ryan Cromwell cromwellryan
135
9.6k
Distributed Sagas: A Protocol for Coordinating Microservices
Avatar for Caitie McCaffrey caitiem20
333
22k
Building an army of robots
Avatar for Kyle Neath kneath
306
46k

Transcript

  1. ָͯ͠σʔλ෼ੳ͍ͨ͠

  2. ࣗݾ঺հ • ruby, rails • αʔόαΠυΤϯδχΞ • twitter: @takady7 •

    github: @takady

  3. σʔλ෼ੳͷج൫

  4. ݱࡏͷߏ੒

  5. OLTP ͷ DB Ͱूܭ • ෛՙ΍ॲཧ࣌ؒͷ૿େ • DB ʹແ͍σʔλ͸औΕͳ͍

  6. εϓϨουγʔτ΁ͷग़ྗ • ೔࣍όον • εϓϨουγʔτͷؔ਺ʹΑΔຐվ଄ • ྻ͕ͣΕͨΒ #N/A

  7. εϓϨουγʔτͷෛՙ

  8. αʔϏε͕େ͖͘ͳͬͯɺ ͪΐͬͱͭΒ͘ͳ͖ͬͯͨ

  9. ͚ͩͲָͯ͠ࡁ·͍ͤͨ #

  10. ࣗલ࣮૷Λۃྗආ͚Δ

  11. ݱࡏͷߏ੒

  12. ߏ૝

  13. ࣗલ࣮૷Λۃྗආ͚Δ • αʔϏεͷίΞҎ֎ͷ։ൃʹίετΛ͔͚ͨ͘ͳ͍ • OSS ϓϩμΫτΛͳΔ΂͘࢖͏ • όά͸ੈքதͷΤϯδχΞ͕௚ͯ͘͠ΕΔ

  14. ࣗલ࣮૷Λۃྗආ͚Δ • log Λ Fluentd Ͱৗʹ Redshift ΁ྲྀ͢ • re:dash

    ͰΫΤϦΛεέδϡʔϦϯά • re:dash ͷ API Ͱ spreadsheet ʹ΋ import Ͱ͖Δ

  15. ߏ૝

  16. Ͳ͏ͳΔʁ • ·ͩݕূऴΘͬͨͱ͜Ζ • ਖ਼௚Ͳ͏ͳΔ͔Θ͔Βͳ͍ • EMR ΋ݕ౼͕ͨ͠ɺӡ༻ίετ͕ෆ҆ͩͬͨͷͰ΍Ίͨ

  17. ੋඇ஌ݟΛ͍ͩ͘͞ʂ • RDS - Redshift ςʔϒϧͷಉظํ๏ • re:dash ӡ༻ͷ஌ݟ •

    etc

  18. ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂʂ