Upgrade to Pro — share decks privately, control downloads, hide ads and more …

楽してデータ分析したい / data engineering with oss

Avatar for Yuichi Takada Yuichi Takada
July 01, 2016
Technology
0
410

楽してデータ分析したい / data engineering with oss

2016/07/01(金) 20:00
#zohyomeetup
http://eventdots.jp/event/590958

Avatar for Yuichi Takada

Yuichi Takada

July 01, 2016
Tweet

More Decks by Yuichi Takada

See All by Yuichi Takada
取引ドメインでの取り組み / mercari transaction domain
Avatar for Yuichi Takada takady
0
100
isucon5 予選をどう惨敗したか / isucon5 qualifier
Avatar for Yuichi Takada takady
1
910

Other Decks in Technology

See All in Technology
Introduction to Bill One Development Engineer
Avatar for Sansan, Inc. sansan33
PRO
0
360
日本の85%が使う公共SaaSは、どう育ったのか
Avatar for たけだ taketakekaho
1
140
Amazon S3 Vectorsを使って資格勉強用AIエージェントを構築してみた
Avatar for usanchuu usanchuu
3
440
インフラエンジニア必見!Kubernetesを用いたクラウドネイティブ設計ポイント大全
Avatar for 高棹大樹 daitak
0
330
SREのプラクティスを用いた3領域同時 マネジメントへの挑戦 〜SRE・情シス・セキュリティを統合した チーム運営術〜
Avatar for coconala_engineer coconala_engineer
2
610
Embedded SREの終わりを設計する　「なんとなく」から計画的な自立支援へ
Avatar for SansanTech sansantech
PRO
3
2.2k
15 years with Rails and DDD (AI Edition)
Avatar for Andrzej Krzywda andrzejkrzywda
0
180
Cosmos World Foundation Model Platform for Physical AI
Avatar for Takuya MINAGAWA takmin
0
410
入社1ヶ月でデータパイプライン講座を作った話
Avatar for Yuta Ozaki waiwai2111
1
250
プロダクト成長を支える開発基盤とスケールに伴う課題
Avatar for yuu26 yuu26
4
1.3k
ブロックテーマでサイトをリニューアルした話 / 2026-01-31 Kansai WordPress Meetup
Avatar for Toro_Unit (Hiroshi Urabe) torounit
0
450
10Xにおける品質保証活動の全体像と改善 #no_more_wait_for_test
Avatar for nihonbuson nihonbuson
PRO
2
210

Featured

See All Featured
Thoughts on Productivity
Avatar for Jon Yablonski jonyablonski
74
5k
Odyssey Design
Avatar for Ryan Kendrick rkendrick25
PRO
1
490
We Are The Robots
Avatar for Honza Javorek honzajavorek
0
160
Facilitating Awesome Meetings
Avatar for Lara Hogan lara
57
6.7k
Agile Actions for Facilitating Distributed Teams - ADO2019
Avatar for Mark Kilby mkilby
0
110
How to Talk to Developers About Accessibility
Avatar for Jason CranfordTeague jct
2
130
Leo the Paperboy
Avatar for Maya Tellez mayatellez
4
1.4k
Lessons Learnt from Crawling 1000+ Websites
Avatar for Charles Meaden charlesmeaden
PRO
1
1.1k
How to Ace a Technical Interview
Avatar for Jacob Kaplan-Moss jacobian
281
24k
The Art of Programming - Codeland 2020
Avatar for Erika Heidi erikaheidi
57
14k
From π to Pie charts
Avatar for Rasagy Sharma rasagy
0
120
[RailsConf 2023 Opening Keynote] The Magic of Rails
Avatar for Eileen M. Uchitelle eileencodes
31
9.9k

Transcript

  1. ָͯ͠σʔλ෼ੳ͍ͨ͠

  2. ࣗݾ঺հ • ruby, rails • αʔόαΠυΤϯδχΞ • twitter: @takady7 •

    github: @takady

  3. σʔλ෼ੳͷج൫

  4. ݱࡏͷߏ੒

  5. OLTP ͷ DB Ͱूܭ • ෛՙ΍ॲཧ࣌ؒͷ૿େ • DB ʹແ͍σʔλ͸औΕͳ͍

  6. εϓϨουγʔτ΁ͷग़ྗ • ೔࣍όον • εϓϨουγʔτͷؔ਺ʹΑΔຐվ଄ • ྻ͕ͣΕͨΒ #N/A

  7. εϓϨουγʔτͷෛՙ

  8. αʔϏε͕େ͖͘ͳͬͯɺ ͪΐͬͱͭΒ͘ͳ͖ͬͯͨ

  9. ͚ͩͲָͯ͠ࡁ·͍ͤͨ #

  10. ࣗલ࣮૷Λۃྗආ͚Δ

  11. ݱࡏͷߏ੒

  12. ߏ૝

  13. ࣗલ࣮૷Λۃྗආ͚Δ • αʔϏεͷίΞҎ֎ͷ։ൃʹίετΛ͔͚ͨ͘ͳ͍ • OSS ϓϩμΫτΛͳΔ΂͘࢖͏ • όά͸ੈքதͷΤϯδχΞ͕௚ͯ͘͠ΕΔ

  14. ࣗલ࣮૷Λۃྗආ͚Δ • log Λ Fluentd Ͱৗʹ Redshift ΁ྲྀ͢ • re:dash

    ͰΫΤϦΛεέδϡʔϦϯά • re:dash ͷ API Ͱ spreadsheet ʹ΋ import Ͱ͖Δ

  15. ߏ૝

  16. Ͳ͏ͳΔʁ • ·ͩݕূऴΘͬͨͱ͜Ζ • ਖ਼௚Ͳ͏ͳΔ͔Θ͔Βͳ͍ • EMR ΋ݕ౼͕ͨ͠ɺӡ༻ίετ͕ෆ҆ͩͬͨͷͰ΍Ίͨ

  17. ੋඇ஌ݟΛ͍ͩ͘͞ʂ • RDS - Redshift ςʔϒϧͷಉظํ๏ • re:dash ӡ༻ͷ஌ݟ •

    etc

  18. ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂʂ