楽してデータ分析したい / data engineering with oss

2016/07/01(金) 20:00
#zohyomeetup
http://eventdots.jp/event/590958

Transcript

1. ָͯ͠σʔλ෼ੳ͍ͨ͠
2. ࣗݾ঺հ • ruby, rails • αʔόαΠυΤϯδχΞ • twitter: @takady7 • github: @takady
3. σʔλ෼ੳͷج൫
4. ݱࡏͷߏ੒
5. OLTP ͷ DB Ͱूܭ • ෛՙ΍ॲཧ࣌ؒͷ૿େ • DB ʹແ͍σʔλ͸औΕͳ͍
6. εϓϨουγʔτ΁ͷग़ྗ • ೔࣍όον • εϓϨουγʔτͷؔ਺ʹΑΔຐվ଄ • ྻ͕ͣΕͨΒ #N/A
7. εϓϨουγʔτͷෛՙ
8. αʔϏε͕େ͖͘ͳͬͯɺ ͪΐͬͱͭΒ͘ͳ͖ͬͯͨ
9. ͚ͩͲָͯ͠ࡁ·͍ͤͨ #
10. ࣗલ࣮૷Λۃྗආ͚Δ
11. ݱࡏͷߏ੒
12. ߏ૝
13. ࣗલ࣮૷Λۃྗආ͚Δ • αʔϏεͷίΞҎ֎ͷ։ൃʹίετΛ͔͚ͨ͘ͳ͍ • OSS ϓϩμΫτΛͳΔ΂͘࢖͏ • όά͸ੈքதͷΤϯδχΞ͕௚ͯ͘͠ΕΔ
14. ࣗલ࣮૷Λۃྗආ͚Δ • log Λ Fluentd Ͱৗʹ Redshift ΁ྲྀ͢ • re:dash ͰΫΤϦΛεέδϡʔϦϯά • re:dash ͷ API Ͱ spreadsheet ʹ΋ import Ͱ͖Δ
15. ߏ૝
16. Ͳ͏ͳΔʁ • ·ͩݕূऴΘͬͨͱ͜Ζ • ਖ਼௚Ͳ͏ͳΔ͔Θ͔Βͳ͍ • EMR ΋ݕ౼͕ͨ͠ɺӡ༻ίετ͕ෆ҆ͩͬͨͷͰ΍Ίͨ
17. ੋඇ஌ݟΛ͍ͩ͘͞ʂ • RDS - Redshift ςʔϒϧͷಉظํ๏ • re:dash ӡ༻ͷ஌ݟ • etc
18. ͋Γ͕ͱ͏͍͟͝·ͨ͠ʂʂ