Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Apache Zeppelin으로 데이터 분석하기

6a11050c8147e4f5fbf2637907c27964?s=47 VCNC
January 19, 2015
2.3k

Apache Zeppelin으로 데이터 분석하기

Apache Zeppelin
- 데이터 분석가, 개발자들을 위한 웹기반 노트북, 시각화 툴
- Spark, SparkSQL의 결과를 바로 차트로 그릴 수 있음
- 2014년 12월에 Apache 소프트웨어 재단의 Incubating
프로젝트가 됨
- Apache Tajo, Apache Flink 등 다양한 엔진을 결합 시도

Zeppelin을 추천합니다
- 간단하게 데이터 분석을 시작해보려는 사람
- Spark을 처음 시작하려는 사람
- Dashboard를 빠르게 만들고 싶은 사람
- 민첩하게 이런저런 데이터를 살펴보고 분석하는 작업
- 오픈소스 프로젝트에 참여해보고 싶은 사람

6a11050c8147e4f5fbf2637907c27964?s=128

VCNC

January 19, 2015
Tweet

Transcript

  1. Apache Zeppelin ਵ۽ ؘ੉ఠ ࠙ࢳೞӝ 2015-01-19 झࢎݽ (ೠҴ झ౵௼ ࢎਊ੗

    ݽ੐) https://www.facebook.com/groups/sparkkoreauser/ ӣ࢚਋, VCNC(࠺౟ਦ), Zeppelin ழ޷ఠ kevin@between.us, kevinkim@apache.org powered by
  2. 3ѐਘ ੹…

  3. Apache Zeppelin • ؘ੉ఠ ࠙ࢳо, ѐߊ੗ٜਸ ਤೠ ਢӝ߈ ֢౟࠘, दпച

    ో • Spark, SparkSQL੄ Ѿҗܳ ߄۽ ର౟۽ Ӓܾ ࣻ ੓਺ • 2014֙ 12ਘী Apache ࣗ೐౟ਝয ੤ױ੄ Incubating ೐۽ં౟о ؽ • Apache Tajo, Apache Flink ١ ׮নೠ ূ૓ਸ Ѿ೤ दب
  4. None
  5. ӝઓ੄ Workflow ؘ੉ఠ ੷੢ ؘ੉ఠ ੿ઁ, ୊ܻ ਃড ؘ੉ఠ दпച

    Ҋә ࠙ࢳ • ׮নೠ ઁಿਸ ઑ೤ೞৈ ؘ੉ఠ ࠙ࢳਸ ೞחѪ੉ ੌ߈੸ • ݆਷ ূ૑פয݂੉ ೙ਃೣ • ׮ߑݶী ҃೷ ݆਷ ࠙ࢳоٜ ഑਷ ౱੄ ੹ਬޛ • ౵੉೐ۄੋ੉ ࠂ੟ೞӝী, Ҋ੢աӝ औҊ ਬ૑ࠁࣻ য۰਑
  6. ࢜۽਍ Workflow ؘ੉ఠ ੷੢ ؘ੉ఠ ੿ઁ, ୊ܻ ਃড ؘ੉ఠ दпച

    Ҋә ࠙ࢳ ؘ੉ఠ ੿ઁ, ୊ܻ, ਃড ؘ੉ఠ दпച, Ҋә ࠙ࢳө૑ ੹ࠗ Sparkҗ Zeppelinਵ۽ ೧Ѿ
  7. Notebook • ࣗझ௏٘ ੘ࢿ, ࣻ੿, ੗ز੷੢, प೯ • Scala (Spark),

    Spark SQL, Markdown ١ ૑ਗ
  8. Notebook (2) • Paragraphٜ੄ प೯ ࢚కܳ ஶ౟܀ • Paragraphٜ੄ ݽন

    ߂ ਤ஖ ઑ੿, ઁݾ ಴द ١ ಞ૘ оמ
  9. Notebook (3) • ৈ۞ѐ੄ ֢౟࠘ਸ ࢤࢿ, ݾ۾ਵ۽ ҙܻ оמ •

    ࠙ࢳ ੘স ௏٘ ߂ Ѿҗޛਸ ബਯ੸ਵ۽ ҙܻ
  10. Visualization • Spark SQL ࣻ೯ Ѿҗܳ Table, Line Chart, Pie

    Chart ١ ׮নೠ ഋక۽ दпച • Spark੄ જ਷ ࢿמ ؋࠙ী ؀ࠗ࠙ ௏٘о ૊द प೯غ޲۽ interactive ೞѱ ؘ੉ ఠܳ ׮ܙ ࣻ ੓ѱ ؽ
  11. Visualization (2) • HTMLਸ ಴അ оמೞ޲۽, ప੉࠶ী ੉޷૑ܳ ಴दೞѢա, linkܳ

    ֍Ѣա ೞח ١੄ ز੘੉ оמ • SparkSQL੄ рಞೠ UDF(User Defined Function) ١۾ ӝמҗ Ѿ೤ೞݶ ಞܻೣ
  12. Dashboard • Default, Simple, Report ࠭ ݽ٘ܳ ઁҕೣ • ௏٘ܳ

    о۰઱ח Report ࠭ ݽ٘ܳ ഝਊೞݶ Dashboardܳ ࡅܰѱ ٜ݅ࣻ ੓਺ • ௏٘৬ ର౟ٜ੉ ೠҵؘ ੓ਵ޲۽ ࣚऔѱ ಕ੉૑ܳ ࢜۽ ٜ݅Ҋ, ਬ૑ ҙܻ оמ
  13. Dashboard (2) • ੗୓੸ਵ۽ Schedule ӝמ ղ੢ • ݒੌ ഑਷

    ݒ दр সؘ੉౟ غח Dashboardա, Batch੘সਸ ҙܻೞӝ ਊ੉ೣ
  14. Live Demo

  15. Zeppelinਸ ୶ୌ೤פ׮ • рױೞѱ ؘ੉ఠ ࠙ࢳਸ द੘೧ࠁ۰ח ࢎۈ • Sparkਸ

    ୊਺ द੘ೞ۰ח ࢎۈ • Dashboardܳ ࡅܰѱ ٜ݅Ҋ र਷ ࢎۈ • ޹୏ೞѱ ੉۠੷۠ ؘ੉ఠܳ ࢓ಝࠁҊ ࠙ࢳೞח ੘স • য়೑ࣗझ ೐۽ં౟ী ଵৈ೧ࠁҊ र਷ ࢎۈ
  16. хࢎ೤פ׮