Scalaで実装した 分散処理システムの超概要

Transcript

1. ScalaͰ࣮૷ͨ͠ ෼ࢄॲཧγεςϜͷ௒֓ཁ 2018.04.11 ΏΊΈ ᢠށ ོ
2. ঺հ • tfunato • αʔόαΠυ΍ͬͯ·͢ • PHPɺNode.jsɺJavaɺetc
3. Agenda • ෼ࢄॲཧ • Sparkͷઆ໌ • ΍ͬͨ͜ͱ • ·ͱΊ
4. ෼ࢄॲཧ
5. ෼ࢄॲཧ • ̍ͭͷॲཧΛ෼ࢄͯ͠ߦ͏͜ͱ
6. ͱ͸͍͑ • ॲཧͷ੔߹ੑ • ͦΕͧΕͷܭࢉ݁Ռͷ੔߹ੑ • ॲཧ଎౓ͷޮ཰Խ • ॲཧͷ෼ׂ • ॲཧର৅σʔλͷ෼഑ɺऩूɺूܭ • ௨৴ϓϩτίϧ΍εέʔϥϏϦςΟɺ଱ো֐ੑ…. • ઐ໳͡Όͳ͍ͷͰৄ͘͠͸…
7. ॲཧܥ • ѻ͏σʔλ͸͍ΘΏΔϏοάσʔλ • ਺ेςϥόΠτ ʙ ϖλόΠτ • ηϯαʔɺυΩϡϝϯτɺϩάɺఱจֶɺେؾԽֶɺήϊϜ etc • ҰൠతͳRDBͰ͸ॲཧ͖͠Εͳ͘ͳͬͨ • ઐ༻ͷϋʔυ΢ΣΞ΍ιϑτ΢ΣΞ • ඇৗʹߴՁ • Google͕MapReduceΛൃද • ͦΕΛ΋ͱʹHadoop͕࡞ΒΕOSSԽ
8. Hadoop͔ΒSpark΁ • ॲཧ͕஗͍ • ஗͍Θ͚Ͱ͸ͳ͍͕ɺޮ཰͕ѱ͍ • IOΛฒྻԽͯ͠εϧʔϓοτΛ্͍͛ͯΔ͕ɺٯʹIO ͕ϘτϧωοΫʹͳ͖ͬͯͨ • αʔόߏ੒͕ෳࡶɺ͔ͭӡ༻͕େม • NameNodeɺJobTrackerɺDataNodeɺTaskTracker
9. Hadoop͔ΒSpark΁ • Spark͸HadoopͷMapReduceΛஔ͖׵͑Δ • Spark͸ॲཧΛۃྗϝϞϦʔʹ৐ͤͯߦ͏ • ඞཁʹͳͬͨΒσΟεΫ΁IO͢Δ • HadoopͷMapReduceΑΓ΋100ഒૣ͍ͱ͔
10. Spark
11. Sparkͷઆ໌ - ࣮૷ • Scala • Java • Python • R
12. Sparkͷઆ໌ - σʔλೖग़ྗ • ༷ʑͳσʔλͷೖग़ྗʹରԠ • Hadoop Distributed File System(HDFS) • Cassandra • MongoDB • Couchbase • Amazon S3 • RDBʢJDBCͰ઀ଓͰ͖Δ΋ͷͰ͋Ε͹ʣ • IOपΓͷࣗ࡞
13. Sparkͷઆ໌ - ѻ͏σʔλܗࣜ • ༷ʑͳσʔλܗࣜʹରԠ • CSVʢTSVʣ • JSON • Text • ParquetɺORC • ΧϥϜφϑΥʔϚοτʢྻํ޲σʔλʣ • ReadɺWriteΛࣗ࡞΋
14. Sparkͷઆ໌ - ॲཧͷجຊ1 • ॲཧͷجຊ • Read • σʔλΛಡΈࠐΉ෦෼ • Write • σʔλΛॻ͖ࠐΉ෦෼
15. Sparkͷઆ໌ - ॲཧͷجຊ2 • SQLϥΠΫͳΠϯλʔϑΣʔε͕༻ҙ͞Ε͍ͯΔ • Spark SQL • Readͨ͠σʔλʹରͯ͠Ճ޻ • FilterɺGroupByɺAvgɺOrderByɺMaxɺMinɺCount • JoinɺUnion • ෳ਺ͷಡΈࠐΜͩσʔλʹରͯ͠ • https://spark.apache.org/docs/latest/api/scala/ index.html#org.apache.spark.sql.Dataset
16. Sparkͷઆ໌ - ॲཧͷجຊ̐ • Write • ॻ͖ࠐΈઌͱϑΥʔϚοτΛࢦఆ͢Δ͚ͩ
17. ΍ͬͨ͜ͱ
18. ΞʔΩςΫνϟ Amazon 
 Redshift Amazon EMR Amazon S3 104σʔλ 4QBSL
19. ϩʔΧϧ։ൃ؀ڥ • Redshiftͱޓ׵ੑͷ͋ΔPostgreSQLΛDocker Ͱىಈ • IntelliJ IDEA͔ΒSparkΛ࣮ߦ • local࣮ߦϞʔυ͕͋Δ • ϩʔΧϧʹϑΝΠϧग़ྗ
20. ΍ͬͨ͜ͱ • Redshift͔ΒSQLΛ౤͛ͯର৅σʔλऔಘ • ඞཁ࠷খݶͷσʔλΛऔಘ͢Δ • POSσʔλΛूܭͯ͠ϙΠϯτΛ෇༩͢Δ • ݁ՌΛCSVͱͯ͠S3ʹอଘ
21. ΍ͬͨ͜ͱ • JenkinsΛδϣϒεέδϡʔϥͱͯ͠࢖༻ • ͔ͭϩάΛCloudWatchʹసૹͯ͠؂ࢹ • ̍೔̍౓͔͠ಈ͔ͳ͍ͷͰৗ࣌ىಈͷΫϥελͱ͸͠ͳ͍ͰɺऴΘͬ ͨΒΫϥελΛ࡟আ • ݁ߏେ͖͍ΠϯελϯεΛ࢖༻ͯ͠΋େֹͨۚ͠ʹͳΒͳ͍ • ϩά͸S3ʹग़ྗ͞ΕΔͷͰ֬ೝ͠΍͍͢ • sbtʹcryptɺdecryptλεΫΛ௥Ճͯ͠؀ڥ৘ใΛ҉߸Խ
22. ·ͱΊ
23. ·ͱΊ • ΦʔόʔεϖοΫ͔ͩͬͨ΋͠Εͳ͍ • ΋͏ͪΐͬͱςετΛॻ͖΍͍ߏ଄ʹ͢΂͖ ͩͬͨ • Spark͍͍Α • Scala͍͍Α