DynamoDBを利用したKPI保存システム

長谷川貴之（グリー株式会社）「DynamoDBを利用したKPI保存システム」

2016/01/25「Visualization Night#01」での登壇資料です
http://d-cube.connpass.com/event/25444/

Transcript

1. DynamoDBΛར༻ͨ͠ KPIอଘγεςϜ άϦʔגࣜձࣾɹ௕୩઒و೭ 2016/01/25 VisualizationNight#1
2. ຊ೔ͷ಺༰ • ࣗݾ঺հ • άϦʔ಺੡ͷՄࢹԽγεςϜ • DynamoDBΛར༻ͨ͠KPIอଘγεςϜ 
3. ࣗݾ঺հ • σʔλΤϯδχΞϦϯάνʔϜ • HadoopͳͲͷ෼ੳج൫ͷӡ༻ • πʔϧͷ։ൃɼར༻ऀͷαϙʔτ • ࠷ۙͰ͸ΦϯϓϨ͚ͩͰͳ͘AWS΋ར༻ • KinesisɼEMRͷݕূΛ͢Δϝϯόʔ΋ 
4. άϦʔ಺੡ͷՄࢹԽγεςϜ  ஫) ͜Ε͔Βग़ͯ͘Δ஋͸αϯϓϧσʔλͰ͢
5. ՄࢹԽγεςϜ • NativeGame KPIϨϙʔτ • ܾΊΒΕͨ਺஋ࢦඪͷΈදࣔ • ϓϩμΫτؒͷൺֱ͕༰қ • ϢʔβʔςΩετμογϡϘʔυ • ςΩετӾཡʹಛԽͨ͠γεςϜ • ϢʔβʔͷΞϯέʔτɼ໰͍߹ΘͤͳͲ͕ݟΕΔ • BIπʔϧ(Macaron) • ϓϩμΫτӡӦऀ͕ࣗ༝ʹ਺஋ࢦඪΛ࡞੒Ͱ͖Δ • εέδϡʔϦϯάͷػೳΛඋ͑Δ  (Ұ෦ͷγεςϜͷ঺հͰ͢)
6. NativeGame KPIϨϙʔτ 
7. NativeGame KPIϨϙʔτ Rails + RDS(MySQL) + TD or Hadoop  Apache®, Apache Hadoop, Hadoop®(http://hadoop.apache.org/), and the yellow elephant logo are either registered trademarks or trademarks of the Apache Software Foundation(http://www.apache.org/) in the United States and/or other countries. Treasure Data Inc.(https://www.treasuredata.com/)
8. ϢʔβʔςΩετμογϡϘʔυ 
9. ϢʔβʔςΩετμογϡϘʔυ Django + Presto + Hadoop Django 
10. BIπʔϧ(Macaron) 
11. BIπʔϧ(چMacaron) Rails + HBase or Hive or Presto + Hadoop 
12. BIπʔϧ(৽Macaron) Rails + HBase or Hive or Presto + Hadoop  DynamoDB΁ʂ
13. ͔͜͜Βͷ಺༰ • Macaronͷػೳ • طଘετϨʔδ(HBase, OpenTSDB) • ϦϓϨΠεͷഎܠ / ݕ౼ • ઃܭ / ࣮૷ 
14. Macaronͷػೳ • Hive΍PrestoʹΫΤϦͷൃߦ͢Δ • ΫΤϦͷ݁ՌΛ࣌ܥྻσʔλϕʔεʹอଘ • with εέδϡʔϦϯά • ηάϝϯτຖͷάϥϑඳը • ͦͷଞ 
15. Macaronͷػೳ / ΫΤϦͷൃߦ 
16. Macaronͷػೳ / σʔλͷอଘ ఆظ࣮ߦͨ݁͠ՌΛอଘ͢Δ 
17. Macaronͷػೳ / άϥϑͷඳը 
18. BIπʔϧ(Macaron) Rails + DynamoDB or Hive or Presto + Hadoop • HBase(OpenTSDB)͔ΒDynamoDB΁ 
19. ͦ΋ͦ΋OpenTSDBͬͯʁ • HBaseΛετϨʔδͱͨ࣌͠ܥྻσʔλϕʔε • Φʔϓϯιʔε • RRDToolͷΑ͏ʹ஋ΛؙΊͳ͍ • γεςϜͷϝτϦΫεͳͲେن໛σʔλ͕ಘҙ • ถYahoo!Ͱ͸15୆ͷαʔόʔͰຖඵ28ສ݅ͷWrite Λ͞͹͘ • http://www.slideshare.net/HBaseCon/ecosystem-session-6/6 
20. OpenTSDBͷϝλσʔλ • DataPoints (time, value) • Metrics σόΠεผDAU • Tags device=fp, device=sp • Metrics + Tags = TimeSeries  ref. OpenTSDB HBaseCon http://opentsdb.net/misc/opentsdb-hbasecon.pdf
21. ϦϓϨΠεͨ͠എܠ • αʔόʔͷҠઃͷඞཁ͕͋ͬͨ • HBaseΫϥελΛ࠶ߏஙʁ • ৽͘͠࡞Γ௚͢ʁ • ظؒ͸7݄຤ ~ 10݄ • ܾΊΒΕͨظݶɼٻΊΒΕΔඅ༻࡟ݮ 
22. ϦϓϨΠεͨ͠എܠ • ݱঢ়ͷγεςϜ͕ߴػೳ͗͢Δ • ඳըػೳɼूܭؔ਺ͳͲ͸ར༻͍ͯ͠ͳ͍ • HBaseͰ࣋ͭ΄Ͳͷσʔλن໛Ͱ͸ͳ͍ • গ͠ΧελϚΠζ͢Δඞཁ͕͋ͬͨ • ೔ຊޠʹରԠͤ͞ΔͨΊʹύονΛ౰ͯͨ • ϝτϦοΫͷૢ࡞͕ҙ֎ͱ໘౗ 
23. AWSΛલఏͱͨ͠ϦϓϨΠεҊ • HBase on EMR • ৗ࣌Քಇ͓ͤͯ͘͞ͱίετ͕ߴ͍ • InfluxDB on EC2 • ݕূظ͕ؒͱΕͣӡ༻໘Ͱ৴པ͖͠Εͳ͔ͬͨ • MySQL(RDS) • ࣮੷͕͋Γɼ஋ஈ΋༧૝Ͱ͖Δ • DynamoDB • ৄ͘͠ͳ͍͕ɼσʔλ͸ιʔτͰ͖ΔΒ͍͠ 
24. DynamoDBʹؔ͢Δௐࠪ • εϧʔϓοτ՝ۚͰ͋Δ • Ұ౓ʹେ͖ͳσʔλΛऔಘɼอଘ͸ۤख • ςʔϒϧ͝ͱʹ՝ۚ͞ΕΔ • 10G͝ͱʹύʔςΟγϣϯ͕෼ׂ͞ΕΔ • อଘ͸͍͕҆εϧʔϓοτ͕෼ࢄ͢Δ 
25. ͋Εɺ޲͍ͯͳ͍…ʁ 
26. Unitফඅʹ͍ͭͯௐࠪ͢Δ • GemItem, BatchGetItem • ͲΜͳʹখ͍͞recordͰ΋ɼ1 record = 1 unit • 1೔1recordͩͱ͢Δͱɼ3೥෼औಘͰ1095unit • Query, Scan • ྦྷܭαΠζΛ࢖༻ͯ͠εϧʔϓοτΛܭࢉ • 1record = 1unitͰ͸ͳ͍ • 1record͕1KBͱ͢Δͱɼ3೥෼औಘͰ273unit 
27. Unitফඅʹ͍ͭͯௐࠪ͢Δ • GemItem, BatchGetItem • ͲΜͳʹখ͍͞recordͰ΋ɼ1 record = 1 unit • 1೔1recordͩͱ͢Δͱɼ3೥෼औಘͰ1095unit • Query, Scan • ྦྷܭαΠζΛ࢖༻ͯ͠εϧʔϓοτΛܭࢉ • 1record = 1unitͰ͸ͳ͍ • 1record͕1KBͱ͢Δͱɼ3೥෼औಘͰ273unit  σʔλऔಘ͸QueryͳͷͰ҆৺
28. ϢʔεέʔεΛ֬ೝ͢Δ • 1ϖʔδʹ͍͔ͭ͘ͷKPIࢦඪΛ഑ஔ • ظؒ͸ݻఆɼdailyͳΒ͹90೔ఔ౓ • ࢦඪͷߋ৽ස౓͸ߴ͘ͳ͍ • ͔͠͠ɼաڈ෼Λ1౓ʹೖΕΔ͜ͱ͸͋Δ • ࣌ؒଳʹΑͬͯݟΔݟͳ͍͕͸͖ͬΓ͢Δ • ໷ؒ΍౔೔͸΄ͱΜͲݟΒΕͳ͍ 
29. ޻෉͢Δ༨஍͕͋Γͦ͏…ʂ 
30. εϧʔϓοτΛԼ͛ΔऔΓ૊Έ • ಡΈࠐΈεϧʔϓοτͷ࡟ݮ • ݻఆ͞Εͨظؒͷσʔλ͸Ωϟογϡ΁ • ࣌ؒଳʹ߹Θͤͨಈతεϧʔϓοτมߋ • ॻ͖ࠐΈεϧʔϓοτͷ࡟ݮ • ٸͳॻ͖ࠐΈ૿ʹඋ͑ΩϡʔΛར༻ 
31. ΩϟογϡΛ׆༻͢Δ • ElastiCache(Redis)Λ׆༻͢Δ • ௚ۙͷσʔλ(ex. 90೔)ΛΩϟγϡ͢Δ • جຊతʹաڈͷࢪࡦΛৼΓฦΔ৔߹ͷΈ DynamoDBʹΞΫηε͕͍͘ • ElastiCache͸͍҆ͷͰ͓ಘ • ௚ۙͷσʔλͷΈͳΒt2.microͰ΋Մ 
32. ΩϡʔΛ׆༻͢Δ • SQSΛར༻͢Δ • ॻ͖ࠐΈ͕૿ࣦ͑ͯഊͯ͠΋ϦτϥΠͰ͖Δ • ௿͍εϧʔϓοτΛࢦఆͯ͠΋σʔλͷϩετ Λ๷͙͜ͱ͕Ͱ͖Δ • ஋ஈ͸΄΅ແྉ 
33. εϧʔϓοτΛมಈͤ͞Δ  SumoLogicͰՄࢹԽͨ͠ΞΫηε਺ (Ұ෦) ໌Β͔ʹ໷ؒʹΞΫηε͕ͳ͘΋͍ͬͨͳ͍ʂ
34. ྫ) εϧʔϓοτΛมಈͤ͞Δ Ұఆʹอͬͨ৔߹ ऴ೔(read: 1000) • 0.00742 * 24 * 30 * 1000 / 50 = $107 ಡΈࠐΈεϧʔϓοτΛมಈͤͨ͞৔߹ ฏ೔&೔த(read: 1000)ɼ໷ؒor౔೔(read: 500) • 0.00742 * 24 * 22 * (1000+500) / 2 / 50 = $59 • 0.00742 * 24 * 8 * 500 / 50 = $14 • $59 + $14 = $73  ͜ͷྫͰ͸ɼεϧʔϓοτͷมಈͰ32%Φϑʹʂ
35. DynamoDBͰ͍͚ΔͷͰ͸… 
36. αʔόʔߏ੒ 
37. ࣮૷ • ScalaɼϑϨʔϜϫʔΫ͸SprayΛར༻ • AWSͷClient͸Java͕Ұ൪ॆ࣮͍ͯ͠Δ • AWSϩοΫΠϯ͞Εͯ΋ϩʔΧϧͰ։ൃՄೳ • DynamoDB → DynamoDBLocal • SQS → ElasticMQ 
38. ӡ༻ • cronͰεϧʔϓοτΛมߋ • ே9࣌ ~ ໷9࣌ͰεϧʔϓοτΛ͋͛Δ • ϩά͸SumoLogicͰ؅ཧͯ͠ΞΫηε਺ͷ֬ೝ • σϓϩΠ͸CodeDeployͰ • ͱ͖Ͳ͖agentͷϓϩηε͕down͢Δ…!! 
39. ·ͱΊ • άϦʔͷՄࢹԽγεςϜʹ͍ͭͯ঺հͨ͠ • ໾ׂʹΑͬͯͦΕͧΕଘࡏ͢Δ • HBase(OpenTSDB)͔ΒDynamoDB΁ • εϧʔϓοτͷมಈͰ஋ஈΛ཈͑Δ • ElastiCache΍SQS΋ίετμ΢ϯʹߩݙ 
40. Happy Hacking :)