20万超のIoTデバイス同時接続を支えるNature RemoのシステムとAWS / IoT AWS Loft Nature Remo 2021

Transcript

1. ݫൿɿຊࢿྉͷҰ෦·ͨ͸શ෦ΛɺNatureגࣜձࣾͷڐՄͳ͠ʹɺෳ੡ɺసࡌ͢Δ͜ͱΛې͡·͢ɻ Introduce about September 3, 201 9 Natureגࣜձࣾ 20ສ௒ͷIoTσόΠεಉ࣌઀ଓΛࢧ͑Δ IoT@Loft

   #17 - IoT੡඼։ൃͷల๬ 10th Feb, 2021 Nature RemoͷγεςϜͱAWS

2. 2 Me • দ໦ խ޾ (id:Songmu) • Nature גࣜձࣾ औక໾CTO

   • https://songmu.jp/riji • https://github.com/Songmu • ޷͖ͳݴޠ͸GoͱPerlͱதࠃޠ • 3 Times ISUCON Winner • ஶॻʹʮΈΜͳͷGoݴޠʯ౳ • झຯ͸OSS׆ಈͰ͢

3. ࠓ೔࿩͢͜ͱ Agenda 3

4. 4 Agenda • ϓϩμΫτͷ঺հ • γεςϜ֓ཁ • AWS׆༻ • ࠓޙͷ՝୊

5. ձࣾͱ੡඼ Company and Product 5

6. Mission 6 Mission ⾃然との共⽣を テクノロジーでドライブする Vision インターネットとセンサー技術を活⽤し、分散型で再⽣可能な電 源を普及させ、エネルギーを⾃給⾃⾜出来る未来を創造する

7. 6,980ԁ ʢ2020೥12݄24೔ൃചʣ 7 Product 9,980ԁ ʢ2020೥8݄5೔ൃചʣ (ୈ̏ੈ୅ʣ (ୈ̎ੈ୅ʣ

8. ֎ग़ઌ͔ΒεϚϗͰΤΞίϯΛON εϚʔτεϐʔΧʔͱ࿈ܞͯ͠੠ͰՈిΛૢ࡞ 8 Features

9. How It Works

10. User Feedback NPSスコア30ポイント

11. Traction 20ສ୆ಥഁ ೝ஌ˍγΣΞۀքNo.1 ʢ2020೥2݄࣮ࢪɺࣗࣾௐ΂ʣ

12. 14,800ԁ ʢ2020೥4݄27೔ൃചʣ 14,800ԁ 29,800ԁ ʢ2019೥12݄17೔ൃചʣ 32,780ԁ 12 Product ઌߦ༧໿ ಛผՁ֨

13. Unattached Area = Demand Side 常に供給を需要に合わせて調整 IoTでつながり家庭の需要を制御

14. Home Automation to Virtual Power Plant 14 2019- Phase 1

    ホームオートメーション 2020- Phase 2 エネルギーマネージメント 2022 Phase 3 Virtual Power Plant

15. Phase 2 : Energy Management AC Control Appliances

16. IoT機器を束ねた仮装発電所でよりクリーンな世界へ 関⻄電⼒と2年間実証済み。 Phase 3: Virtual Power Plant

17. 地元のコミュニティの個⼈間で電気をシェアするプラットフォームを実現 A => B (10) A => C (30) D

    => C (20) A : ༨৒40 C : ෆ଍50 B : ෆ଍10 D : ༨৒20 Beyond

18. Nature RemoγεςϜͷཪଆ Inside Nature Remo 18

19. Features • ͍ΘΏΔIoT੡඼ͷεϚʔτϦϞίϯ • εϚʔτϑΥϯ΍εϚʔτεϐʔΧʔ͔ΒՈిૢ࡞ • ΤΞίϯɾTVɾϥΠτ౳ • طଘͷ੺֎ઢϦϞίϯΛͦͷ··ஔ͖׵͑ΒΕΔ •

    ؆୯ʹ࢖͑ΔϦϞίϯֶश(ݕग़)ػೳ • ηϯγϯά΍ϢʔβʔͷҐஔ৘ใΛ΋ͱʹՈిૢ࡞ • Թ౓ɾ࣪౓ɺՈ͔Β཭Εͨ࣌ɺ͍ۙͮͨͱ͖ͳͲ

20. How It Works

21. Conditions • Nature Remo͸ࣗ୐ͷWi-Fiʹ઀ଓͯ͠ϩʔΧϧIP͸อ࣋ • → ࣗ෼͔ΒΠϯλʔωοτʹग़͍ͯ͘͜ͱ͸Ͱ͖Δ͕ɺ֎͔Βͷ ϦΫΤετΛड͚෇͚Δͷ͸༰қͰ͸ͳ͍ • ͔͠͠԰֎ͷεϚϗɺεϚʔτεϐʔΧʔɺϧʔϧͳͲʹରͯ͠ૉ

    ૣ͘൓Ԡ͢Δඞཁ͕͋Δ • → Ͳ͏΍ͬͯʁ 🤔 • Nature Remo͸ϚΠίϯϘʔυ্ͰCͷFirmware͕ಈ࡞ • ͋·Γෳࡶͳ͜ͱΛͤͨ͘͞͸ͳ͍

22. Possible Solutions (?) • UPnP౳ʹΑΔϙʔτ։์ͱDDNSͷ૊Έ߹Θͤ • ηΩϡϦςΟ্ͷݒ೦ • UDPϗʔϧύϯνϯά౳ͷNATӽٕ͑ज़Λ༻͍ͨP2P •

    ઀ଓҡ͕࣋೉ͦ͠͏ɻಛʹҠಈମ(εϚʔτϑΥϯ) ↑͜ΕΒ͸͔͍͍͚ͬ͜Ͳɺݱ࣮తͰ͸ͳ͍

23. Realistic Solution • εϚϗΞϓϦ͔Β͸APIϦΫΤετ (։ൃऀ޲͚API΋ఏڙ) • զʑͷΫϥ΢υγεςϜ͕Nature RemoʹWebsocktܦ༝ͰࢦྩΛૹΔ • ʮ͜ͷ੺֎ઢ৴߸Λग़ͯ͠ʯ

    HTTP API WebSocket - ੺֎ઢ - ηϯαʔ৘ใ - Թ౓ - ࣪౓

24. Why WebSocket? • ϦΞϧλΠϜʹ૒ํ޲௨৴͕͓खܰʹͰ͖Δ • ʮී௨ͷʯWebٕज़ • ઀ଓ΍੾அ࣌ͷ࠶઀ଓ͸Nature Remoଆ੍͕ޚ •

    ৗ࣌઀ଓʹͳΔͨΊ઀ଓ؅ཧׂ͕ͱେมͰ͸͋Δ • 20ສ୆+૿ՃͷҰ్

25. ΞʔΩςΫνϟ Architecture 25

26. API Stream Worker Amazon ECS Subscribe Publish WS WS Pub/Sub

    System Diagram

27. Components • API • εϚϗΞϓϦ΍εϚʔτεϐʔΧʔͱͷ௨৴ • Stream • Nature RemoͱͷWebSocket௨৴

    • Worker • ϧʔϧͷ࣮ߦ ͢΂ͯGo੡ͰAmazon ECS্Ͱಈ͔͍ͯ͠Δ

28. Remarkable Points • ૉ๿ͳGo੡ͷWebΞϓϦέʔγϣϯ • Redis Pub/SubΛ༻͍ͨɺAPI - Streamؒͷ΍ΓͱΓ •

    Nature Remo͸ALBΛܦ༝ͯ͠streamαʔόʔʹ Websocket઀ଓ͍ͯ͠Δ • AlexaͷΧελϜεΩϧ͸AWS Lambdaܦ༝Λ࢖࣮ͬͯߦ ͞ΕΔ

29. Simple Web Applications with Go • ී௨ͷWebΞϓϦέʔγϣϯ • ΋ͱ΋ͱherokuͰϗετ໊͍ͯͨ͠࢒΋ •

    ϑϨʔϜϫʔΫ • github.com/nbio/hitch • Gorilla web toolkitΛ෦෼తʹར༻ • MySQL/Redis • gorp/redigo • guregu/dynamo

30. Utilize Redis Pub/Sub • Redis Pub/SubΛ׆༻͍ͯ͠Δ • API͔Β͸RedisʹPublish • Stream͸RedisΛSubscribe

    • ૬ޓ௨৴͠ͳ͍ૄ݁߹Λ࣮ݱ͍ͯ͠Δ • Streamଆ͸͋͘·ͰWebSocketͱRedis͔ΒͷSubscribeͰ ड͚෇໋͚ͨྩͷ࣮ߦ͔͓͜͠ͳΘͣঢ়ଶΛ࣋ͨͳ͍

31. WebSocket connection via ALB • Nature Remo͸ALBΛܦ༝ͯ͠streamαʔϏεʹ WebSocket઀ଓ͍ͯ͠Δ • ҰͭͷGoΞϓϦͷίϯςφͰ਺ສ઀ଓ͞͹͚Δʂ

    • Goͷ͓खܰͳྑ͞Λ࣮ײ

32. ར༻͍ͯ͠ΔAWSαʔϏε AWS Services 32

33. Amazon ECS (on EC2) • ecspresso(ޙड़)ͰͷλεΫఆٛ؅ཧ͕ศར • ؂ࢹΤʔδΣϯτؚΊඞཁͳσʔϞϯ͸ECS্ʹدͤͯߏங • ࠔ͍ͬͯͳ͍ͷͰEKS΍k8s΁ͷҠߦ͸ࠓͷॴߟ͍͑ͯͳ͍

34. AWS Lambda • Amazon EchoͱͷεΩϧ࿈ܞ෦෼ͰͷΈར༻ • όονܥͷλεΫ͸ECS Scheduled TaskͰ࣮ߦ

35. Application Load Balancer • ಛघͳ༻్ͱͯ͠WebsocketαʔόʔͱͷதܧʹALBΛར༻ • ݩʑ͸ؤுͬͯConsulͰσΟεΧόϦػߏΛ૊ΜͰ͍ͨ • Nature RemoͱWebsocketαʔόʔΛ௚ܨ͢ΔͨΊ

    • ALBʹΑΓϓϩΩγϊʔυ͕উखʹεέʔϧ͢ΔΑ͏ʹ • ಺෦IP਺ͷ؂ࢹΛಠࣗͰߦͳ͍ͬͯΔ

36. Amazon RDS • MySQLΛී௨ʹ࢖͍ͬͯ·͢ • ଟ͘ͷϢʔεέʔεʹ͓͍ͯRDBMSͰ໰୊ͳ͍

37. Amazon ElastiCache Redis • PubSub༻: ඇΫϥελRedis • ηϯαʔσʔλͷҰ࣌อଘ: ΫϥελϞʔυ •

    ࠷ۙ෼ׂ • Ϋϥελ༻͸Redis 6ޓ׵ͷM6gΛ౤ೖ • ૝ఆΑΓ΋શવCPUΛ࢖Θͣ • Graviton͍͢͝

38. Amazon DynamoDB • ిྗσʔλͷ࣌ܥྻσʔλอଘ • ిྗ࢖༻ྔάϥϑͷඳըʹར༻ • ηϯαʔσʔλͳͲͰͷ׆༻Λ޿͍͛ͨ • ॻ͖ࠐΈίετ͕݁ߏ͔͔͍ͬͯΔͷͰޮ཰ԽΛਤΓ͍ͨ

    • Ͳ͔͜ʹͨΊ͓͍ͯͯ·ͱΊͯॻ͘ͳͲ • Amazon TimeStreamؾʹͳΔ

39. Log Monitoring • go.uber.go/zap Ͱඪ४ग़ྗͷJSONϩάΛCloudWatch Logs ʹૹ৴ • CloudWatch Logs

    Insights΋҆ఆ͖ͯͯ͠ศར • ͔͠͠೗ԿͤΜߴ͍💸 • Ұ෦ͷϩά͸GoΞϓϦ͔Β௚઀Amazon Kinesis Data FirehoseΛୟ͍ͯS3ૹ৴ • Amazon AthenaͰௐࠪ

40. Further use AWS • AWS IoT • ແཧͯ͠࢖͏ඞཁ͸ͳ͍ͱߟ͍͑ͯΔ͕ɺબ୒ࢶΛ޿͛ ͯඞཁʹԠͯ͡࢖͍͍ͨ •

    ػցֶशܥػೳ • Ϣʔεέʔε • ࣨԹ΍շద౓ͷࣗಈௐ੔ • ిྗͷ࠷దԽ΍धڅௐ੔

41. ศརϥΠϒϥϦͳͲ Topics 41

42. ECSͷdeployʹecspressoಋೖ • github.com/kayac/ecspresso • ecs-deploy͔Β৐Γ׵͑ • ৐Γ׵͑ઌͱͯͪ͠ΐ͏ͲΑ͔ͬͨ • طଘͷTask DefinitionΛར༻ͯͦ͠ͷ··γʔϜϨεʹ

    ҠߦՄೳ • binaryΛrepoʹಥͬࠐΜͰCircleCI͔Βdeploy

43. ECS Task Definition͕reviewableʹ • Task΁ͷαΠυΧʔ௥Ճ΍ύϥϝʔλʔมߋ͕reviewable ʹͳͬͨͷ͸ྑ͔ͬͨ

44. ECS Scheduled Task؅ཧͷͨΊͷπʔϧecschedule • github.com/Songmu/ecschedule • όονྨ͸ɺECSͷScheduled TaskΛར༻͍ͯ͠Δ͕ͦ ΕΛόʔδϣϯ؅ཧ͍ͨ͠ͱ͍͏ಈػ

45. github.com/natureglobal/firequeue • Amazon Kinesis Data Firehose΁ͷૹ৴ࣦഊ࣌ͷϦτϥΠ • ΠϯϝϞϦΩϡʔͳͷͰشൃͷՄೳੑ͸͋Δ • ͦ͜͸ׂΓ੾Γ

    • Ұ෦ͷϩάΛGoͷΞϓϦ͔ΒKinesis Data Firehoseʹ௚઀ ౤͍͛ͯΔͨΊ • ϩάίϨΫλܦ༝Ͱ͸ͳ͍(ཱ͍ͯͯͳ͍) • ͦ͜ͷૹ৴ͷ࣮֬ੑΛ্͛ΔͨΊʹϥΠϒϥϦ࡞੒

46. ࠓޙͷ՝୊ 46

47. IoTػثଆͷ՝୊ • Observabilityͷ޲্ • ໰୊ղܾ࣌ͷ੾Γ෼͚͕೉͍͠ • ΤοδଆͰͷ੍ޚ • ػثͰ΋Ͱ͖Δ͜ͱΛ૿΍͍ͨ͠ •

    ػثଆͷεϖοΫΞοϓؚΊͯ

48. ·ͱΊ 48

49. Nature Remoͷཪଆ • サーバーサイドはほぼ全てGo • 実は割と普通のWeb技術を使って実現している • インフラはAWSに寄せているし、もっと寄せていきたい • 本質的なサービス開発に注⼒したい

    • IoT機器側でのエッジコンピューティング • Observability向上 • 機械学習

50. We are Hiring! ੵۃ࠾༻தͰ͢ʂ • όοΫΤϯυΤϯδχΞ • εϚʔτϑΥϯΤϯδχΞ • ػցֶशΤϯδχΞ

    • ૊ΈࠐΈΤϯδχΞ