Cloud IoT Core as Log Aggregation Gateway

GDG 信州 / GCPUG 信州　新春勉強会

Transcript

1. Cloud IoT Core as Log Aggregation Gateway @sakajunquality 2019.01.19 GDG/GCPUG Shinshu
2. Cloud IoT Core as Log Aggregation Gateway + α @sakajunquality 2019.01.19 GDG/GCPUG Shinshu
3. Agenda - About me - Cloud IoT & Log Aggregation - (おまけ)Kubernetes at Edge
4. About me
5. About me Jun Sakata - ID: @sakajunquality - Google Developers Expert, GCP - SWE, Reliability @Ubie, Inc.
6. @sakajunquality - 最近やってること - #docker #kubernetes - よく使うGCPプロダクト - #GKE #Cloud Build #BigQuery - 好きなこと - #Photograph #Beer #Coffee
7. @sakajunquality - 最近やってること - #docker #kubernetes - よく使うGCPプロダクト - #GKE #Cloud Build #BigQuery - 好きなこと - #Photograph #Beer #Coffee => IoT 詳しくない!!
8. @sakajunquality - 最近やってること - #docker #kubernetes - よく使うGCPプロダクト - #GKE #Cloud Build #BigQuery - 好きなこと - #Photograph #Beer #Coffee => IoT 詳しくない!! => ちなみに長野はn回目! ( 3<n<5 )
9. Cloud IoT Core & Log Aggregation
10. (前職の事例のため具体的なプロダクト名は伏せま す。ざっくりDAU数十万人のtoCサービスです。)
11. Sending Logs
12. Logs from Smartphone App ユーザーの行動データ e.g. クリックやスクロールなど
13. How to send log? - From Server-Side - From Client-Side
14. How to send log? - From Server-Side - バックエンドのAPIサーバーなどへのリクエストをベースにロギング - 通信は少ないが、行動が詳細にわからない
15. How to send log? - From Server-Side - From Client-Side
16. How to send log? - From Client-Side - バックエンドのAPIサーバーなどとは別にクライアントサイドからログを送る - 通信が増えるかもしれないが、詳細なログが取得可能
17. How to send log? - From Client-Side Several things to consider... - Storage - Endpoint - Protocol
18. How to send log? - From Client-Side Several things to consider... - Storage - Endpoint - Protocol
19. Storage
20. BigQuery - みんな大好きBigQuery - データの種類にもよると思うが汎用的に使える - スケールを考えるとBigQueryにデータを貯めるのが楽
21. How to send log? - From Client-Side Several things to consider... - Storage - Endpoint - Protocol
22. Endpoint
23. Endpoint Serverless VM/Container
24. Endpoint Serverless VM/Container Cloud Pub/Sub Cloud Functions GAE GCE GKE
25. Cloud IoT Core as Endpoint
26. Cloud IoT Core ログの受け口とすることで・・・ - ログを受けるアプリケーションの実装が不要 - スケーラブルなマネージドのインフラが利用可能
27. How to send log? - From Client-Side Several things to consider... - Storage - Endpoint API - Protocol
28. Protocols Several protocols... - HTTP - MQTT - AMQP - Websocket? - Protobuf?
29. Protocols Cloud IoT Core supports... - HTTP - MQTT - AMQP - Websocket? - Protobuf?
30. MQTT - 軽量なプロトコル - Pub/Sub型 MQ - Use Case: FB Messenger
31. MQTT over Websocket - Webのフロントから直接通信する場合は、 httpで通信する必要があるので - websocket(over http)で使うことが必要 - 現時点ではCloud IoT Coreでは対応して内が、httpとして送ることができる
32. Processing Logs
33. Processing Logs - Cloud IoT Core に飛ばしたログをDWH (今回はBigQuery) に飛ばす
34. Processing Logs 具体的には、 - Cloud IoT Core to Cloud Pub/Sub - Cloud Pub/Sub to BigQuery via Cloud Dataflow
35. Cloud IoT Core to Cloud Pub/Sub - Cloud IoT Coreのログは Cloud Pub/Sub に送られる - セットアップする際にdevice(デバイス管理用)/telemetry(ログ受取用) のトピックを求められる
36. Why not sending directly to Cloud Pub/Sub? - Cloud IoT Coreだと ProtocolとしてMQTTが使える - Cloud Pub/Sub だとクライアントでの認証認可がめんどくさい
37. Cloud Pub/Sub to BigQuery - Cloud Dataflow を使用して、BigQueryにデータを挿入する - Telemetryのトピックに対してSubscriptionを追加
38. Cloud Dataflow - Apache Beamをベースとしたログパイプラインのプラットフォーム - SDKはJava / Python - Batch + Stream => Beam - 便利なライブラリもある - https://github.com/spotify/scio
39. Cloud Pub/Sub to Cloud Storage - スキーマ変更時にDataflowを壊してログが欠損しないように Cloud Storageに生ログの保存 - Cloud Pub/Sub は複数のSubscriptionを作れる - GCSに上げるだけだと Cloud Dataflowも公式テンプレートを使える
40. Final Architecture
41. Architecture: Before ホントはfluentdが あったりごちゃご ちゃ
42. Architecture: After 一部サーバーサイド から送ってるログも Dataflow経由に変 更
43. Troubles? - Cloud IoT Coreのデバイス数の上限に達した - ユーザーのデバイス (iOS/Android)ごとにIoTデバイスを登録していた - 上限緩和申請 - 適切に使われてないデバイスは削除する - まとめて消すAPIがなかった（当時） - Webからは MQTT で送れない - 安定したライブラリがない？ - フロントでJWTを扱うのがめんどくさい - Over Websocketが使えない (GAEでブローカーを作る？ ) - 一旦httpで送る
44. Troubles? - Pub/Subのトピックは消えないけど、使用していないとサブスクリプションは自動で消えるので注意
45. Takeaways - 本来は双方向で通信しデバイスを管理するためだが単方向のみにも使える - IoT というよりも MQTT という軽量プロトコルを簡単に使える - ログの収集としては少し too muchかも知れないが技術的には面白かった - Cloud IoT Core, Cloud Pub/Sub, Cloud Dataflow, BigQuery すべてスケーラブル
46. Kubernetes at Edge ~from KubeCon 2018 NA~
47. Kubernetes - GoogleのBorgをベースとしたコンテナオーケストレーションの OSS - KubernetesのマネージドサービスがGKE
48. https://twitter.com/superbrothers/status/1060468439091822592
49. Kubernetes at Edge - Kubernetes IoT Edge Working Group - Recap from KubeCon 2018 NA - KubeCon - IoT Edge Working Group Intro & Deep Dive - Use Case: Chick-fil-A
50. Kubernetes at Edge - Kubernetes IoT Edge Working Group - Recap from KubeCon 2018 NA - KubeCon - IoT Edge Working Group Intro & Deep Dive - Use Case: Chick-fil-A
51. Kubernetes IoT Edge Working Group - IoT と EdgeでのKubernetesの活用を話し合うグループ - ２週１でオンラインミーティング
52. https://github.com/kubernetes/community/tree/master/wg-iot-edge
53. Kubernetes IoT Edge Working Group 実際のIoT環境での構築や、検証(PoC)、改善などを話し合っている
54. White Paper: IoT and Edge computing with Kubernetes http://bit.ly/iot-edge-whitepaper - クラウドネイティブなパラダイムでエッジでも Kubernetesを使えるようにしたい
55. Kubernetes at Edge - Kubernetes IoT Edge Working Group - Recap from KubeCon 2018 NA - KubeCon - IoT Edge Working Group Intro & Deep Dive - Use Case: Chick-fil-A
56. KubeCon - Officially, “KubeCon + CloudNativeCon” - 年3回: EU/China/NA - Kubernetes / Cloud Native app & developmentなどについて - IoTに関するセッションが2つ
57. KubeCon - YouTubeに全セッションが上がってるので映像で確認できます - (自分のセッションも・・・)
58. IoT Edge Working Group Intro & Deep Dive IoT Edge WG Session - Intro: Kubernetes IoT Edge WG - https://sched.co/HSBb - Deep Dive: Kubernetes IoT Edge WG - https://sched.co/HSCE
59. Intro: Kubernetes IoT Edge WG
60. Intro - https://sched.co/HSBb - パネルディスカッション形式でワーキンググループの説明など
61. Deep Dive: Kubernetes IoT Edge WG
62. Deep Dive - https://sched.co/HSCE - Introと同じメンバーでのセッション - もう少し技術的詳細について
63. Why Edge? Data Pre-Processing - Network Cost - Latency / Bandwidth - Data Policy - e.g. GDPR
64. KubeEdge - https://github.com/kubeedge/kubeedge
65. KubeEdge - Kubernetesのクラスター自体はクラウド上 - Edgeのノードをクラウドのクラスターの CRDで管理？ - EdgeのデバイスとEdgeのノードが通信
66. Use Case: Chick-fil-A - https://sched.co/GrXv - セッション自体はKubernetesのGitOpsについ て - アメリカのチキンサンド店の店舗に Kubernetes のクラスターを置いてる話 - 結構美味しそう (https://www.chick-fil-a.com/)
67. Use Case: Chick-fil-A - とにかくトランザクションが多い
68. Use Case: Chick-fil-A - このような Kubernetes のクラスターを各店舗 に設置
69. Use Case: Chick-fil-A - 結果として相当量のMQTTのメッセージを扱っ ている
70. Takeaways - KubernetesもEdgeでの利用も広がりそう！ - TPU Edgeと組み合わせられると面白そう！ - GKE + Cloud IoT Core + KubeEdge + TPU Edge みたいなのを試すと楽しそう