GCPUG.TW 201611 Meetup - Pubsub簡介

This is present by myself, the organizer of GCPUG.TW. I introduce the 4 core command for create pubsub topic, subscriber and then publish and subscribe data...

Transcript

1. 玩大資料不可不知 Google PubSub簡介 Simon Su @ GCPUG.TW
2. var simon = {/** I am at GCPUG.TW **/}; simon.aboutme = 'https://developers.google.com/experts/people/peihsin-su'; simon.github = ‘https://github.com/peihsinsu'; simon.blogs = [ 'http://gappsnews.blogspot.tw', ‘http://peihsinsu.blogspot.com']; simon.slides = ‘http://slideshare.net/peihsinsu/'; simon.email = ‘simonsu.mail@gmail.com’; simon.say(‘Good luck to everybody!');
3. 大資料的時代 大資料的架構 Devices Physical or virtual servers as frontend data receiver MapReduce servers for large data transformation in batch way or streaming Strong queue service for handling large scale data injection Large scale data store for storing data and serve query workload Smart devices, IoT devices and Sensors 1M Devices 16.6K Events/sec 16.6K Events/sec 43B Events/month
4. 問題是 人 事 時 地 物
5. 概念 上手，其實沒有很難 資料很多，需要一個不會 垮的Queue... 需要有Subscriber來消化這些資料 資料抓了... 記得回覆Ack 資料很多，需要一個大儲存空間 ...
6. 三分鐘，資料上雲端
7. 建立你的
8. 建立你的
9. 資料到
10. 從 取資料
11. 處理完畢，回一下
12. 測試完了？刪除掉不必要的資源
13. 注意事項 • 由於 服務的特性是保證至少一次獨取，因此不排除 會發生最終同步前重複獨取料的問題。如果擔心這類問題 ，建議透過中介服務來擷取 資料，然後再做第二層 的分派處理。 • 由於 支援一對多的應用，如果在一個 中設定一 個以上的 時候，則每個 會收到一樣的 訊息。
14. 整合範例 Google Cloud Logging - Support write to PubSub, BigQuery and Google Cloud Storage
15. 整合範例 Google BigData Flow - Streaming data input to PubSub - Using Dataflow streaming mode to process and write to BigQuery for analysis
16. 建立自己的大資料架構