【Star Rocket x PHP】PHP 也有 Day #39 - 爭什麼，PHP ＋ ETL ＋ Serverless 摻在一起做成撒尿牛丸啊

【 簡報單元 】

1. 接手推播系統

1-1. 敘述原推播系統為何花費這麼久時間發送推播
1-2. 推播問題對公司客戶不好的影響

2. 架構設計及雲端實作

2-1. 在重新規劃系統的過程中，考慮公司自架伺服器與雲端的成本
2-2. 如何運用公司現有資料與雲端架構的結合

3. 加強優化及搭配更多的推播模式

3-1. 區域備援，可隨時切換不同 REGION 發送推播
3-2. 個人化資訊推播，搭配 API Gateway

---

【 簡報檔案由分享者 CC 授權 】
范建銘 ／ 工程師

---
【 PHP 也有 Day 】
https://www.facebook.com/groups/849639948396465/

【 Star Rocket 粉絲專頁】
https://www.facebook.com/starrocket.io/

Transcript

1. 爭什什麼，PHP ＋ ETL ＋ Serverless 摻在⼀一起做成撒尿尿⽜牛丸啊 PHP 也有 Day #39
2. 團隊介紹 • 林林韵馨 • 范建銘
3. 「 女⼒力力時代的來來臨臨， 女性⼯工程師更更細⼼心。」
4. ABOUT ME • 2008~2009 JAVA信⽤用卡M-FES • 2010~2016 PHP 業績計算 • 2012~ PHP ⾦金金流串串接 • 2016~ open source 內部系統使⽤用 • 2017~ AWS Serverless 推播系統
5. 「 沒有最好的程式語⾔言， 只有最適合的程式語⾔言。」
6. 為什什麼要重做推播系統？ 「 事情有兩兩種： ⼀一種叫⼲干我屁事，⼀一種叫⼲干你屁事。」 「 解決問題前，先釐清問題」
7. 多台主機每⼗十秒Query MySQL SELECT UPDATE 互搶造成 Table Lock 八台主機 tomcat 常常掛點 ⼀一則推播⼀一百萬筆資料 ⼀一天八則推播 甲ＡＰＰX4 ⼄乙ＡＰＰX2 丙ＡＰＰX2
8. 非資訊問題點 • 22：00要發送推播，24:00才收到 • 限時活動通知 • 收到活動都過期了了！！看了了更更火⼤大！！ • 業績不好算你頭上！
9. ⽬目標： • 1. 發送的⾏行行動裝置數有近百萬 • 2. 推播要發的快！ • 3. 隨時改推播內容
10. 「 先處理理最困難的事， 先解決掉最困難的⼯工作， 再做簡單的。」 要先解決如何讓百萬隻⼿手機同時收到推播 ！
11. • 第⼀一步：架構？ • 機房架主機 • 主機全搬到雲端 • 第⼆二步：語⾔言？ • ＪＡＶＡ • ＰＨＰ • 走兩兩步就能解決⽬目標嗎？
12. –ＳＲＥ社群前輩 「 抓⼀一隻老鼠是⼀一件事， 抓⼀一千隻老鼠⼜又是另⼀一件事。」 「 任何系統只要流量量乘以⼗十倍 什什麼都不⼀一樣了了。」 –公司前輩
13. ⾃架伺服器 雲端架構 架構 機海海戰術架構 ServerLess架構 擴充 無限加機器 免煩惱 速度 1分鐘發送1500筆推播 四台主機專⾨發送 ⼤約花費三⼩時發送完畢 AWS Partner 告知 ＳＮＳ 1分鐘能發完百萬 成本 10台主機 主機折舊＋機房維運＋⼈⼒成 本 2台本地主機(HA) SNS: 100萬則推播 $1 USD Lambda:1個⽉不到＄1 USD S3:1個⽉⼤約＄3 USD CloudWatch:1個⽉$100 USD API Gateway:1個⽉$1 USD 1個⽉約台幣＄1萬
14. • 出處：http://docs.aws.amazon.com/lambda/latest/dg/with-s3.html
15. SUB ARN APP ARN
16. 使⽤用Serverless要先了了解其功能與限制
18. TOPIC Events 推播⽂文案 SNS
19. Token資訊＋ 推播⽂文案 找出ARN資訊 API Endpoint SNS
21. 多REGION備援 • Token資訊 Tokyo California Sydney
22. –ＡＷＳ社群前輩 「 雲端的架構好不好？ 看帳單就知道！」
23. 發送百萬裝置問題解決了了 ！ ！ 推播格式........@@? 抱歉！沒⼈人知道格式.....
24. –ＷＴＦ 「 逆向⼯工程很重要，反組譯JAVA JAR檔。」 解決ＡＰＰ接收推播格式
 解決ＧＣＭ推播⾦金金鑰到底是哪⼀一個
25. –社群前輩 「 開會討論結果如果無法變成內部的 KM， 就是另⼀一種垃圾。」
26. 「 等等～都第28⾴頁了了還沒講到撒尿尿⽜牛丸呀？」 「 撒尿尿⽜牛丸其實就是雲下雲上的串串連！」
27. PHP（雲下） Serverless（雲上） ETL（雲上雲下資料溝通）
28. utf8mb4 ＭＶＣ
29. • 開源不是免費 • 為了了讓世界更更美好 • 尊重創作者權利利 「 開源精神！」
30. Extract, Transform, Load (ETL) Extract(萃取) Transform(轉置) Load(載入)
32. http://robertbui.com/2009/10/kettle-cuts-80-off-data-extraction- transformation-and-loading/
33. 資料庫 ＡＷＳ Ｓ3 撈資料＋切細⼩小檔 上傳⼩小檔＋控制等待時間 等時間 CLI撈發送結果
34. https://ithelp.ithome.com.tw/articles/10186258 shell script curl or AWS cli ＡＷＳ
35. ＣＰ值超⾼高
36. 賴福 爹摩 ＬＩＶＥ ＤＥＭＯ 魔咒
37. –范建銘 「有⼀一好沒兩兩好！」
38. • 沒ＣＩＣＤ • 沒網路路就ＧＧ • 職代難找 • ＧＣＭ廢除危機
39. –AWS SA Pahud 「 Be a builder, not a coder。」