回首過去_看_KKBOX_怎麼走搜尋音樂這條路.pdf

Transcript

1. 回首過去 看 KKBOX 怎麼走搜尋音樂這條路 Eason Chen 2018/08/11
2. Agenda • 現況 • 使用者體驗改善 • 機器配置 • 系統升級 • 監控平台 • 踩坑全記錄
4. 欸，有沒有免費帳號來一下？
5. KKBOX 不就播歌而已 你在裡面做什麼？
6. $149起
7. 你們號稱有 4000 萬首歌曲 為什麼找不到這首？
8. KKBOX 有哪些地方用到搜尋？
13. CMS 後台
14. KKBOX Open API
17. https://www.kube-app.com
21. 音樂曲庫資料量 • 4000 萬首歌曲 • 700 萬張專輯 • 200 萬位歌手 • 900 萬張歌單
22. 如何提供 快穩準 的音樂搜尋
23. 在 2014 年開始使用 Elasticsearch
24. 比較 Solr 和 Elasticsearch Solr 3.5 Elasticsearch 1.6 架構 Master-Slave Cluster 配置 需要預先在 XML 檔案設定 直接透過 RESTful API 設定 功能 著重於文本搜尋 也支援資料分析 社群 發展成熟 成長中
25. 還是老闆的一句話
26. 使用
27. MeCab 支援日文搜尋 • 問題：日本習慣輸入羅馬拼音搜尋歌手 • 解決方案 ◦ 漢字 => 五十音 => 羅馬拼音 ◦ 字典：Mecab-ipadic-neologd
28. OpenCC 支援繁簡轉換 • 問題：星馬地區習慣輸入簡體 • 解決方案 ◦ 一律轉為台灣繁體
29. 容錯搜尋處理 • 問題：英文容易拼錯 • 解決方案 ◦ Term Suggester 根據編輯距離找出和 關鍵字相近的字串 ◦ 指定 index 放在同一個 shard
30. 優化 Autocomplete 回應時間 Edge ngram Context Suggester 實做方法 周杰倫 ➔ 周、周杰、周杰倫 FST (Finite State Transducer) 實測秒數 15.85 ms 5.8 ms
31. 資料處理 小寫字母 ASCII 原型詞根 Dash 縮寫符號 表情符號 Token Filter / LIbrary lowercase asciifolding porter_stem word_delimiter emojione 案例 Mayday mayday Jóhann Jóhannsson Johann Johannsson apples apple A-Lin a lin alin grinning
33. 配置
35. Node 1 (M) Node 2 Node 2 (M) Split Brain
38. 升級
39. CI / CD • 測試不同環境的程式行為 • 自動化檢測 安裝套件 語法檢查 單元測試 整合測試 Coverage
40. 2014/06 開始使用 ES 1.6 2017/10 升級 ES 2.4 2018/03 升級 ES 5.6
41. 升級計畫 • 功能測試 • Client 平行轉換 • 壓力測試
42. 備援計畫
43. 升級效益 • CPU 使用量減少 25% • JVM 最大值從 31G 下降到 24G • API 平均回應時間從 222ms 下降到 192ms • Index 更新時間縮短 33%
44. 為什麼沒有繼續往上升到 6.x？
45. 監控
46. Munin
47. Munin to Kibana Munin Kibana + Marvel 性能指標豐富 勝 介面操作容易 勝 資料來源穩定 勝
48. Kibana vs Grafana Kibana Grafana 資料來源 Elasticsearch Prometheus + Elasticsearch Exporter
49. Grafana - Template 功能
53. https://grafana.com/dashboards/7259
54. https://github.com/KKBOX/grafana-elasticsearch-dashboard
55. 踩坑全記錄
56. 12:47 Server 5 沒有回應 Cluster Health 亮紅燈 12:48 Server 5 離開 Cluster Shard 重新分配 Server 4 接手歌單 Shard Server 4 忙碌到沒有回應 12:49 Server 4 離開 Cluster Shard 再度重新分配
57. 事發當下 Server 5 的 Swap 變化 隔天 Server 1 短暫離開 Cluster 的 Swap 變化 Swap Issue
58. Swap Issue • 解決方案 ◦ vm.swappiness 設為 0 ◦ unmount swap partition
59. • 問題：某些機器 CPU 使用率特別高 • 追蹤：跟索引文件的分配方式有關 • 解決方案 ◦ 人工 Sharding 介入調整 ◦ 重構歌曲和歌單的 Query 機器負載分布不均
60. 搜尋效能下降 • 問題：機器運行一段時間後，搜尋效能下降 • 追蹤 ◦ GC 的花費時間，隨著 JVM 運行越久而不斷上升 ◦ Groovy 有 Memory Leak Issue
63. Q & A
64. 強大的應用來自背後偉大的資料！ KKBOX Open API 為什麼讓開發者紛紛入坑？ 快快掃， 別錯過！
65. 101 國際會議廳 門口 講 台 門口 展覽Ａ區 校園側門 (入口2) 基隆路 大門 (入口1)
66. THANK YOU