OpenSearchのデータを Grafanaで可視化して、 自由の翼を授ける

Transcript

1. OpenSearchのデータを Grafanaで可視化して、 ⾃由の翼を授ける PHPerKaigi2025 Day1 #TrackB
2. ⾃⼰紹介 名前：Katsu 所属企業：株式会社ウィルゲート 所属チーム：インフラチーム 趣味：ゲーム、読書 PHPerKaigiに初参加初登壇 PHPは趣味で書く
3. 皆さんに質問です
4. 翼欲しいですか？
5. 欲しいですよね？
6. 今回は翼を授ける話です
7. ⽬次 1. 導⼊ 2. アポトルの概要 3. OpenSearchの概要 4. Grafanaの概要 5. 技術選定の理由 6. Grafanaの設定 7. 苦労した点 8. 注意する点 9. 設定した結果
8. ⽬次 1. 導⼊
9. 新規技術を採⽤するとき思いがちな 「可視化するのだるい... 」 大事なのは分かるけど ... コストあまりかけたくない
10. ある⽇採⽤した新規技術を可視化することになった
11. 今回可視化する対象は 「OpenSearch」 ドーモ。OpenSearch=サン。
12. 実際のプロダクトをもとに説明
13. 宣伝
14. ⽬次 1. 導⼊ 2. アポトルの概要
15. アポトルの概要 • BtoB セールスツールで、あらゆる機能が「企業を検索する」こと に関連
16. アポトルの概要 • 企業名や事業‧サービス内容のフリーテキスト検索、業種や所在 地を選択しての検索、従業員数や売上⾼などの数値の範囲検索を ⾃由に組み合わせて検索
17. アポトルの概要 • ⽇本で法⼈番号を持つ法⼈は約 500 万件の企業が存在
18. アポトルの概要 • 企業ごとにキーマン情報を取得
19. リリース当時のアポトルの課題
20. アポトルの課題 • 検索条件に対応する値をカラムとして持つ 1 つのテーブルに対し て、 MySQLでAND や OR でつなげて検索するイメージ • 検索条件の組み合わせの最もひどいケースではMySQLサーバーか らレスポンスに 9 分近くかかる
21. OpenSearchを導⼊した理由は 「検索」が遅かったから うわっ…企業の検索、遅 すぎ…？
22. ⽬次 1. 導⼊ 2. アポトルの概要 3. OpenSearchの概要
23. OpenSearchって何？
24. OpenSearchとは 「検索を速くする技術」
25. 導⼊した結果は‧‧‧ 「10倍速くなった！」
26. 導⼊結果 • 画⾯上で 1 つの条件を指定し「検索」ボタンをクリックしてから 結果が表⽰されるまでの時間が13 秒から1 秒に短縮された • 他にも数分間かかる複雑な条件の組み合わせが、1 秒強以内にな り、検索速度が全体的に少なくとも10倍になった 13秒 1秒
27. ブログ • 詳細はテックブログを参照してください 参考資料 ：https://tech.willgate.co.jp/entry/2024/12/07/090000
28. OpenSearchの構成 • Amazon OpenSearch Service でOpenSearchの環境を構築
29. OpenSearchの構成 • セキュリティ⾯を考慮し、VPCドメイン(VPC内でのみアクセス可 能)で設定したため、踏み台経由でアクセスしていた
30. Grafanaの導⼊経緯 • プロダクトのセキュリティも担保し、パフォーマンスは上がった 開発チーム おっ、やったか！？ よし、勝ったな 
 風呂入ってくる 

31. Grafanaの導⼊経緯 • 営業チームが欲しいデータを直接DBから抽出していたり、 OpenSearchに直接クエリ叩いて抽出していた N回
32. Grafanaの導⼊経緯 • 運⽤⾯の負担が開発チームに重くのしかかっていた 開発チーム
33. ⽬次 1. 導⼊ 2. アポトルの概要 3. OpenSearchの概要 4. Grafanaの概要
34. Grafanaって何？
35. Grafanaとは 「データ可視化ツール」
36. Grafanaの導⼊経緯 • プロダクトの監視でGrafanaを利⽤していた
37. 構成図
38. ⽬次 1. 導⼊ 2. アポトルの概要 3. OpenSearchの概要 4. Grafanaの概要 5. 技術選定の理由
39. 技術選定 機能 可⽤性 セキュリティ コスト 標準のダッシュボード ◎ ◎ △ △ Amazon Managed Grafana 〇 ◎ 〇 × Grafana 〇 △ 〇 ◎
40. 技術選定 機能 可⽤性 セキュリティ コスト 標準のダッシュボード ◎ ◎ △ △ Amazon Managed Grafana 〇 ◎ 〇 × Grafana 〇 △ 〇 ◎
41. 標準のダッシュボードの特徴 メリット • OpenSearchにクエリを投げる、モニタリングする、データをバッ クアップする、権限を管理するなど幅広い操作が可能 • Amazon OpenSearch Serviceの場合、クラスターを作成した時点 で利⽤可能
42. 標準のダッシュボードの特徴 デメリット • 機能が多すぎることで学習コストと運⽤コストが⾼い • インフラ⾯での管理コストは低いが、権限設定や学習コストの⾼ さで、アプリケーション⾯の管理コストが⾼くなる
43. 標準のダッシュボードのユースケース ユースケース • 基本的には標準のダッシュボードがおすすめ • OpenSearchへのアクセスが容易 • 操作する⼈が開発チームのみなど限られている ◦ 権限設定などで考慮する点が少なくなる
44. 技術選定 機能 可⽤性 セキュリティ コスト 標準のダッシュボード ◎ ◎ △ △ Amazon Managed Grafana 〇 ◎ 〇 × Grafana 〇 △ 〇 ◎
45. Amazon Managed Grafanaの特徴 メリット • マネージドサービスなのでサーバーを管理する必要が無く、管理 コストと運⽤コストは低い • OpenSearchのネットワークの設定やセキュリティ⾯を考慮しなく て良い • 既にGrafanaを運⽤している場合、学習コストが低い
46. Amazon Managed Grafanaの特徴 デメリット • ⾃前のGrafanaよりサービス分のコストが⾼い • インフラ⾯のセキュリティリスクは低いが、アプリケーション⾯の セキュリティリスクは⾃前のGrafanaと同じ
47. Amazon Managed Grafanaのユースケース ユースケース • インフラコストが増えても運⽤コストや管理コストを低くしたい • OpenSearchのセキュリティ⾯を厳しく設定している
48. 技術選定 機能 可⽤性 セキュリティ コスト 標準のダッシュボード ◎ ◎ △ △ Amazon Managed Grafana 〇 ◎ 〇 × Grafana 〇 △ 〇 ◎
49. Grafanaの特徴 メリット • AWS以外の環境でも使え、移⾏しやすい • 既にGrafanaを運⽤している場合、学習コストが低い • サーバーを管理する運⽤コストは⾼いが、サービス分のコストが 低い
50. Grafanaの特徴 デメリット • セキュリティ⾯やネットワーク⾯を考慮する必要があるので、実装 に⼯夫が必要 • Grafanaを運⽤していない場合、コスト⾯のメリットはあまり無い
51. Grafanaののユースケース ユースケース • 既にGrafanaを運⽤している • 運⽤コストや管理コストが増えてもインフラコストを低くしたい
52. ここまでのまとめ • 特に制約が無い場合 → 標準のダッシュボードがおすすめ • 運⽤コストや管理コストを低くしたい場合 → Amazon Managed Grafanaがおすすめ • インフラコストを低くしたい場合 → Grafanaがおすすめ
53. ⽬次 1. 導⼊ 2. アポトルの概要 3. OpenSearchの概要 4. Grafanaの概要 5. 技術選定の理由 6. Grafanaの設定
54. どうやってGrafanaで可視化した？
55. 設定 参考資料 ：https://grafana.com/grafana/plugins/grafana-opensearch-datasource/
56. 設定 • 標準のダッシュボードからOpenSearchのインデックス や監視するのに欲しい項⽬を調査し、可視化
57. 設定 • 標準のダッシュボードからOpenSearchのインデックス や監視するのに欲しい項⽬を調査し、可視化 • GrafanaのOpenSearchのプラグインを利⽤
58. 設定 • 標準のダッシュボードからOpenSearchのインデックス や監視するのに欲しい項⽬を調査し、可視化 • GrafanaのOpenSearchのプラグインを利⽤ • OpenSearchのエンドポイントを指定すれば設定完了
59. ⽬次 1. 導⼊ 2. アポトルの概要 3. OpenSearchの概要 4. Grafanaの概要 5. 技術選定の理由 6. Grafanaの設定 7. 苦労した点
60. 苦労した点 • 可視化する話が出た段階でOpenSearchを知らなかった ◦ → 0からキャッチアップ • そもそも何を可視化すれば良いのかが分からなかった ◦ → サンプルデータを使って、出来る範囲を調査 • VPCドメインで作成し、アカウントもまたいでいるので、ネット ワークの疎通が難しかった ◦ → VPCエンドポイントの設定が必要になった
61. 構成図
62. ⽬次 1. 導⼊ 2. アポトルの概要 3. OpenSearchの概要 4. Grafanaの概要 5. 技術選定の理由 6. Grafanaの設定 7. 苦労した点 8. 注意する点
63. 注意点 • VPCエンドポイントを利⽤する場合、その分だけコストが増える • インデックスの構造が適切でないと正常に表⽰されない場合があ る
64. ⽬次 1. 導⼊ 2. アポトルの概要 3. OpenSearchの概要 4. Grafanaの概要 5. 技術選定の理由 6. Grafanaの設定 7. 苦労した点 8. 注意する点 9. 設定した結果
65. Grafanaを設定した結果 • 直接DBから抽出したり、OpenSearchに直接クエリ叩く必要がな くなった
66. Grafanaを設定した結果 • 厳密な権限の管理が不要なので、クエリのミスなど⼈的な事故の リスクがほぼなくなった
67. Grafanaを設定した結果 • 開発チームに重くのしかかっていた運⽤⾯の負担を取り除き、翼を 授けるに成功
68. 翼を授けることに成功！