BigQueryのfederated queriesを用いた GrafanaでのDatabaseの可視化

Transcript

1. BigQueryのfederated queriesを用いた GrafanaでのDatabaseの可視化 Kohei Haneda クラウドエース株式会社　DevSecOps事業部
2. Agenda 自己紹介 解決方法 実装 まとめ 課題 背景
3. Haneda Kohei 
 クラウドエース株式会社　DevSecOps事業部 
 
 自社開発しているサービスの動向や事業部の目標を 
 Grafanaで可視化しています。 
 Grafana 歴は2,3ヶ月です。 
 
 年に12回はディズニーに訪れる 
 ディズニーをこよなく愛するエンジニアです。 
 スピーダーで来たわけじゃないです 自己紹介
4. GrafanaでRelational Database (以下RDB )を可視化する 
 背景
 方法 • GrafanaでPostgreSQLをDatasourceとして選択する
5. 課題
 Google CloudのマネージドRDBでの接続 
 マネージド RDBをDatasourceにする際の問題点 • Grafana内のDatasourceの数が増え管理が煩雑になる • 高度なクエリはBigQueryに比べると単純なクエリしかできない • 通信の接続を許可しなければいけない 可視化する Datasourceが増えれば増えるほど 管理が大変になるのでは....
6. 解決方法
 BigQueryのfederated queriesによるCloud SQLへの接続 
 federated queriesとは • 複数の独立したデータベースやデータソースに対して、 あたかも単一のデータベースであるかのようにクエリを実行できる技術 Google CloudのBigQueryにおけるfederated queriesとは • BigQueryのストレージにデータをロードすることなく、 外部のデータソースに対して直接クエリを実行できる機能
7. 解決方法
 BigQueryのfederated queriesによるCloud SQLへの接続 
 BigQueryをDatasourceとして選択し、 federated queriesをする - Grafana内のDatasourceの数は増えないため管理が簡素化する - Grafana内の接続方法も簡単 - 高度なクエリが可能 BigQuery エクスプローラー ① ② ③
8. 実装 Redmineのチケットの可視化の構成 

9. 実装 Redmine のチケットの可視化 
 select * from EXTERNAL_QUERY( '{projectID}.asia-northeast1.redmine', ''' select BigQuery関数 EXTERNAL_QUERY( - 外部のデータベースに直接 SQLクエリする BigQuery関数 接続方法 {projectID}.asia-northeast1.redmine - BigQueryに記載されている接続先に projectID を加えるだけ
10. まとめ BigQuery の federated queries を用いた Grafana での Database の可視化 
 • BigQueryの外部接続 ◦ 多様なデータソースへ接続が可能 ◦ GrafanaのDatasourceの管理の簡素化 ◦ BigQuery / Grafana共に接続方法が簡単 • federated queries の利用 ◦ データ移動の不要化 ◦ 分析の迅速化 BigQueryのfederated queriesを利用して可視化することで Grafanaの管理が簡素化する！
11. Thank you.