GrafanaのVariablesとData linkを使ってインタラクティブなダッシュボードを作る

Grafana Meetup Japan#4のLT3の資料です。
「GrafanaのVariablesとData linkを使ってインタラクティブなダッシュボードを作る」
Variablesと自ダッシュボードへのData Linkを組み合わせると、画面遷移無しに動的に表示内容を変更できるダッシュボードを作れます。「機械学習による不良画像モード分類のモデル評価（混同行列など）」のダッシュボードを作りましたので、ユースケースとして紹介します。混同行列（Tableパネル）のセルをクリックして詳細データを確認したり、該当画像を表示することができます。

Transcript

1. VariablesとData linkを使ってインタラクティブな ダッシュボードを作る 〜 機械学習による不良画像モード分類のモデル評価（混合⾏列など）でのユースケース〜 TOPPAN株式会社 中久木秀樹 hideki.nakakuki@toppan.co.jp 2025/01/28
2. スピーカー紹介 氏名 中久木 秀樹 所属 TOPPAN株式会社 製造統括本部 製造技術センター システム開発1部 部門の役割 社内工場のスマートファクトリ化推進 自分の役割 ・データ利活⽤関連の開発 ・有⽤なツール、サービスを⾒つけて試⽤し、部内に広める 可視化︓ Metabase、Grafana Webアプリフレームワーク︓ Streamlit、NiceGUI 情報共有︓ Notion 好きなVisualization Table、Gantt Chart（プラグイン） 1
3. ダッシュボードは「気づき」のきっかけとなる。 インタラクティブに作ってユーザーが原因を探れると良い。 Grafanaにはそれを実装するための機能が⽤意されている。 今回はユースケースとして 「機械学習による不良画像モード分類のモデル評価」ダッシュボードを紹 介・デモする。 はじめに 2 なぜ、このユースケースか︖ が分かるように、まず、 「機械学習による不良画像モード分類の推論モデル開発」について、 説明します。
4. 不良画像モード分類について インライン自動検査機は不良品を排出する「選別検査機」に過ぎない。 検査機の内部データ（⽋陥座標、⽋陥サイズ等）を利⽤して不良発⽣の傾 向を解析すると、不良発⽣の前兆を⾒つけられる可能性あり。 それを⽣産設備にFBすることで「不良を作らない検査機」にしたい。 内部データの中でも特に検査画像には多くのヒントが含まれるが、そのま までは利活⽤できない。 機械学習を利⽤してFBに適したクラスに分類する。 3
5. 不良画像モード分類のモデル作成サイクル 外観検査機 不良画像収集 人手による仕分け Class A Class B Class C 検査結果 不良画像 機械学習 モデル作成 Class a Class b Class c 評価 FB（学習画像の再選定など） ・Recall ・Precision ・F1 Score 混合⾏列 推論結果DB 作成したモデル で推論 Scoreや 画像 ここで Grafana 推論モデルの出⼒︓ 推論対象画像が何れに分類するのが妥当か、Class毎にScoreを算出。 最大Scoreを推論Classとするのが基本。 4 学習⽤Data set 不良画像
6. 説明 評価指標 その不良モードを正しく推論できた割合。混同⾏列の⾏を横⽅向に⾜ し合わせた数が評価Datasetに含まれる当該不良モードの枚数（A）。 その中で、1列目が正しく推論できた枚数（B）。B/Aで計算。 Recall モデルが正と予測したサンプルのうち、実際に正であるサンプルの割 合。Recallの数字は何でもかんでもその不良モードと推論するモデル であれば1.00近くになってしまう。混同⾏列の列を縦⽅向に⾜し合わ せた数（C）がその不良モードと推論した枚数。その中で実際にその 不良モードの枚数（D）。C/Dで計算。 Precision RecallとPrecisionはトレードオフの関係にあるので、Recallと Precisionの調和平均を取って、総合的に評価する指標。2 x R x P / (R + P)で計算。 F1値 評価指標① 標準的な評価指標 5
7. 標準的な評価指標（Recall〜F1値）でモデル間の比較はできるが、 モデルを改良するために次に何をすれば良いか分からない。。。。 6 学習用にどんな画像を追加 すべきか
8. 評価指標② 混同⾏列（Confusion Matrix） d c b a 実際のClass 0 0 1 5 A 0 0 6 0 B 1 3 1 1 C 5 0 1 0 D 各クラスごとの正解数と誤分類数を⽰す⾏列 この例は A〜Dの分類に対して、 各実Class６枚ずつの画像を推論させて、 正しく分類できた件数と誤って分類した件数 を表⽰。 ←推論Class ↑ 実Class 7
9. 混同⾏列により、正解分類と誤分類の状況は把握できるが．．． ・どのような画像で正/誤分類が起きているのか、画像をすぐに⾒たい ・余裕を持って、分類が⾏われたのかScore情報も確認したい 8 Score︓ 画像を何れに分類するのが妥当かをクラス別に⽰した値で推論モデ ルから出⼒される 。 最大Scoreを推論Classとするのが基本。
10. 評価指標③ 個別画像とScoreの確認 個別の画像と全Scoreを確認して分類の余裕度を⾒る。 余裕を持って分類 1位、2位逆転可能性あり 9
11. 評価指標④ Score分布 画像毎でなく、特定のクラスの全画像のScore分布を表⽰→全体の姿が⾒える 10 ほぼ正確に分類 誤分類が多い 赤枠が実Class
12. 作成したGrafanaダッシュボードの紹介 11 ← ①Recall Precision F1値 ← ②混同⾏列 ← ③不良画像と詳細データ ← ④Score分布
13. 混同⾏列パネルと他パネルの連携 混同⾏列パネルの各セルをクリックすると詳細データパネル表⽰が更新 ①数字をクリック ②表示対象が変わる 12
14. 詳細データパネルと他パネルの連携 GrafanaのTable Visualizationはセル内に画像を簡単に表⽰できる︕ しかし、⾏の⾼さを変更できないので⼩さすぎるケースが多い。 ①画像をクリック ②原寸画像とScore グラフが変わる JSON形式のScore JSON形式を展開してグラフ化 →動的な原寸表⽰パネルと組み合わせる。 13
15. DEMO 14
16. どう作ったか １．データソースは1個のテーブルのみ。各パネルのQueryでデータを⽣成。 ２．混同⾏列でセルクリック時の実クラス名、推論クラス名を格納するため や、詳細データパネルで画像クリック時の画像URLを格納するための Variablesを非表⽰で⽤意。 ３．混同⾏列パネルのData link設定のリンク先URLに自ダッシュボードURL を設定し、パラメータとしてData-link-variablesを使⽤して、上記 Variablesに値を設定。 ４．詳細データパネルのQueryではWHERE句でVariablesを参照して該当レ コードだけを抽出。 ５．詳細データパネルの画像カラムにData link設定のリンク先URLに自ダッ シュボードURLを設定し、パラメータとして該当画像のURL （Variables）を設定。 ６．原寸表⽰パネルではText VisualizationでHTMLモードにてVariablesを 参照して画像を表⽰する。 15
17. 説明 データ型 フィールド名 # id Integer evaluation_his_id 1 不良画像ファイル名 character varying img_file 2 推論Class名（Scoreが最大のClass） character varying class_1st 3 推論ClassのScore値 character varying score_1st 4 推論Scoreが2番目に大きいClass character varying class_2nd 5 2番目に大きい推論ClassのScore値 character varying score_2nd 6 全ClassのScore値 jsonb score_json 7 検査日時 timestamp inspected_at 8 実Class名 character varying class_real 9 推論クラスが実Classと一致していたら1、不一致は0 integer is_correct 10 データソースのテーブル ダッシュボードで参照しているのテーブルはひとつのみ。 Queryで各パネルの表⽰データを⽣成している。 *)#1〜8は推論処理プログラムで値を格納。#9と10は人が仕分けた結果を格納。 16
18. ダッシュボードのVariables設定 ４つのVariablesを設定。何れも非表⽰設定。 説明 Variables 混同行列のクリックされたセルの推論Class名を保持 v_infer_cls_click 混同行列のクリックされたセルの実Class名を保持 v_real_cls_click 詳細データのクリックされた画像のURLを保持 v_img_url 詳細データのクリックされた画像の番号を保持 V_img_no 17 *)よくあるVariablesの使い ⽅ではユーザーがドロップダ ウンリスト等で選択した値が セットされるが、 後述のData-link-variablesを 使⽤するので、非表⽰、初期 値設定も無し。
19. SELECT 'AL' AS class_real, coalesce(SUM(CASE WHEN class_1st='angle_left' THEN 1 ELSE 0 END),0) AS angle_left, coalesce(SUM(CASE WHEN class_1st='angle_right' THEN 1 ELSE 0 END),0) AS angle_right, ・ ・ coalesce(SUM(CASE WHEN class_1st='short' THEN 1 ELSE 0 END),0) AS short, coalesce(SUM(CASE WHEN class_1st='vertical' THEN 1 ELSE 0 END),0) AS vertical, SUM(CASE WHEN class_1st='angle_left' THEN 1 ELSE 0 END)::real / count(*) AS recall FROM t_eva_his_takino WHERE class_real='AL' AND $__timeFilter(inspected_at) UNION ALL SELECT 'AR' AS class_real, coalesce(SUM(CASE WHEN class_1st='angle_left' THEN 1 ELSE 0 END),0) AS angle_left, coalesce(SUM(CASE WHEN class_1st='angle_right' THEN 1 ELSE 0 END),0) AS angle_right, ・ ・ 混同⾏列パネルのQuery 1⾏目（AL）のデータ⽣成 2⾏目（AR）のデータ⽣成 ・ ・ UNION ALLで連結 1⾏ごとに条件に合う件数をカウントしてUNION ALLで連結して⽣成。 18
20. 混同⾏列パネルのData link設定 説明 設定値 Variables クリックされた行のclass_realフィールドの値を設定 ${__data.fields.class_real} v_real_cls_click クリックされたセルのフィールド名を設定 ${__field.name} v_infer_cls_click リンク先を自ダッシュボードにしてData-link-variablesをVariablesに設定。 https://grafana.com/docs/grafana/latest/panels-visualizations/configure-data-links/#data-link-variables *) Data-link-variables 19 自ダッシュボードURL TitleでもVariablesを設定し てTooltip表⽰
21. SELECT row_number() OVER(ORDER BY img_file) AS "#", img_file, concat('http://xxxxx/xxx/', '20', LEFT(img_file,4),'/', img_file) AS img, class_real, class_1st, score_1st, class_2nd, score_2nd, score_json jsonb FROM t_eva_his_takino WHERE class_real='${v_real_cls_click}' AND (class_1st='${v_infer_cls_click}' OR '${v_infer_cls_click}'='*') AND $__timeFilter(inspected_at) 詳細データパネルのQuery WHERE句でVariablesを参照することで、表⽰を動的に変更している。 DBにはファイル名 のみ格納してある。 URLベースと連結 して画像のURLを ⽣成。 ⾏番号を⽣成 20 Variablesを参照
22. 詳細データパネルの画像カラムへのData link設定 説明 設定値 Variables 元のVariablesの値をそのまま設定 ${v_infer_cls_click} v_infer_cls_click 元のVariablesの値をそのまま設定 ${v_infer_cls_click} v_real_cls_click クリックされた画像のURLを設定 ${__data.fields.img} v_img_url クリックされた画像の番号を設定 ${__data.fields.#} v_img_no https://grafana.com/docs/grafana/latest/panels-visualizations/configure-data-links/#data-link-variables リンク先を自ダッシュボードにしてData-link-variablesをVariablesに設定 *) Data-link-variables 21 自ダッシュボードURL
23. <a href="${v_img_url}" target="_blank"><img src="${v_img_url}"></a> 原寸画像パネルのVisualization設定 Visualizationを 使⽤しHTMLモードで画像 表⽰と別タブで開くリンク を設定。 Variablesを参照することで 動的な表⽰が可能。 使⽤しなくても動的な画像表⽰ が可能 プラグインを 22
24. Score分布パネルのQuery クラス毎に赤色マーキング部を変えたQueryのパネルを並べている。 23 WITH j AS( SELECT cast(score_json -> 'angle_left' AS real) AS angle_left_sc FROM t_eva_his_takino WHERE class_real='${v_real_cls_click}' AND (class_1st='${v_infer_cls_click}' OR '${v_infer_cls_click}'='*')), a AS( SELECT width_bucket(angle_left_sc, 0, 100, 10) AS rnk FROM j ), b AS ( SELECT cast(GENERATE_SERIES(0, 90,10) AS character varying) AS score, 0 AS cnt UNION SELECT cast((rnk-1)*10 AS character varying) AS score, count(rnk) FROM a GROUP BY rnk ) SELECT score, sum(cnt) AS "CNT" FROM b GROUP BY score ORDER BY score *) width_bucketはヒストグラム作成に使える PostgreSQLの算術演算関数 Variablesを参照 データが存在しないScore範囲も含めて、0から90までの10刻みのScore範囲を全て網羅するため
25. 参考︓ 環境︓ Grafanaバージョン︓ v8.02 データベース︓ PostgrSQL v16.1 24 ダッシュボード作成時の参考になるサイト︓ AWSの動画︓ https://www.youtube.com/watch?v=6rdwOxX7c8o ゆずたそさんの風⾳屋さんのブログ︓ https://techblog.kazaneya.com/20241208-design-of-analytical-sql-queries/