【Findy Tools AI Engineering Summit Tokyo 2025登壇資料】LLM-as-a-judgeによるAI自動監視システム

Findy Tools様主催のAI Engineering Summit Tokyo 2025のLT枠で登壇した際の試料です。

Transcript

1. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. LLM-as-a-judgeによるAI自動監視システム CCCMKホールディングス株式会社 テクノロジー戦略本部 チームAIエンジニア 三浦諒一
2. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. v v v v v v 自己紹介 三浦 諒一 CCCMKホールディングス株式会社 テクノロジー戦略本部 チーフAIエンジニア タスク AIを活用したサービスの企画・実装 趣味 ・ゲーム(ジャンルはRPG) ・ブログを書くこと
3. Copyright © Culture Convenience Club Co., Ltd. All Rights Reserved. Retail Business Customer Experience CCC Group Database Marketing Partner Communic ation Life Design SHARE LOUNGE事業、エクスペリエンスデザイン事業 ソーシャルデザイン事業、海外事業、フランチャイズ事業 蔦屋書店事業、SHIBUYA TSUTAYA、 IPプロデュース/IP事業、ウエルネス事業、スターバックス事業 パートナーシップ＆コンサルティング事業 地域創生事業 ポイント事業、データベースマーケティング事業 カスタマーバリュー事業、金融事業 カルチュア・エンタテインメントグループ、光村推古書院、Livels トネリコ、Booklive、芸文社、MOTOTECA カルチュア・インフラを、つくっていくカンパニー アートラボ事業、モビリティ・マーケティング・デザイン事業 スマートライフデザイン事業
4. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. CCCは今年9月に40周年を迎えました！
5. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. CCC40周年を記念し、創業者を人格・知識を搭載したAIサービスを公開
6. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. システム構成
7. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. システム構成 本人が執筆したブログなどを 参照データとして格納
8. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. システム構成 人格診断の結果や 話し方などを設定
9. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. システム構成 LLMを評価者として使う ”LLM-as-a-Judge” を導入
10. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. システムへの入力とシステムの出力に対するチェック観点 • プロンプトインジェクション • 難読化された入力 • ペルソナ逸脱 … など約20個の観点で評価 • 倫理性 • 企業広報としての適切性 … など、約5個の観点で評価 入力に対する チェック観点 出力に対する チェック観点 入力に対してはあらゆるケースを想定し、幅広く評価を実施 出力に対しては項目を絞り、重点的に評価を実施 各項目について評価スコアと評価理由をLLMが出力。
11. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. SNSの傾向分析 SNS(X)のAPIを使用して直近の投稿を取得。 リツイート数/リプライ数/引用ツイート数などの数値情報、 テキスト/ハッシュタグなどのテキスト情報から炎上リスクを判断。 評価結果の形式を Structured Outputsで スコアと理由に固定 どのような観点で 評価するかを システムプロンプトで設定
12. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. SNS傾向分析 入出力の内容チェック Datadogでの監視ダッシュボード LLM-as-a-Judgeで取得した各評価値はクラウドシステム監視システムDatadogに送信。 ダッシュボードでプロジェクトメンバーが可視化できる体制を構築。 さらに評価値が閾値を基準に悪化した場合はDatadogのMonitorで関係者にメール送信。
13. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. まとめ 様々な入出力が発生するAIシステムの評価者として LLMを利用する方法をご紹介しました。 LLMによる評価結果をDatadogに送信することで 可視化やアラートを通知する体制を組みました。 今回はリスクの検知を活用しましたが 運用フェーズでの回答精度チェックにも活用していきたいです！ STEP 1 STEP 2 STEP 3
14. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. ブログも公開しています！ ぜひご覧ください
15. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. Copyright © CCC MK HOLDINGS Co.,Ltd. All Rights Reserved. AI増田宗昭、ぜひ使ってみてください！ CCC40周年記念サイトの最下部から利用申請するとご利用いただけます。 ぜひお試しください