思った以上に良かった！ユーザーと一緒に作るRAGの評価データセット

【Sansan・キャディ・トリビュー】RAG×実サービス運用の最前線での登壇資料
https://connpass.com/event/399676/

Transcript

1. 思った以上に良かった！ ユーザーと一緒に作る RAGの評価データセット キャディ株式会社 竹本 健 © CADDi Inc.
2. ⾃⼰紹介 キャディ株式会社 Technology 本部 MLE 竹本 健 (Takemoto Ken) 前職はAIスタートアップで、画像解析や機械学習を用い た開発をしていました。 キャディでは図面を解析するモデル開発やRAGを用いた アプリケーションの開発に従事しています。 趣味 • 海外旅行（と機内で名探偵コナンを一気見） • パスタ作ること © CADDi Inc.
3. 本日の内容 1. キャディの紹介 2. RAGプロダクトの紹介 3. 作る前に抱えていた 3つの思い込みを 1つずつ答え合わせしていく ① 評価：LLM-as-a-Judge に頼るしかない？ ② 作り方：CS・ユーザーに頼っていいのか？ ③ 価値：2〜3ヶ月かける意味はある？ © CADDi Inc.
4. Mission モノづくり産業の ポテンシャルを解放する Unleash the potential of manufacturing © CADDi, Inc. 4
5. キャディが実現したいこと： 製造業をソフトウェア化し、イノベーションの速度を10倍に 現状 製造業は世界最⼤の 市場（2,000兆円） でありながら、 イノベーションが 起きていない。 Manufacturing 1995 5yrs 11x 2025 5yrs Software 1995 2yrs 100x 2025 7days 両者とも「モノをつくる」と いう本質は同じ。しかし製造 業ならではの難しさがある。 © CADDi Inc. 30年前と⽐較して、モノづくりに かかる時間は変わっていない 30年前と⽐較して、ソフトウェア開発に かかる時間は100倍⾼速に 5
6. プロダクト 製造業AIデータ プラットフォーム 6 CADDi® 製造業の知⾒とAI‧テクノロジーの⼒で、 モノづくり産業に眠るデータを資産化、 活⽤することで、部⾨を超えて、全社変⾰を実現する AIネイティブプロダクトです。 企業を変え、産業を動かし、世界のモノづくりを 進化させる挑戦が、いまグローバルで広がっています。 © CADDi Inc.
7. RAGプロダクトの紹介 • テナント分離されたRAGプロダクトを提供 • 技術検討書・品質検査報告書・仕様書などを横断的に参照して質問に回答 ① 質問を入 力 ② 関連文書を検索 議事録 不具合情報 ④ 回答を出 力 ③ 関連情報を返 す 時間や組織の隔たりを越えた知見の活用で、知見に価値を © CADDi Inc. ✓ ✓ 他部署の情報や過去情報でもすぐに発見 文書データを読み込まなくても、ほしい情報だけを簡単に抽出 試験結果
8. 評価データセットを作る前に抱えていた 3つの思い込み 1. 評価：LLM-as-a-Judge に頼るしかない？ 2. 作り方：そもそも作れるのか、CS・ユーザーに頼っていいのか？ 3. 価値：時間も工数もかかる。そこまでする価値があるのか？ © CADDi Inc.
9. 思い込み① LLM-as-a-Judgeに頼るしかない？
10. 数字は出る。でも信じきれなかった 思い込み① LLM-as-a-Judgeに 頼るしかない？ 当時は検索結果と回答だけを見て、正解を持たずに定量評価 をしていた 評価軸 何を見るか 検索精度 検索した情報が根拠として確からしいか 検索結果の多様性 偏りなく複数の情報源を参照しているか 回答の有無 回答を提示できているか（謝罪回答していないか） 質問と回答の関連度 質問と回答が関連しているか • 評価軸が表層的 なため定量と定性の乖離が頻発 （定量で有意差ありでも定性は同等、その逆も） • 正直、数値はお気持ち程度だった © CADDi Inc.
11. そもそも LLMだけでは務まらない評価 思い込み① LLM-as-a-Judgeに 頼るしかない？ 頼るしかない • 製造業のドキュメント（不具合報告書・製品仕様書等）は、専門用語も文書構造もテナント・ 部署ごとに大きく異なる • 正しく評価するには、製造業のドメイン知識に加えてテナント固有の知識まで必要 • LLM にはどちらもない。評価している自分たちにも十分な知識がなかった • それでも他に手段がなく、LLM-as-a-Judgeに頼らざるを得なかった © CADDi Inc.
12. まず、対象とするクエリを定めた 思い込み① LLM-as-a-Judgeに 頼るしかない？ 頼るしかない • どんなクエリを対象にするかを決めるところから始めた • クエリを2軸で分類して全体像を洗い出し、優先度の高いものから作成した 観点 分類 タスク観点 Extractive QA / Temporal QA / Multi-hop Reasoning QA / Aggregation・Contrast QA / Long-form QA・Summarization / Conversational QA / Negative QA など 入力形式の観点 © CADDi Inc. 自然文 / キーワードの羅列 / 多言語 など
13. 思い込み① LLM-as-a-Judgeに 頼るしかない？ 何で測り、何を正解とするか 検索と回答の2ステップに対して、それぞれ正解と評価指標を用意 ステップ 正解 評価指標 検索 検索されるべきドキュメント群 検索の網羅性 回答 キーポイント（回答に含むべき論点・事実） 回答の網羅性 例：「モデルAという洗濯機の耐久試験で報告された不具合は？」に対して • • 検索の正解：不具合報告書 #045、耐久試験報告書 v3 回答の正解：2021年の耐久試験で電気回路の接点不良が1件／接点不良の原因は摩耗 によるもの／対策は、... © CADDi Inc.
14. 思い込み① LLM-as-a-Judgeに 頼るしかない？ 表層的な評価から、客観的な評価へ 正解を基準にできた。それだけで、評価でできることが大きく広がった できること Before：表層的な評価 After：客観的な評価 良し悪しの判断 主観で「良さそう」止まり 何が取れ・何が欠けたかを 根拠をもって判断 失敗の切り分けと どこで失敗したかも、 検索／回答のどちらで失敗したかを切り 原因究明 なぜ取れないかも追えない 分け、なぜ取れなかったかまで追える 改善効果の測定 ロジックを変えても差が見えない どこが‧どれだけ良くなったかを 定量で測れる © CADDi Inc.
15. 思い込み② CS・ユーザーに頼っていいのか？
16. 着手を止めていた、いくつもの壁 • データセットを作るアイデア自体は、何度か出ていた • 立ちはだかっていた壁 思い込み② CS・ユーザーに頼っ ていいのか？ ◦ 作れる人がいない ：製造業のドメイン知識＋テナント固有知識、その両方を備えた人が身近に いない ◦ 対象が膨大 ：1テナントあたり数万〜数百万規模のドキュメント ◦ 進め方が見えない ：どう作るか・誰と作るかが分からない ◦ 心理的ハードル ：CS・ユーザーに頼っていいのか © CADDi Inc.
17. 思い込み② CS・ユーザーに頼っ ていいのか？ 声をかけて、巻き込んで、初めて作れた • • CSに相談 ◦ よく利用してくれているテナントの CS に声をかけた ◦ CSから「ユーザーにヒアリングして、一緒に作りましょう」 顧客・CS・PdMで作成 ◦ • と提案があった 事前に用意した設計をもとに、ヒアリングしながらアノテーションをした 想像以上に協力的 ◦ CSも顧客も「課題を解決したい」 という想いで積極的に協力してくれた ◦ 相談前の「協力してもらえるだろうか」という 不安は杞憂だった 頼ってよかった。巻き込んだからこそ作れた © CADDi Inc.
18. 思い込み③ そこまでの価値があるのか？
19. 思い込み③ そこまでの価値があ るのか？ そこまでの価値があるのか？ • 工数が大きいうえに不確実性も高い。そもそも作りきれるかも分からない • かけたコストに見合う価値が返ってくるのか、心配だった • 実際、作業着手から完成まで 2〜3ヶ月 かかった サーベイ・設計 © CADDi Inc. CSに相談 3者でミーティング データ整備 完成
20. 思い込み③ そこまでの価値があ るのか？ 検証サイクルが約 5倍速くなった 検証1サイクルにかかる時間 約1週間 → 約1日 正解があると成功・失敗の判断がすぐに付くため、定性評価で悩む場面が激減 した Before 数十〜数百件の検索・回答結果を一件ずつ目視し、評 価・示唆出し・次の改善策の検討 © CADDi Inc. After 定量評価で全体の傾向を掴み、 深掘りすべきケースだけに絞り込む
21. 新しい手法を、気楽に試せるようになった 思い込み③ そこまでの価値があ るのか？ • RAG は日進月歩。Vanilla / Agentic / Graph RAG … 新しい手法が次々に出てくる • 以前は試したところで良くなったかを判断できず、手を出しづらかった 信頼できるデータセットがあれば新手法をすぐに検証・比較でき、 試すことへのハードルが大きく下がった © CADDi Inc.
22. 想定外の副産物 思い込み③ そこまでの価値があ るのか？ 作った成果だけでなく、作る過程そのものからも想定していなかったものが得られた • • 顧客理解 ◦ 過去の会話履歴を網羅的に見てクエリを抽出 → ユーザーが何を求め、どう入力するかが見えた ◦ ユーザーと一緒に正解を作る過程で、どの文書にたどり着くべきかという 検索の流れまで理解できた 自分たちが提供する価値 ◦ 「何を指標にすべきか」をチームで議論 → プロダクトが本来提供すべき価値が明確になった 評価のために作ったのに、顧客理解まで深まった © CADDi Inc.
23. まとめ • • 3つの思い込みは全部覆った ◦ LLM に頼るしかない → 正解を基準に、表層的な評価が客観的な評価に ◦ 頼っていいのか → 声をかけて巻き込んだら、作れた ◦ そこまでの価値？ → 検証速度が約 5倍／新手法もすぐ試せる／顧客理解まで かつての自分と同じ状況なら ◦ 「作りたい・必要だ」と声に出す ◦ 社内の詳しい人・ユーザーに声をかける 工数はかかる。それでも、得られるものは想像以上だった © CADDi Inc.
24. 最後に お気軽にお声がけください！ エンジニア採⽤ポータル CADDi Engineering © CADDi Inc. カジュアルにお話しましょう！ カジュアル⾯談ページ