LLMによるデータ構造化の精度管理

Transcript

1. © 2015 - 2024 Nowcast Inc. LLMによるデータ構造化の精度管理 2025/09/29 株式会社ナウキャスト　隅田 敦 1 CONFIDENTIAL
2. © 2015 - 2024 Nowcast Inc. 2 会社紹介
3. © 2015 - 2024 Nowcast Inc. 会社概要 3 親会社 事業概要 代表者 金融サービスの開発・運営 (4419) AIとデータを活用した DX支援 リテール向けオンライン証券会社 少額短期保険会社 木下あかね 辻中仁士 小林紀子 ベトナムの開発チームの統括 Thai Lam 小山宏人 レンディングビジネス 高平大輔 Finatextグループの中で、データと AIを活用した事業の推進を担う
4. © 2015 - 2024 Nowcast Inc. 社名 代表者名 設立年月 従業員数 住所 資本金 4 株式会社ナウキャスト 辻中仁士 2015年2月（2016年8月より株式会社 Finatextと経営統合） 69人 東京都千代田区九段北 1-8-10 住友不動産九段ビル 9F 70百万円 会社紹介 ※2025年2月時点 Mission Alternative Data for Actionable Insights オルタナティブデータに基づいた、行動につながるインサイトをご提供します。 ナウキャストのインサイトは質の高い意思決定に貢献し、新しいチャレンジを後押しします。
5. © 2015 - 2024 Nowcast Inc. 5 ナウキャストのデータサービス事業 データウェアハウス ライセンスデータ データホルダー 解析 POSデータ 日本経済新聞 1,500店舗の スーパーマーケット True Data 4,000店舗の スーパー、 ドラックストア 2,600店舗の 家電小売 クレジットカードデータ JCB JCBカードの 所有者・加盟店 クレディセゾン セゾンカードの 所有者 求人データ 人流データ TV広告データ KDDI 携帯搭載の 地理データ フロッグ 130超の日本の web求人広告 サイト エムデータ 日本の全無料 チャンネンルの TV広告データ 官公庁・シンクタンク・投資家 エンドユーザー 投資家 不動産業界 ナウキャストはオルタナティブデータの商社としての機能を持つ
6. © 2015 - 2024 Nowcast Inc. 6 ナウキャストのデータサービス事業 データウェアハウス ライセンスデータ データホルダー 解析 POSデータ 日本経済新聞 1,500店舗の スーパーマーケット True Data 4,000店舗の スーパー、 ドラックストア 2,600店舗の 家電小売 クレジットカードデータ JCB JCBカードの 所有者・加盟店 クレディセゾン セゾンカードの 所有者 求人データ 人流データ TV広告データ KDDI 携帯搭載の 地理データ フロッグ 130超の日本の web求人広告 サイト エムデータ 日本の全無料 チャンネンルの TV広告データ 官公庁・シンクタンク・投資家 エンドユーザー 投資家 不動産業界 ナウキャストはオルタナティブデータの商社としての機能を持つ
7. © 2015 - 2024 Nowcast Inc. 7 店舗開発イメージ動画
8. © 2015 - 2024 Nowcast Inc. 8 本題
9. © 2015 - 2024 Nowcast Inc. 9 非構造化データ処理の汎用エンジンとして、 LLMはあらゆる技術領域で活用されてゆく 例えば、データエンジニアリングの文脈でもこんなETLが実装できる • 正規化 ◦ 複数データソース間で生じている表記ゆれを解消 • 情報抽出 ◦ テキスト・画像・動画に含まれる情報を構造化 • 分析 ◦ 分類・タグ付け・極性分析など
10. © 2015 - 2024 Nowcast Inc. 10 実例 https://speakerdeck.com/kevinrobot34/swt-2025-snowflake-intelligence-and-document-ai
11. © 2015 - 2024 Nowcast Inc. 11 DataLens店舗開発における物件情報抽出の仕組み (簡単化ver) (※実際の抽出パイプラインはこれの 5倍くらい複雑です) 物件メール か？ NO 物件情報を 含む画像は どれか？ 対象外 YES 物件情報を 抽出するぞ 添付ファイル HTMLメール本文 LLMが処理しやすいよう HTMLをマークダウンに変換 構造化された物件情報 前処理済テキスト
12. © 2015 - 2024 Nowcast Inc. 12 本日の問い： LLMによるデータ構造化の精度をどう考えるべきか？
13. © 2015 - 2024 Nowcast Inc. プロトタイピング 本番運用 検証頻度 アドホックに何回か行うのみ 毎回のリリースサイクルに組み込まれるので 継続的かつ高頻度に行う 対象データ アドホックに用意した少量のデータ 可能な限り網羅的なカバレッジを確保 変化するデータの分布に追従する必要性も 13 高頻度かつ網羅的な精度検証のためには自動化されたベンチマーキングが必要 ※どっちが正しいというものではないし、実際には両者の差はグラデーション
14. © 2015 - 2024 Nowcast Inc. 14 You can't improve what you don't measure!
15. © 2015 - 2024 Nowcast Inc. 15 ユースケースに応じて精度を定義しよう 以下の状況で、メール別・マイソク別に精度と呼べる数値をどう定義するか？ • メールの中に複数のマイソク • マイソクの中に複数の物件情報 • 物件情報は賃料、面積、住所、可能業種、など様々な属性値を持つ構造体
16. © 2015 - 2024 Nowcast Inc. 16 ユースケースに応じて精度を定義しよう 物件情報の属性値のうち優先度が高い賃料/面積/住所/階数が完全一致することを正解と定義 賃料 面積 住所 階数 敷金保証金 可能業種 結果 100,000円 30坪 東京都新宿区X町1-1 1-3 1,000,000円 ラーメン・焼肉・カフェ 100,000円 30坪 東京都新宿区X町1-1 1-3 500,000円 ラーメン 正解 100,000円 10坪 東京都新宿区X町1-1 1-3 1,000,000円 ラーメン・焼肉・カフェ 不正解 上記の定義に基づき、メールごとマイソクごとに適合率と再現率を計算することができる • 適合率: 抽出されたデータのうち、実際に正解だったものの割合 • 再現率: 正解データのうち、実際の抽出できたものの割合
17. © 2015 - 2024 Nowcast Inc. 17 正解データを用意しよう • 合成データ ◦ Pros ▪ 仕様と一対一対応したデータを生成することで仕様の正しさを網羅的に検証可能 ▪ コードベース内でデータ管理が完結可能なので取り回しが良い ◦ Cons ▪ 実際のデータを理想化したデータなので相対的には信頼性が低い • 実データ ◦ Pros ▪ 様々な要因が複合したり現実的なノイズが乗った状態で検証するので信頼性が高い ◦ Cons ▪ 情報管理をやる必要があるので取り回しが悪い (アナロジー: Test pyramid)
18. © 2015 - 2024 Nowcast Inc. 18 精度の計測を自動化しよう データ生成・精度計算・抽出結果の可視化を行うCLIツールを開発
19. © 2015 - 2024 Nowcast Inc. 19 今回話さなかったこと • CLIツールの具体的な仕組み • ベンチマーキングを具体的にどのように運用しているか • 本番で動いているLLMパイプラインの監視 ◦ ベンチマークに含まれない未知のデータが来た場合にどうするのか？ • 要約や対話など出力に構造がないテキストの場合はどうするか ◦ 例）顧客問い合わせチャットボットの場合どうか？ →QAや懇親会でお話しましょう！
20. © 2015 - 2024 Nowcast Inc. 20 Thank you for listening !