【登壇資料】AI×プロダクト開発の最前線_2025/09/16

サポーターズColab主催のイベント「AI×プロダクト開発の最前線」に弊社 富田が登壇しました。日々の実務から得た知見をスライドにまとめています。是非ご覧ください！

Transcript

1. - 1 - © Legalscape, Inc. #AI×プロダクト開発の最前線 #Legalscape Kaggle Grandmasterと創る、リーガルAIモデル開発の最前線 富⽥ 晃弘(Akihiro TOMITA) Legalscape, Inc. 2025.09.16 AI×プロダクト開発の最前線 〜AIにフルベットする4社の挑戦と現在地〜
2. - 2 - © Legalscape, Inc. #プロヒス2024　#Legalscape 富田 晃弘(Akihiro Tomita) Legalscape, Inc. 趣味は絵を描くこと、家庭菜園、温泉めぐり ➢ 東京大学法学部→日本銀行 経済調査課→ミシガン大学MBA→ 日本銀行 政策企画課→PKSHA Technology→Legalscape ➢ Kaggle Grandmaster（純文系） ➢ リーガルAIの設計・実装 登壇者紹介
3. - 3 - © Legalscape, Inc. #プロヒス2024　#Legalscape ◎ 株式会社Legalscape ◎ リーガルスケープ × LegalScape × リーガルスペース × リーガルスコープ × リーガルフォース ← 他社さんの製品 はじめまして、リーガルスケープです
4. ©Legalscape,Inc. 圧倒的な量の 信頼できるコンテンツ AI等の機能による 直感的な検索‧閲覧体験 書籍収録数 Legalscapeとは？ 独⾃開発 搭載 法律特化AI データベース 拡張 判例連携 4,100冊 4
5. ©Legalscape,Inc. 5 導⼊社数は1,300社以上。業界‧業種問わずご利⽤中 法律事務所のお客様（⼀部） 企業のお客様（⼀部）
6. Legalscape（リーガルスケープ）による実務の変化 これまでのリサーチ これからのリサーチ ⾃動で要約のドラフトを⼊⼿ ⾃動で引⽤⽂献の該当箇所を列挙 ⾃動で関連⽂献を リンク‧逆引きで深堀 リサーチ結果をまとめる ⽂献を読み込んで、 記載箇所を特定する 関連する⽂献を特定して、 ⼿元に集める 最初に要約のドラフトを得た上で、引⽤⽂献で裏どりするトップダウンなリサーチへ。 6
7. ©Legalscape,Inc. リーガルリサーチAI"Watson & Holmes"（ワトソン＆ホームズ） ↑ ② AIが信頼できる法情報に基づき回答 ↑ (書籍‧法令‧判例※‧ガイドライン等) 7 ① AIに質問↓
8. - 8 - © Legalscape, Inc. #プロヒス2024　#Legalscape 要するにRAGをやってます Watson 書籍DB ユーザー Holmes 埋め込みモデル 前処理 LLM 後処理 クエリ スニペット 検索結果 プロンプト 生成結果 質問文 UI
9. ©Legalscape, Inc. そもそも... AIをどうプロダクトに価値ある形で組み込むか？
10. ©Legalscape, Inc. これは... 1. 実現したいことを考える ↓ 2. AIで動くものを作る ↓ 3. 動いたら喜ぶ
11. ©Legalscape, Inc. プロトタイプとしては良くても、プロダクトとしてはこんな疑問が 1. 実現したいことを考える ↓ 2. AIで動くものを作る ↓ 3. 動いたら喜ぶ AIは確率的に挙動するけど、 何を持って「動いた」 というの？ AIはデータを「学習」して精度が上が ることが強みなのに、 どうフィードバックをかける の？
12. ©Legalscape, Inc. （おそらく皆さん）こうしたいと思うはず 1. 実現したいことを定式化する ↓ 2. 定式化に基づいて定量評価できるデータセットを構築する ↓ 3. 評価が良くなるようにモデルを構築・改善する ↓ 4. 十分良いモデルができたらデプロイする ↓ 5. ログやユーザー FBからデータセットを拡充し、 2.へ戻るループ
13. ©Legalscape, Inc. 1. 実現したいことを定式化する ↓ 2. 定式化に基づいて定量評価できるデータセットを構築する ↓ 3. 評価が良くなるようにモデルを構築・改善する ↓ 4. 十分良いモデルができたらデプロイする ↓ 5. ログやユーザー FBからデータセットを拡充し、 2.へ戻るループ 今日はここの概要を話します （おそらく皆さん）こうしたいと思うはず
14. ©Legalscape, Inc. RAGの要素である検索を題材に考える 1. 実現したいことを定式化する 実現したいこと：「膨大な法情報から、ユーザーの求める文献を素早く見つける」 定式化（数式やルールとして明確に表現する ） - ユーザークエリqに対して（入力） - 最も関連するdocをk個を（出力） - N万件の文献集合から（データベース） - 精度指標αが最高となる形で（精度） - X秒以内に（速度） - Y円以下で（コスト） - 検索する（タスク）
15. ©Legalscape, Inc. If you cannot measure it, you cannot improve it. 2. 定量評価できるデータセットを構築する LLM-as-a-judge データセットを（高すぎて遅すぎる） FrontierLLMにアノテーションさせる （※ライセ ンス要確認） 例：クエリに対する正解・不正解ドキュメント を判定させる Expert-in-the-loop ドメインの専門家（弁護士）によるドメイン知 識を活かしたアノテーション 例：この質問には必ずこの最高裁の判例を 参照するべきなので、正解データに加える query: “労働者の定義に関する判例を教えて” true_doc_id: [111,222,333,444] query: “労働者の定義に関する判例を教えて” true_doc_id: [111,222,333,444] query: “労働者の定義に関する判例を教えて” true_doc_id: [111,222,333,444] query: “労働者の定義に関する判例を教えて” true_doc_id: [111,222,333,444]
16. ©Legalscape, Inc. ここまで来たら、実質 Kaggle 3. 評価が良くなるようにモデルを構築・改善する 精度 リソース（速度/コスト等） プロダクトととして 満たすべき一線 ビジネス上、 許容できる一線 使い物にならない プロダクトとして 価値ある状態 使い続けられない このどちらかを 目指す
17. ©Legalscape, Inc. （例）ベクトルエンべディングモデルのドメイン適応のケース • オープンなベクトルエンべディングモデルでは日本語の 法律ドメインにおいて、プロダクションで求める検索精度 を発揮できないケースがある • 法律ドメインに特化させるためにエンべディングモデル のファインチューニングを実施 ◦ 某コンペで悪戦苦闘した SentenceTransformerの知見 を活用 • 法律に特化した弊社の検証データセットで、精度向上を 確認した事例 Recall@k
18. ©Legalscape, Inc. まとめ 動くだけで満足しない AI開発 • プロダクトにAIを組み込む上で大切なのは、単に「動いた！」で終わらせないこと • 定式化 → 評価設計 → モデル構築 のプロセスを通して、ユーザーに本当に価値あるものを 評価設計が実務のカギ • 「AIをどう正しく評価するか」 をどうデザインするかで、プロダクトの成否が決まる • ここをしっかり設計できれば、あとは Kaggleのように改善を楽しむサイクルに入れる Legalscapeでの挑戦 • 「膨大な法情報」を扱うという難しい領域で、まだ解かれていない課題に取り組み、リーガル AI とい う新しい分野を切り拓いています • 今日紹介したRAGはその一例にすぎません。挑戦すべきテーマはまだまだあります • AIを動かすで止まらず、価値を生み続けるプロダクトをつくりたいなら、 Legalscapeへ
19. ©Legalscape, Inc. Join us! LS Night 10月14日（火）19時〜 連絡先情報登録フォーム （カジュアル面談他）
20. Join us! Client-side TypeScript / Server-side TypeScript / NLP / etc. 採⽤情報 legalscape.co.jp