- 1 - © Legalscape, Inc. #AI×プロダクト開発の最前線 #Legalscape Kaggle Grandmasterと創る、リーガルAIモデル開発の最前線 富⽥ 晃弘(Akihiro TOMITA) Legalscape, Inc. 2025.09.16 AI×プロダクト開発の最前線 〜AIにフルベットする4社の挑戦と現在地〜 

- 2 - © Legalscape, Inc. #プロヒス2024　#Legalscape 富田 晃弘(Akihiro Tomita) Legalscape, Inc. 趣味は絵を描くこと、家庭菜園、温泉めぐり ➢ 東京大学法学部→日本銀行 経済調査課→ミシガン大学MBA→ 日本銀行 政策企画課→PKSHA Technology→Legalscape ➢ Kaggle Grandmaster（純文系） ➢ リーガルAIの設計・実装 登壇者紹介 

- 3 - © Legalscape, Inc. #プロヒス2024　#Legalscape ◎ 株式会社Legalscape ◎ リーガルスケープ × LegalScape × リーガルスペース × リーガルスコープ × リーガルフォース ← 他社さんの製品 はじめまして、リーガルスケープです 

©Legalscape,Inc. 圧倒的な量の 信頼できるコンテンツ AI等の機能による 直感的な検索‧閲覧体験 書籍収録数 Legalscapeとは？ 独⾃開発 搭載 法律特化AI データベース 拡張 判例連携 4,100冊 4 

©Legalscape,Inc. 5 導⼊社数は1,300社以上。業界‧業種問わずご利⽤中 法律事務所のお客様（⼀部） 企業のお客様（⼀部） 

Legalscape（リーガルスケープ）による実務の変化 これまでのリサーチ これからのリサーチ ⾃動で要約のドラフトを⼊⼿ ⾃動で引⽤⽂献の該当箇所を列挙 ⾃動で関連⽂献を リンク‧逆引きで深堀 リサーチ結果をまとめる ⽂献を読み込んで、 記載箇所を特定する 関連する⽂献を特定して、 ⼿元に集める 最初に要約のドラフトを得た上で、引⽤⽂献で裏どりするトップダウンなリサーチへ。 6 

©Legalscape,Inc. リーガルリサーチAI"Watson & Holmes"（ワトソン＆ホームズ） ↑ ② AIが信頼できる法情報に基づき回答 ↑ (書籍‧法令‧判例※‧ガイドライン等) 7 ① AIに質問↓ 

- 8 - © Legalscape, Inc. #プロヒス2024　#Legalscape 要するにRAGをやってます Watson 書籍DB ユーザー Holmes 埋め込みモデル 前処理 LLM 後処理 クエリ スニペット 検索結果 プロンプト 生成結果 質問文 UI 

©Legalscape, Inc. そもそも... AIをどうプロダクトに価値ある形で組み込むか？ 

©Legalscape, Inc. これは... 1. 実現したいことを考える ↓ 2. AIで動くものを作る ↓ 3. 動いたら喜ぶ 

©Legalscape, Inc. プロトタイプとしては良くても、プロダクトとしてはこんな疑問が 1. 実現したいことを考える ↓ 2. AIで動くものを作る ↓ 3. 動いたら喜ぶ AIは確率的に挙動するけど、 何を持って「動いた」 というの？ AIはデータを「学習」して精度が上が ることが強みなのに、 どうフィードバックをかける の？ 

©Legalscape, Inc. （おそらく皆さん）こうしたいと思うはず 1. 実現したいことを定式化する ↓ 2. 定式化に基づいて定量評価できるデータセットを構築する ↓ 3. 評価が良くなるようにモデルを構築・改善する ↓ 4. 十分良いモデルができたらデプロイする ↓ 5. ログやユーザー FBからデータセットを拡充し、 2.へ戻るループ 

©Legalscape, Inc. 1. 実現したいことを定式化する ↓ 2. 定式化に基づいて定量評価できるデータセットを構築する ↓ 3. 評価が良くなるようにモデルを構築・改善する ↓ 4. 十分良いモデルができたらデプロイする ↓ 5. ログやユーザー FBからデータセットを拡充し、 2.へ戻るループ 今日はここの概要を話します （おそらく皆さん）こうしたいと思うはず 

©Legalscape, Inc. RAGの要素である検索を題材に考える 1. 実現したいことを定式化する 実現したいこと：「膨大な法情報から、ユーザーの求める文献を素早く見つける」 定式化（数式やルールとして明確に表現する ） - ユーザークエリqに対して（入力） - 最も関連するdocをk個を（出力） - N万件の文献集合から（データベース） - 精度指標αが最高となる形で（精度） - X秒以内に（速度） - Y円以下で（コスト） - 検索する（タスク） 

©Legalscape, Inc. If you cannot measure it, you cannot improve it. 2. 定量評価できるデータセットを構築する LLM-as-a-judge データセットを（高すぎて遅すぎる） FrontierLLMにアノテーションさせる （※ライセ ンス要確認） 例：クエリに対する正解・不正解ドキュメント を判定させる Expert-in-the-loop ドメインの専門家（弁護士）によるドメイン知 識を活かしたアノテーション 例：この質問には必ずこの最高裁の判例を 参照するべきなので、正解データに加える query: “労働者の定義に関する判例を教えて” true_doc_id: [111,222,333,444] query: “労働者の定義に関する判例を教えて” true_doc_id: [111,222,333,444] query: “労働者の定義に関する判例を教えて” true_doc_id: [111,222,333,444] query: “労働者の定義に関する判例を教えて” true_doc_id: [111,222,333,444] 

©Legalscape, Inc. ここまで来たら、実質 Kaggle 3. 評価が良くなるようにモデルを構築・改善する 精度 リソース（速度/コスト等） プロダクトととして 満たすべき一線 ビジネス上、 許容できる一線 使い物にならない プロダクトとして 価値ある状態 使い続けられない このどちらかを 目指す 

©Legalscape, Inc. （例）ベクトルエンべディングモデルのドメイン適応のケース ● オープンなベクトルエンべディングモデルでは日本語の 法律ドメインにおいて、プロダクションで求める検索精度 を発揮できないケースがある ● 法律ドメインに特化させるためにエンべディングモデル のファインチューニングを実施 ○ 某コンペで悪戦苦闘した SentenceTransformerの知見 を活用 ● 法律に特化した弊社の検証データセットで、精度向上を 確認した事例 Recall@k 

©Legalscape, Inc. まとめ 動くだけで満足しない AI開発 ● プロダクトにAIを組み込む上で大切なのは、単に「動いた！」で終わらせないこと ● 定式化 → 評価設計 → モデル構築 のプロセスを通して、ユーザーに本当に価値あるものを 評価設計が実務のカギ ● 「AIをどう正しく評価するか」 をどうデザインするかで、プロダクトの成否が決まる ● ここをしっかり設計できれば、あとは Kaggleのように改善を楽しむサイクルに入れる Legalscapeでの挑戦 ● 「膨大な法情報」を扱うという難しい領域で、まだ解かれていない課題に取り組み、リーガル AI とい う新しい分野を切り拓いています ● 今日紹介したRAGはその一例にすぎません。挑戦すべきテーマはまだまだあります ● AIを動かすで止まらず、価値を生み続けるプロダクトをつくりたいなら、 Legalscapeへ 

©Legalscape, Inc. Join us! LS Night 10月14日（火）19時〜 連絡先情報登録フォーム （カジュアル面談他） 

Join us! Client-side TypeScript / Server-side TypeScript / NLP / etc. 採⽤情報 legalscape.co.jp