全社で推進するAI活用 ― ダブルCoE体制とLegalRikaiが支えるリーガルテックの進化

Transcript

1. 株式会社LegalOn Technologies CTOオフィスグループ 責任者 時武 佑太 GenAIグループ 藤田 正悟 全社で推進する AI活用 ― ダブルCoE体制と "LegalRikai" が支えるリーガルテックの進化 AI Engineering Summit Tokyo 2025
2. 2 本セッションの構成 本セッションは2部制となっています。あらかじめご了承ください。 前編: LegalOn TechnologiesにおけるAI活用推進事例のご紹介 後編: 製品向けLLM選定のための精度評価手法のご紹介
3. 3 前半セッションの登壇者紹介 時武 佑太（Yuta Tokitake） 株式会社LegalOn Technologies プロダクト基盤セクション CTOオフィスグループ 責任者 X: @tokichieto 2022年4月~ LegalOn Technologies, EM EMとしてチーム運営、開発管理を行う 現在はCTOオフィスのリーダーとして、開発でのAI活用支援を行う 2017年10月 LegalOn Technologies, CTO 初代CTOとしてプロダクトの立ち上げ、組織拡大等に従事
4. 株式会社LegalOn Technologiesについて
5. 5 法とテクノロジーの力で、 安心して前進できる社会を創る。 会社概要 LegalOn Technologiesは設立当初から、 AIを活用したリーガル AIサービスの開発に注力し、大規 模言語モデル（ LLM）やAIエージェントなど最先端の AI技術を製品開発に取り入れ、 多様な企業課題に応えるソリューションでお客様のビジネスを支援します。 株式会社LegalOn Technologies 2017年4月21日 621名（役員・グループ含む） （2025年10月時点） 会社名 設立 従業員数
6. 6 グローバルでお客様を支援する拠点体制 London Tokyo San Francisco
7. 7 リーガル領域の専門性を OpenAIの技術と融合させ、新たな価値を創造 OpenAIのグローバルイベントにて当社が紹介 2025年7月、OpenAIとの戦略的連携
8. 8 LegalOn: World Leading Legal AI 「LegalOn: World Leading Legal AI」は、 法務特化型 AIエージェント 「LegalOnアシスタント」を搭載し、 法務業務全般を自律的にアシスト https://www.legalon-cloud.com/
9. 9 専門特化AIサービス -Expertise Specific AI- 2025年10月、リーガル以外の領域に本格進出 ※LegalOn、Fides、CorporateOn、DealOn（一部機能）は提供済み。 エグゼクティブ向けのサービスは2025年度進出予定、その他は紺の予定している進出領域
10. 生成AIの急激な進化
11. 11 ここ1, 2年でLLMの性能が飛躍的に向上、アプリケーションも急速に増えた 2022 GitHub Copilot や ChatGPT が登場 2023 Cursorのファーストリリース 2024 Clineのリリース Cursorエージェント機能のリリース Devinのリリース 2025 Claude Codeのリリース Gemini CLIのリリース Codex CLIのリリース GPT-4 Claude 1, 2 Gemini 1.0 GPT-3.5 OpenAI o1 Claude 3, 3.5 Gemini 1.5 GPT-4.5, 5, 5.1, 5.2 Claude 3.7, 4, 4.1, 4.5 Gemini 2.0, 2.5, 3.0 アプリケーション LLMの進化
12. 12 急速な普及による課題 ガバナンスとセキュリティリスク セキュリティ : ツール乱立による「シャドーIT」のリスクやアカウント管理の複雑化 予算統制: 従量課金により、利用コストが予測困難かつ急増する懸念 ナレッジの分断 属人化の進行 : 個別最適でツール導入が進んだ結果、チーム間でのスキル格差が拡大 ベストプラクティスのサイロ化 : 成功事例が横展開されず、組織全体のナレッジ底上げが遅 れる弊害が発生
13. 13 • CoE (Center of Excellence) とは 特定の領域（今回はAI）に関する専門知識、ベストプラクティス、ノウハウを 組織横断的に集約・展開する専門家チーム • 採用理由 会社規模の拡大とマトリクス組織化により、全社にAI施策を「迅速」かつ「有効」に 浸透させるための中核拠点が必要だった CoE体制の採用
14. 14 2つのCoE体制 AID CoE : AI-powered Development AIM CoE : AI-powered Improvement for Maximization 責務: 開発者体験 (DX) と生産性の最大化 領域: 開発プロセスにおけるAI活用推進（ツールの検証や選定、プロセスの改善） 責務: 全従業員の業務効率化とAIリテラシー向上 領域: バックオフィス、セールス、マーケティング等、全社業務へのAI適用
15. 15 2つのCoEによる施策展開 AID CoE 開発者向けのツールを中心に展開 • GitHub Copilot • Cursor • Devin • Claude Code 自らも手を動かし手法の探究や横展開、プロセスの改善に従事 • ハンズオン会 • ガイドラインの策定 • AID Innovatorsプログラムの立ち上げ • 社内向けシステムでのFull AI Codingの実践
16. 16 2つのCoEによる施策展開 AIM CoE 開発に限らず全従業員向けのツールを中心に展開 • Gemini / NotebookLM • Notion AI • Slack AI • ChatGPT Enterprise • n8n ツールの展開だけでなく、業務改善やAIの定着サポートも実施 • Notion AI講座の開催 • 全社オンボーディングで生成AIの研修を実施 • n8nを使った業務改善サークルの主催 • など
17. AIツール導入のタイムライン
18. 18 2022 リリース当初から 希望者全員に配布 生成AI黎明期（2022年〜） GitHub Copilot 2023 全社で導入 各種研修を実施 Notion AI
19. 19 2024 生成AI普及期（2024年〜） 2025 Cursor Devin Claude Code Gemini Slack AI ChatGPT Enterprise Codex 2月 3月 4月 6月 7月 9月
20. 20 迅速な検証と導入、定着施策により劇的な普及率増加を実現 ~10% 2024 90%+ 2025 社内における AIコーディングエージェントの普及率
21. 21 主要ツールの月次アクティブ率も高水準を維持 91.3% 85.2% GitHub Copilot Cursor Gemini Notion AI ChatGPT 80.7% 56.9% 55.3%
22. 開発組織における AI活用事例
23. 23 コード・ドキュメント生成 プロトタイピング、初期実装、テス トコード、ドキュメントの自動生成 リサーチ 仕様把握、影響範囲の洗い 出し、不具合の原因調査 壁打ち・改善 設計レビュー、ドキュメントの 推敲、リファクタリング案の提 示 成果の上がっている具体的な活用シーン
24. 24 Figmaデザインから直接フロントエンドコードを生成し、フロントエンド実装の工数を軽減 実装活用例 : Figmaデザインから社内デザインシステムに則ったコード生成（イメージ） 数十秒〜数分で生成
25. 25 How to • 社内デザインシステムのMCPサーバーを提供 Before • フロントエンドはエンジニアがFigmaデザインを確認しながら手作業で実装していた After • あるチームでは画面の実装スループットが 60%〜70%向上 • 非フロントエンドエンジニアであっても簡単に画面の実装ができるようになった 実装活用例 : Figmaデザインから社内デザインシステムに則ったコード生成
26. 26 How to • Cursor rulesファイルを活用し、以下のコンテキストを整備 ◦ 業務に関する背景知識 ◦ 開発フローに関する背景知識 Before • ある機能が深い業務知識に依存している場合、 業務知識を習得したエンジニアでなければ開発がままならなかった After • AIが業務知識を補ってコードに落とし込んでくれるため、 仕様の認識違いによる手戻りが大幅に減少した 実装活用例 : Spec-Driven Developmentの実践による業務知識の効率的な実装
27. 27 リサーチ活用例 : Ask DevinやDeepWikiを活用した仕様把握、影響範囲調査 https://deepwiki.com/search/vscode_be2ebe10-7db1-413c-b64b-534a71633c5c
28. 28 How to • DevinのAsk DevinやDeepWikiを、仕様把握や影響範囲調査に活用 Before • 仕様把握や影響範囲調査にはコードリーディングや詳しい人へのヒアリングが必要で、リードタ イムが長かった After • 仕様把握や影響範囲調査が数分以内で完了できるようになった • コードリサーチにかけるリードタイムが大幅に短縮できた リサーチ活用例 : Ask DevinやDeepWikiを活用した仕様把握、影響範囲調査
29. 29 リサーチ活用例 : GPTsを活用した情報資産レベルの自動判定 契約書タイトルの資産レベルは？ Thought for 1m 23s >
30. 30 How to • データガバナンスチームの定義に基づき、情報資産レベルを推論するGPTsを構築 Before • 情報資産レベルの定義やデータガバナンスメンバーの見解を逐一確認し、 データの取り扱い方法を1件1件詰める必要があった After • GPTsの一次回答で情報資産レベルと判断根拠が示されるため、 エンジニアが自身で判断できるケースが格段に増えた リサーチ活用例 : GPTsを活用した情報資産レベルの自動判定
31. 31 開発組織における AI活用の目的 AI (特にAIエージェント ) により生産性向上を実現し、顧客 により多くの価値を届けること また、それにより会社の売上や利益に貢献すること
32. 32 生産性のレベル定義 出展: 広木大地氏 「開発生産性について議論する前に知っておきたいこと」 https://qiita.com/hirokidaichi/items/53f0865398829bdebef1
33. 33 施策による成果 出展: 広木大地氏 「開発生産性について議論する前に知っておきたいこと」 https://qiita.com/hirokidaichi/items/53f0865398829bdebef1 レベル1の生産性は 定性面・定量面とも明確に向上 • PR数が1.5倍以上に向上したチーム • 1ヶ月以内に数万行以上のコードベースでPoC を形にしたチーム • 社内で活用しているメンバーからも満場一致で “個人レベルでは ” 明確に上がったとの声
34. 34 新たな課題 出展: 広木大地氏 「開発生産性について議論する前に知っておきたいこと」 https://qiita.com/hirokidaichi/items/53f0865398829bdebef1 レベル2以上の生産性は まだ効果が限定的 • 機能リリース数が1.5倍やそれ以上には現状増 えていない • 売上や利益が1.5倍以上という状況でもない • 組織規模の大きいプロダクトのほうが、 効果が上がりづらい傾向が見られる
35. 35 AIをビジネス価値に繋げるための学び AI活用の効果が思うように上がらない時、 その裏には必ず組織課題が潜んでいる。 > AI is an amplifier - 2025 DORA Report
36. 36 今後の展望 組織とプロセスの地道な改善 泥臭い改善活動はAI活用において不可避 ここに銀の弾丸はない AIネイティブな開発フローの探究 ベストプラクティスは存在するが、最終的には 自組織に合わせ落とし込む必要あり この両面において、 AID CoEとAIM CoEの連携を強化
37. まとめ
38. 38 2つのCoEによるAI活用推進 明確な責務分担 AID / AIMそれぞれで各領域にフォーカスし た施策が実施でき、600名規模の会社でス ムーズなAI活用が進められた 専門性の高い施策 業務ドメインの理解度が高いメンバーによ り、 “外部コンサルタント ” にならず現場と 伴走できた
39. 39 直面した新たな課題と次の一手 アウトカム創出の難しさ アウトプットの向上をアウトカムに繋げるた めには組織・プロセスを含め地道な改善が 必要 組織とプロセスを地道に改善しつつ AIネイティブな開発フローの探究を深める
40. 法務ドメインの日本語ベンチマーク LegalRikaiの紹介 後編
41. 41 後半セッションの登壇者紹介 藤田 正悟 (Shogo Fujita) AI section / GenAI team X: @fujisyo32 主にLLMを使った契約書レビューの開発や、評価 環境の整備、研究開発周りの業務を行う
42. 42 法務領域の実務的なベンチマークが多数提案されている • LexGlue [2022,Chalkidis+] (英語 / 主に米国・EU法域) • LBOX Open [2022, Hwang+] (韓国語 / 韓国法域) • LegalBench [2023,Guha+] (英語 / 米国法域中心） • LawBench [2023,Fei+] (中国語 / 中国法域) • LeCaRD [2023,Li+] (中国語 / 中国法域) • LEXTREME [2023, Niklaus+] (多言語 / 複数法域 ※日本法は含まれていない) • LegalAgentBench [2024,Li+] (中国語 / 中国法域)
43. 43 一方、法務領域の実務的な日本語ベンチマークは少ない • 日本の法令に関する多肢選択肢式QAデータセット ◦ https://github.com/digital-go-jp/lawqa_jp ◦ デジタル庁が公開したQAタスクのベンチマーク • JTruthfulQA ◦ https://github.com/nlp-waseda/JTruthfulQA ◦ 事実状況を問うQAタスク ◦ データセットの一部に法律に関するタスクを含んでいる
44. 44 LLMの日本での法務領域の実務的な性能を検証したい • 日本語、日本法のタスクに対する現行のLLMの性能を知りたい • どの機能領域にLLMを組み込むべきかの判断材料が欲しい • LLM選定・モデル構築方針の判断材料が欲しい
45. 45 そこで自社ベンチマーク LegalRikaiを作成 (2025/3) https://legalontech.jp/8872/
46. 46 LegalRikaiは下記のタスクで構成される • 条文分類 ◦ 契約書内の特定の種類の条文を識別し、分類するタスク • 条文修正 ◦ 契約書内の潜在的な問題に関するアラートに従って、 条文の修正を行うタスク • レビュー対象条文特定 ◦ 契約書のレビュー指摘事項が与えられ、 その指摘事項に対応する条文を特定するタスク
47. 47 しかし、LegalRikaiは一般公開が難しい • 法務ドメインでの日本語タスクの取り組みは盛んとは言えないため、一般公開する ことによって貢献したい • 日本語の契約書データはあまり一般公開されていないため、LegalRikaiの契約書 は社内のデータを利用している • 社内のデータについては公開することに対するリスクが大きい
48. 48 そこで、LegalRikai: Open Benchmarkを新たに作成 • 弊社の契約書をベースにした擬似契約書データを使っており、一般公開可能 • 実際の法務業務をもとにした4タスク x 25件のデータセット • 契約書とそれに関連する法令の理解が必要な複雑なタスク • 弊社の法務チームの弁護士による信頼性が高いアノテーション
49. 49 タスク紹介 / Legal Amendment Explanation 法改正に対して、社内の関係者に 「変更の概要」と「契約書への影響」を伝える
50. 50 タスク紹介 / Legal Amendment Explanation 記載すべき雇用条件は以下です： - 就業の場所 … 記載すべき雇用条件は以下です： - 就業の場所 (就業の変更の範囲を含む ) ... # 変更の概要 労働契約の締結時と更新時には、変更 の範囲を明記しなければならない # 契約書への影響 労働条件通知書兼雇用契約書におい て、就業場所の変更の範囲を明示する 必要がある Legal Amendment Explanation 労働基準法に関する法改正
51. 51 タスク紹介 / Statute-driven contract revision 法改正に対して、古い法令に基づいている契約書を 新しい法令に準拠するように書き換える
52. 52 タスク紹介 / Statute-driven contract revision 記載すべき雇用条件は以下です： - 就業の場所 … 記載すべき雇用条件は以下です： - 就業の場所 (就業の変更の範囲を含む ) ... 労働基準法に関する法改正 Statute-driven Contract Revision 勤務地：東京本社 勤務地：東京本社 （勤務地は変更となる場合があります）
53. 53 タスク紹介 / Requirement-driven contract revision 関係者の要望や、契約条件の変化などに従って 契約書の内容を書き換える
54. 54 タスク紹介 / Requirement-driven contract revision 第8条 (再委託)を 「委託者の事前の書面による承 諾を得た場合に限り、再委託可 能とする」 旨に修正してください。 ユーザーの要望 Requirement-driven Contract Revision 第8条 (再委託) 1.乙は、乙の責任において、本委託業務の 一部を第三者に再委託することができる。た だし、乙は、甲が要請した場合、再委託先の 名称及び住所等を甲に報告しなければなら ない。 第8条 (再委託) 1.乙は、甲の事前の書面による承諾を得 た場合に限り、乙の責任において、本委 託業務の一部を第三者に再委託するこ とができる。
55. 55 タスク紹介 / Risk-driven contract revision 潜在的な法務リスクが与えられ、 それに従って契約書の内容を書き換える
56. 56 タスク紹介 / Risk-driven contract revision 再委託に関する条項について、契 約書内に該当するテーマや項目が 含まれている場合は、当該表現を 委託側に有利に修正してください。 削除することが有利になる場合 は、削除してください。 ユーザーの要望 Risk-driven Contract Revision 第8条 (再委託) 1.乙は、乙の責任において、本委託業務の 一部を第三者に再委託することができる。た だし、乙は、甲が要請した場合、再委託先の 名称及び住所等を甲に報告しなければなら ない。 第8条 (再委託) 1.乙は、甲の事前の書面による承諾を得 た場合に限り、乙の責任において、本委 託業務の一部を第三者に再委託するこ とができる。
57. 57 推論について 　ベースラインとして、LLMに必要な情報を入力してend to endで生成した Legal Amendment Explanationの例
58. 58 評価について / Legal Amendment Explanation 下記の6つの観点で評価を行った • 主要な変更点を網羅できているか • 変更点を正確に説明しているか • 変更点について不要な内容を含んでいないか • 影響する事項を網羅できているか • 影響について正確に説明しているか • 影響について不要な内容を含んでいないか
59. 59 評価について / Legal Amendment Explanation以外の3タスク 下記の5つの観点で評価を行った • 指示通りの修正がされているか • 契約書構造が整合しているか • 不要な修正がされていないか • 専門用語が正しく使用されているか • 契約書的な言い回しが適切に使用されているか
60. 60 人手評価の結果 ※見やすさのため、全ての尺度を[0, 100]に正規化して平均をとった LegalAmend StatRev ReqRev RiskRev GPT-5 55.67 64.40 81.60 63.40 Gemini-2.5 Pro 63.33 69.80 91.00 74.00 Claude Opus 4.1 55.33 63.40 92.00 78.40
61. 61 今後の展望 • データセットの拡充 • 今後新しく登場するLLMや、オンプレ環境で動かすことを前提としているLLMの性 能検証 • 人手評価と強く一致するような自動評価手法の探索
62. 62 おわりに LegalRikai: Open Benchmarkは一般公開するので、 ぜひ使ってください！
63. We are hiring!
64. 64 AIを活用する様々なポジションで積極採用中！ • Software Engineer • Site Reliability Engineer • Platform Engineer • Engineering Manager • Product Manager • AI Engineer • AI Productivity Engineer
65. 株式会社LegalOn Technologies https://legalontech.jp/