全社で推進するAI活用 ― ダブルCoE体制とLegalRikaiが支えるリーガルテックの進化

Slide 1

Slide 1 text

株式会社LegalOn Technologies CTOオフィスグループ責任者時武佑太 GenAIグループ藤田正悟全社で推進する AI活用 ― ダブルCoE体制と "LegalRikai" が支えるリーガルテックの進化 AI Engineering Summit Tokyo 2025

Slide 2

Slide 2 text

2 本セッションの構成本セッションは2部制となっています。あらかじめご了承ください。前編: LegalOn TechnologiesにおけるAI活用推進事例のご紹介後編: 製品向けLLM選定のための精度評価手法のご紹介

Slide 3

Slide 3 text

3 前半セッションの登壇者紹介時武佑太（Yuta Tokitake）株式会社LegalOn Technologies プロダクト基盤セクション CTOオフィスグループ責任者 X: @tokichieto 2022年4月~ LegalOn Technologies, EM EMとしてチーム運営、開発管理を行う現在はCTOオフィスのリーダーとして、開発でのAI活用支援を行う 2017年10月 LegalOn Technologies, CTO 初代CTOとしてプロダクトの立ち上げ、組織拡大等に従事

Slide 4

Slide 4 text

株式会社LegalOn Technologiesについて

Slide 5

Slide 5 text

5 法とテクノロジーの力で、安心して前進できる社会を創る。会社概要 LegalOn Technologiesは設立当初から、 AIを活用したリーガル AIサービスの開発に注力し、大規模言語モデル（ LLM）やAIエージェントなど最先端の AI技術を製品開発に取り入れ、多様な企業課題に応えるソリューションでお客様のビジネスを支援します。株式会社LegalOn Technologies 2017年4月21日 621名（役員・グループ含む）（2025年10月時点）会社名設立従業員数

Slide 6

Slide 6 text

6 グローバルでお客様を支援する拠点体制 London Tokyo San Francisco

Slide 7

Slide 7 text

7 リーガル領域の専門性を OpenAIの技術と融合させ、新たな価値を創造 OpenAIのグローバルイベントにて当社が紹介 2025年7月、OpenAIとの戦略的連携

Slide 8

Slide 8 text

8 LegalOn: World Leading Legal AI 「LegalOn: World Leading Legal AI」は、法務特化型 AIエージェント「LegalOnアシスタント」を搭載し、法務業務全般を自律的にアシスト https://www.legalon-cloud.com/

Slide 9

Slide 9 text

9 専門特化AIサービス -Expertise Specific AI- 2025年10月、リーガル以外の領域に本格進出 ※LegalOn、Fides、CorporateOn、DealOn（一部機能）は提供済み。エグゼクティブ向けのサービスは2025年度進出予定、その他は紺の予定している進出領域

Slide 10

Slide 10 text

生成AIの急激な進化

Slide 11

Slide 11 text

11 ここ1, 2年でLLMの性能が飛躍的に向上、アプリケーションも急速に増えた 2022 GitHub Copilot や ChatGPT が登場 2023 Cursorのファーストリリース 2024 Clineのリリース Cursorエージェント機能のリリース Devinのリリース 2025 Claude Codeのリリース Gemini CLIのリリース Codex CLIのリリース GPT-4 Claude 1, 2 Gemini 1.0 GPT-3.5 OpenAI o1 Claude 3, 3.5 Gemini 1.5 GPT-4.5, 5, 5.1, 5.2 Claude 3.7, 4, 4.1, 4.5 Gemini 2.0, 2.5, 3.0 アプリケーション LLMの進化

Slide 12

Slide 12 text

12 急速な普及による課題ガバナンスとセキュリティリスクセキュリティ : ツール乱立による「シャドーIT」のリスクやアカウント管理の複雑化予算統制: 従量課金により、利用コストが予測困難かつ急増する懸念ナレッジの分断属人化の進行 : 個別最適でツール導入が進んだ結果、チーム間でのスキル格差が拡大ベストプラクティスのサイロ化 : 成功事例が横展開されず、組織全体のナレッジ底上げが遅れる弊害が発生

Slide 13

Slide 13 text

13 ● CoE (Center of Excellence) とは特定の領域（今回はAI）に関する専門知識、ベストプラクティス、ノウハウを組織横断的に集約・展開する専門家チーム ● 採用理由会社規模の拡大とマトリクス組織化により、全社にAI施策を「迅速」かつ「有効」に浸透させるための中核拠点が必要だった CoE体制の採用

Slide 14

Slide 14 text

14 2つのCoE体制 AID CoE : AI-powered Development AIM CoE : AI-powered Improvement for Maximization 責務: 開発者体験 (DX) と生産性の最大化領域: 開発プロセスにおけるAI活用推進（ツールの検証や選定、プロセスの改善）責務: 全従業員の業務効率化とAIリテラシー向上領域: バックオフィス、セールス、マーケティング等、全社業務へのAI適用

Slide 15

Slide 15 text

15 2つのCoEによる施策展開 AID CoE 開発者向けのツールを中心に展開 ● GitHub Copilot ● Cursor ● Devin ● Claude Code 自らも手を動かし手法の探究や横展開、プロセスの改善に従事 ● ハンズオン会 ● ガイドラインの策定 ● AID Innovatorsプログラムの立ち上げ ● 社内向けシステムでのFull AI Codingの実践

Slide 16

Slide 16 text

16 2つのCoEによる施策展開 AIM CoE 開発に限らず全従業員向けのツールを中心に展開 ● Gemini / NotebookLM ● Notion AI ● Slack AI ● ChatGPT Enterprise ● n8n ツールの展開だけでなく、業務改善やAIの定着サポートも実施 ● Notion AI講座の開催 ● 全社オンボーディングで生成AIの研修を実施 ● n8nを使った業務改善サークルの主催 ● など

Slide 17

Slide 17 text

AIツール導入のタイムライン

Slide 18

Slide 18 text

18 2022 リリース当初から希望者全員に配布生成AI黎明期（2022年〜） GitHub Copilot 2023 全社で導入各種研修を実施 Notion AI

Slide 19

Slide 19 text

19 2024 生成AI普及期（2024年〜） 2025 Cursor Devin Claude Code Gemini Slack AI ChatGPT Enterprise Codex 2月 3月 4月 6月 7月 9月

Slide 20

Slide 20 text

20 迅速な検証と導入、定着施策により劇的な普及率増加を実現 ~10% 2024 90%+ 2025 社内における AIコーディングエージェントの普及率

Slide 21

Slide 21 text

21 主要ツールの月次アクティブ率も高水準を維持 91.3% 85.2% GitHub Copilot Cursor Gemini Notion AI ChatGPT 80.7% 56.9% 55.3%

Slide 22

Slide 22 text

開発組織における AI活用事例

Slide 23

Slide 23 text

23 コード・ドキュメント生成プロトタイピング、初期実装、テストコード、ドキュメントの自動生成リサーチ仕様把握、影響範囲の洗い出し、不具合の原因調査壁打ち・改善設計レビュー、ドキュメントの推敲、リファクタリング案の提示成果の上がっている具体的な活用シーン

Slide 24

Slide 24 text

24 Figmaデザインから直接フロントエンドコードを生成し、フロントエンド実装の工数を軽減実装活用例 : Figmaデザインから社内デザインシステムに則ったコード生成（イメージ）数十秒〜数分で生成

Slide 25

Slide 25 text

25 How to ● 社内デザインシステムのMCPサーバーを提供 Before ● フロントエンドはエンジニアがFigmaデザインを確認しながら手作業で実装していた After ● あるチームでは画面の実装スループットが 60%〜70%向上 ● 非フロントエンドエンジニアであっても簡単に画面の実装ができるようになった実装活用例 : Figmaデザインから社内デザインシステムに則ったコード生成

Slide 26

Slide 26 text

26 How to ● Cursor rulesファイルを活用し、以下のコンテキストを整備 ○ 業務に関する背景知識 ○ 開発フローに関する背景知識 Before ● ある機能が深い業務知識に依存している場合、業務知識を習得したエンジニアでなければ開発がままならなかった After ● AIが業務知識を補ってコードに落とし込んでくれるため、仕様の認識違いによる手戻りが大幅に減少した実装活用例 : Spec-Driven Developmentの実践による業務知識の効率的な実装

Slide 27

Slide 27 text

27 リサーチ活用例 : Ask DevinやDeepWikiを活用した仕様把握、影響範囲調査 https://deepwiki.com/search/vscode_be2ebe10-7db1-413c-b64b-534a71633c5c

Slide 28

Slide 28 text

28 How to ● DevinのAsk DevinやDeepWikiを、仕様把握や影響範囲調査に活用 Before ● 仕様把握や影響範囲調査にはコードリーディングや詳しい人へのヒアリングが必要で、リードタイムが長かった After ● 仕様把握や影響範囲調査が数分以内で完了できるようになった ● コードリサーチにかけるリードタイムが大幅に短縮できたリサーチ活用例 : Ask DevinやDeepWikiを活用した仕様把握、影響範囲調査

Slide 29

Slide 29 text

29 リサーチ活用例 : GPTsを活用した情報資産レベルの自動判定契約書タイトルの資産レベルは？ Thought for 1m 23s >

Slide 30

Slide 30 text

30 How to ● データガバナンスチームの定義に基づき、情報資産レベルを推論するGPTsを構築 Before ● 情報資産レベルの定義やデータガバナンスメンバーの見解を逐一確認し、データの取り扱い方法を1件1件詰める必要があった After ● GPTsの一次回答で情報資産レベルと判断根拠が示されるため、エンジニアが自身で判断できるケースが格段に増えたリサーチ活用例 : GPTsを活用した情報資産レベルの自動判定

Slide 31

Slide 31 text

31 開発組織における AI活用の目的 AI (特にAIエージェント ) により生産性向上を実現し、顧客により多くの価値を届けることまた、それにより会社の売上や利益に貢献すること

Slide 32

Slide 32 text

32 生産性のレベル定義出展: 広木大地氏「開発生産性について議論する前に知っておきたいこと」 https://qiita.com/hirokidaichi/items/53f0865398829bdebef1

Slide 33

Slide 33 text

33 施策による成果出展: 広木大地氏「開発生産性について議論する前に知っておきたいこと」 https://qiita.com/hirokidaichi/items/53f0865398829bdebef1 レベル1の生産性は定性面・定量面とも明確に向上 ● PR数が1.5倍以上に向上したチーム ● 1ヶ月以内に数万行以上のコードベースでPoC を形にしたチーム ● 社内で活用しているメンバーからも満場一致で “個人レベルでは ” 明確に上がったとの声

Slide 34

Slide 34 text

34 新たな課題出展: 広木大地氏「開発生産性について議論する前に知っておきたいこと」 https://qiita.com/hirokidaichi/items/53f0865398829bdebef1 レベル2以上の生産性はまだ効果が限定的 ● 機能リリース数が1.5倍やそれ以上には現状増えていない ● 売上や利益が1.5倍以上という状況でもない ● 組織規模の大きいプロダクトのほうが、効果が上がりづらい傾向が見られる

Slide 35

Slide 35 text

35 AIをビジネス価値に繋げるための学び AI活用の効果が思うように上がらない時、その裏には必ず組織課題が潜んでいる。 > AI is an amplifier - 2025 DORA Report

Slide 36

Slide 36 text

36 今後の展望組織とプロセスの地道な改善泥臭い改善活動はAI活用において不可避ここに銀の弾丸はない AIネイティブな開発フローの探究ベストプラクティスは存在するが、最終的には自組織に合わせ落とし込む必要ありこの両面において、 AID CoEとAIM CoEの連携を強化

Slide 37

Slide 37 text

まとめ

Slide 38

Slide 38 text

38 2つのCoEによるAI活用推進明確な責務分担 AID / AIMそれぞれで各領域にフォーカスした施策が実施でき、600名規模の会社でスムーズなAI活用が進められた専門性の高い施策業務ドメインの理解度が高いメンバーにより、 “外部コンサルタント ” にならず現場と伴走できた

Slide 39

Slide 39 text

39 直面した新たな課題と次の一手アウトカム創出の難しさアウトプットの向上をアウトカムに繋げるためには組織・プロセスを含め地道な改善が必要組織とプロセスを地道に改善しつつ AIネイティブな開発フローの探究を深める

Slide 40

Slide 40 text

法務ドメインの日本語ベンチマーク LegalRikaiの紹介後編

Slide 41

Slide 41 text

41 後半セッションの登壇者紹介藤田正悟 (Shogo Fujita) AI section / GenAI team X: @fujisyo32 主にLLMを使った契約書レビューの開発や、評価環境の整備、研究開発周りの業務を行う

Slide 42

Slide 42 text

42 法務領域の実務的なベンチマークが多数提案されている ● LexGlue [2022,Chalkidis+] (英語 / 主に米国・EU法域) ● LBOX Open [2022, Hwang+] (韓国語 / 韓国法域) ● LegalBench [2023,Guha+] (英語 / 米国法域中心） ● LawBench [2023,Fei+] (中国語 / 中国法域) ● LeCaRD [2023,Li+] (中国語 / 中国法域) ● LEXTREME [2023, Niklaus+] (多言語 / 複数法域 ※日本法は含まれていない) ● LegalAgentBench [2024,Li+] (中国語 / 中国法域)

Slide 43

Slide 43 text

43 一方、法務領域の実務的な日本語ベンチマークは少ない ● 日本の法令に関する多肢選択肢式QAデータセット ○ https://github.com/digital-go-jp/lawqa_jp ○ デジタル庁が公開したQAタスクのベンチマーク ● JTruthfulQA ○ https://github.com/nlp-waseda/JTruthfulQA ○ 事実状況を問うQAタスク ○ データセットの一部に法律に関するタスクを含んでいる

Slide 44

Slide 44 text

44 LLMの日本での法務領域の実務的な性能を検証したい ● 日本語、日本法のタスクに対する現行のLLMの性能を知りたい ● どの機能領域にLLMを組み込むべきかの判断材料が欲しい ● LLM選定・モデル構築方針の判断材料が欲しい

Slide 45

Slide 45 text

45 そこで自社ベンチマーク LegalRikaiを作成 (2025/3) https://legalontech.jp/8872/

Slide 46

Slide 46 text

46 LegalRikaiは下記のタスクで構成される ● 条文分類 ○ 契約書内の特定の種類の条文を識別し、分類するタスク ● 条文修正 ○ 契約書内の潜在的な問題に関するアラートに従って、条文の修正を行うタスク ● レビュー対象条文特定 ○ 契約書のレビュー指摘事項が与えられ、その指摘事項に対応する条文を特定するタスク

Slide 47

Slide 47 text

47 しかし、LegalRikaiは一般公開が難しい ● 法務ドメインでの日本語タスクの取り組みは盛んとは言えないため、一般公開することによって貢献したい ● 日本語の契約書データはあまり一般公開されていないため、LegalRikaiの契約書は社内のデータを利用している ● 社内のデータについては公開することに対するリスクが大きい

Slide 48

Slide 48 text

48 そこで、LegalRikai: Open Benchmarkを新たに作成 ● 弊社の契約書をベースにした擬似契約書データを使っており、一般公開可能 ● 実際の法務業務をもとにした4タスク x 25件のデータセット ● 契約書とそれに関連する法令の理解が必要な複雑なタスク ● 弊社の法務チームの弁護士による信頼性が高いアノテーション

Slide 49

Slide 49 text

49 タスク紹介 / Legal Amendment Explanation 法改正に対して、社内の関係者に「変更の概要」と「契約書への影響」を伝える

Slide 50

Slide 50 text

50 タスク紹介 / Legal Amendment Explanation 記載すべき雇用条件は以下です： - 就業の場所 … 記載すべき雇用条件は以下です： - 就業の場所 (就業の変更の範囲を含む ) ... # 変更の概要労働契約の締結時と更新時には、変更の範囲を明記しなければならない # 契約書への影響労働条件通知書兼雇用契約書において、就業場所の変更の範囲を明示する必要がある Legal Amendment Explanation 労働基準法に関する法改正

Slide 51

Slide 51 text

51 タスク紹介 / Statute-driven contract revision 法改正に対して、古い法令に基づいている契約書を新しい法令に準拠するように書き換える

Slide 52

Slide 52 text

52 タスク紹介 / Statute-driven contract revision 記載すべき雇用条件は以下です： - 就業の場所 … 記載すべき雇用条件は以下です： - 就業の場所 (就業の変更の範囲を含む ) ... 労働基準法に関する法改正 Statute-driven Contract Revision 勤務地：東京本社勤務地：東京本社（勤務地は変更となる場合があります）

Slide 53

Slide 53 text

53 タスク紹介 / Requirement-driven contract revision 関係者の要望や、契約条件の変化などに従って契約書の内容を書き換える

Slide 54

Slide 54 text

54 タスク紹介 / Requirement-driven contract revision 第8条 (再委託)を「委託者の事前の書面による承諾を得た場合に限り、再委託可能とする」旨に修正してください。ユーザーの要望 Requirement-driven Contract Revision 第8条 (再委託) 1.乙は、乙の責任において、本委託業務の一部を第三者に再委託することができる。ただし、乙は、甲が要請した場合、再委託先の名称及び住所等を甲に報告しなければならない。第8条 (再委託) 1.乙は、甲の事前の書面による承諾を得た場合に限り、乙の責任において、本委託業務の一部を第三者に再委託することができる。

Slide 55

Slide 55 text

55 タスク紹介 / Risk-driven contract revision 潜在的な法務リスクが与えられ、それに従って契約書の内容を書き換える

Slide 56

Slide 56 text

56 タスク紹介 / Risk-driven contract revision 再委託に関する条項について、契約書内に該当するテーマや項目が含まれている場合は、当該表現を委託側に有利に修正してください。削除することが有利になる場合は、削除してください。ユーザーの要望 Risk-driven Contract Revision 第8条 (再委託) 1.乙は、乙の責任において、本委託業務の一部を第三者に再委託することができる。ただし、乙は、甲が要請した場合、再委託先の名称及び住所等を甲に報告しなければならない。第8条 (再委託) 1.乙は、甲の事前の書面による承諾を得た場合に限り、乙の責任において、本委託業務の一部を第三者に再委託することができる。

Slide 57

Slide 57 text

57 推論について　ベースラインとして、LLMに必要な情報を入力してend to endで生成した Legal Amendment Explanationの例

Slide 58

Slide 58 text

58 評価について / Legal Amendment Explanation 下記の6つの観点で評価を行った ● 主要な変更点を網羅できているか ● 変更点を正確に説明しているか ● 変更点について不要な内容を含んでいないか ● 影響する事項を網羅できているか ● 影響について正確に説明しているか ● 影響について不要な内容を含んでいないか

Slide 59

Slide 59 text

59 評価について / Legal Amendment Explanation以外の3タスク下記の5つの観点で評価を行った ● 指示通りの修正がされているか ● 契約書構造が整合しているか ● 不要な修正がされていないか ● 専門用語が正しく使用されているか ● 契約書的な言い回しが適切に使用されているか

Slide 60

Slide 60 text

60 人手評価の結果 ※見やすさのため、全ての尺度を[0, 100]に正規化して平均をとった LegalAmend StatRev ReqRev RiskRev GPT-5 55.67 64.40 81.60 63.40 Gemini-2.5 Pro 63.33 69.80 91.00 74.00 Claude Opus 4.1 55.33 63.40 92.00 78.40

Slide 61

Slide 61 text

61 今後の展望 ● データセットの拡充 ● 今後新しく登場するLLMや、オンプレ環境で動かすことを前提としているLLMの性能検証 ● 人手評価と強く一致するような自動評価手法の探索

Slide 62

Slide 62 text

62 おわりに LegalRikai: Open Benchmarkは一般公開するので、ぜひ使ってください！

Slide 63

Slide 63 text

We are hiring!

Slide 64

Slide 64 text

64 AIを活用する様々なポジションで積極採用中！ ● Software Engineer ● Site Reliability Engineer ● Platform Engineer ● Engineering Manager ● Product Manager ● AI Engineer ● AI Productivity Engineer

Slide 65

Slide 65 text

株式会社LegalOn Technologies https://legalontech.jp/