Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[DEIM2021] 企業法務を支援する契約書検索システムの設計と実装
Search
LegalOn Technologies, Inc
PRO
March 03, 2021
Technology
6
7.3k
[DEIM2021] 企業法務を支援する契約書検索システムの設計と実装
DEIM2021にて,リーガルテックにおけるLegalForceの取り組みを紹介した資料です。
LegalOn Technologies, Inc
PRO
March 03, 2021
Tweet
Share
More Decks by LegalOn Technologies, Inc
See All by LegalOn Technologies, Inc
LegalOn Technologies Developers Compass
legalontechnologies
PRO
0
630
QAチームの生成AIを使った取り組み:現場のリアル、みんなで語る交流座談会 2025/7/3
legalontechnologies
PRO
0
150
Jagu'e'r データ利活用分科会 #27 そのLooker構成、世界で戦える? ~グローバル展開のための設計術~
legalontechnologies
PRO
0
110
Data & AI Summit ’25 Spring 登壇資料 データの見えない糸を紡ぐ:LLMを活用したLookerとdbtによるメタデータ戦略
legalontechnologies
PRO
0
200
Developers Summit 2025 浅野卓也(13-B-7 LegalOn Technologies)
legalontechnologies
PRO
3
6k
リーガルテックにおける検索・推薦技術
legalontechnologies
PRO
5
2.3k
[NLP2023] 最小コスト法に基づく形態素解析におけるCPU キャッシュの効率化
legalontechnologies
PRO
1
260
生成AIを搭載したプロダクト開発 - 少人数で爆速リリースしてわかったこと -
legalontechnologies
PRO
1
15k
Auto-evaluation of ranking model by LLM
legalontechnologies
PRO
0
1.2k
Other Decks in Technology
See All in Technology
AI駆動開発 with MixLeap Study【大阪支部 #3】
lycorptech_jp
PRO
0
300
Strands Agents & Bedrock AgentCoreを1分でおさらい
minorun365
PRO
6
130
増え続ける脆弱性に立ち向かう: 事前対策と優先度づけによる 持続可能な脆弱性管理 / Confronting the Rise of Vulnerabilities: Sustainable Management Through Proactive Measures and Prioritization
nttcom
1
230
経理出身PdMがAIプロダクト開発を_ハンズオンで学んだ話.pdf
shunsukenarita
1
280
Microsoft Clarityでインサイトを見つけよう
nakasho
0
110
【CEDEC2025】大規模言語モデルを活用したゲーム内会話パートのスクリプト作成支援への取り組み
cygames
PRO
2
630
風が吹けばWHOISが使えなくなる~なぜWHOIS・RDAPはサーバー証明書のメール認証に使えなくなったのか~
orangemorishita
15
4.9k
みんなのSRE 〜チーム全員でのSRE活動にするための4つの取り組み〜
kakehashi
PRO
2
120
From Live Coding to Vibe Coding with Firebase Studio
firebasethailand
1
390
Perlアプリケーションで トレースを実装するまでの 工夫と苦労話
masayoshi
1
330
Microsoft Learn MCP/Fabric データエージェント/Fabric MCP/Copilot Studio-簡単・便利なAIエージェント作ってみた -"Building Simple and Powerful AI Agents with Microsoft Learn MCP, Fabric Data Agent, Fabric MCP, and Copilot Studio"-
reireireijinjin6
1
210
AWS表彰プログラムとキャリアについて
naoki_0531
1
150
Featured
See All Featured
Thoughts on Productivity
jonyablonski
69
4.8k
The Pragmatic Product Professional
lauravandoore
36
6.8k
How to train your dragon (web standard)
notwaldorf
96
6.1k
A Modern Web Designer's Workflow
chriscoyier
695
190k
Large-scale JavaScript Application Architecture
addyosmani
512
110k
10 Git Anti Patterns You Should be Aware of
lemiorhan
PRO
656
60k
Building Better People: How to give real-time feedback that sticks.
wjessup
367
19k
Side Projects
sachag
455
43k
The Power of CSS Pseudo Elements
geoffreycrofte
77
5.9k
Navigating Team Friction
lara
188
15k
GitHub's CSS Performance
jonrohan
1031
460k
Build The Right Thing And Hit Your Dates
maggiecrowley
37
2.8k
Transcript
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 企業法務を支援する契約書検索システムの設計と実装 DEIM2021 技術報告 株式会社LegalForce R&Dセクション 打田智子
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 会社概要: 株式会社LegalForce 株 主 すべての契約リスクを制御可能にする。 プロダクトパートナー 代 表: 角田 望(代表取締役 CEO) 創 業: 2017年4月21日 従業員等: 145名(役員含む。) 資本金等: 41.9億円(資本準備金等含む。) 2021年2月時点
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約業務をトータルで効率化していく製品ラインナップ 契約書レビューをAIで加速。 レビュー支援ソフトウェア 次世代型契約管理システム 契約・法令情報メディア
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce 導入状況 2021年2月時点で700社導入
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書レビュー業務における全文検索 契約書(条文)の全文検索における2つの検索ニーズ 1. 過去に結んだ契約書中の,特定の条項を探したい ◦ 明確に,この結果が欲しいという「正解」がユーザーの頭にある ◦ 模範として使う条文に素早くアクセスしたい ◦ いわゆる navigational な検索ニーズ 2. 言い回しの参考文例として使える条項を探したい ◦ 明確な正解というのはないが,「こういう文例が欲しい」というイメージがユーザーの 頭にある ◦ いわゆる informational な検索ニーズ 両方の検索ニーズに対応していく必要がある。
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce が提供する条文検索システム AIレビューを補完する,ナレッジマネジメント機能の柱として • 目的は,ユーザーの契約書レビュー業務の効率を向上させること • もっとも望ましいのは,蓄積されたナレッジベースの中から,コピーしてそのまま使える ような参考条文を提示すること • コンテキスト 全文検索クエリに加えて,以下を考慮できると良い ◦ レビュー中の契約書の類型(NDA,業務委託契約,etc.) ◦ レビュー中の契約書の条文種別(秘密保持条項,損害賠償条項,etc.) ◦ 立場:自社に有利な条文を参考にしたい場合が多い ◦ フレッシュネス:最近締結した(新しい)条文を参考にしたい場合が多い
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 契約書構造解析
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 多言語対応
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 情報抽出
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - インデクシングパイプライン 契約書ファイル(バイナリデータ)からテキストを抽出し,様々な前処理を行う テキスト抽出 ・OCR ・PDF/OpenXML パース 文書構造解析 ・タイトル抽出 ・条項への分割 ・表の抽出 etc. 言語判定 情報抽出 ・当事者名 ・日付情報 etc. 検索インデックス (検索エンジン) 契約書ファイル ・PDF ・Microsoft Word それぞれの処理は,独立したマイクロサービス (Web API)として提供される。 ルールベース・機械学習を併用。
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce が提供する類似契約書の差分比較機能 • 過去に締結した契約書と,レビュー中の契約書の差分を比較したい,というニーズは 大きい • 検索・自然言語処理の応用: ◦ 比較対象の契約書を探すための類似文書検索 ◦ 条文の並びの変更に対してロバストな比較を行うための,類似条文のアラインメン ト
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 類似契約書の差分比較機能 類似文書検索(推薦)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 類似契約書の差分比較機能 アラインメント
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書(条文)検索における研究課題
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書ドメイン(コーパス)特有の課題 • 企業法務特有の,専門的な用語や略語がある ◦ 例:「競業避止」「不争」「善管」 ◦ そもそも単語分割で失敗する • 研究課題 ◦ 索引語の品質担保ための,ドメイン特化辞書を整備する ◦ 略語の検出
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書ドメイン(コーパス)特有の課題 • 言い回しが少し違うだけのよく似た条文が多い ◦ 素のBM25スコアリングを適用すると,ほとんど同じような条文が上位に並んでしま う ◦ 多数の契約書を保持しているエンタープライズ企業ユーザーで特に問題になる • 研究課題 ◦ 検索結果の有用性を担保するため, 検索結果ファーストビューの多様性を確保する
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved BtoB SaaS 特有の課題 - プライベートコーパス • ユーザーごとに検索対象コーパスの大きさや語彙の分布が異なる • コーパスの秘匿性・機密性の高さから,生文を見ながら検索結果をチューニングするこ とは一切できない • 研究課題 ◦ セキュリティ・プライバシーを担保しながら, 検索の品質・体験を向上させる ◦ プライベートサーチ,メールサーチで使われる手法が 有効と考えられる
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved BtoB SaaS 特有の課題 - クエリログ不足 • 専門性が高く,利用シーン・利用ユーザーが限られる • 統計的な分析に必要な,大量の検索クエリログが蓄積されにくい • 研究課題 ◦ クエリログに頼らずに,検索の品質・体験を向上させる ◦ (コールドスタート問題の応用として考えられるかもしれない)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved その他,今後の展望 • 契約書構造解析,情報抽出精度の向上 • オンラインテスト(A/Bテスト)で検索性能を定量的に評価する • 業務フローに特化したより深いコンテキストをランキングの特徴量に盛り込む • 「キーワード検索していること」をユーザーに意識させずに,適切な場面で適切な検索 結果を提示するインタフェース
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved まとめ • LegalForce における,情報検索・自然言語処理を活用したシステムの紹介 • ドメイン・アプリケーション領域に特有の課題を整理 • 今後の展望 【PR】LegalForce R&Dセクションではエンジニアを募集しています。 興味を持たれた方はぜひお声がけください。 ❏ バックエンドエンジニア(検索) ❏ リサーチエンジニア(NLP・機械学習) ❏ インフラエンジニア(データ基盤)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved このあと,ランチセッションを開催します! お昼ごはんを食べながら,Zoomブースにお立ち寄りください :)