Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
[DEIM2021] 企業法務を支援する契約書検索システムの設計と実装
Search
LegalOn Technologies, Inc
PRO
March 03, 2021
Technology
6
7.3k
[DEIM2021] 企業法務を支援する契約書検索システムの設計と実装
DEIM2021にて,リーガルテックにおけるLegalForceの取り組みを紹介した資料です。
LegalOn Technologies, Inc
PRO
March 03, 2021
Tweet
Share
More Decks by LegalOn Technologies, Inc
See All by LegalOn Technologies, Inc
LegalOn Technologies Developers Compass(English)
legalontechnologies
PRO
0
28
グローバルリーガルテック 企業における Google Security Operations と Security Command Center Enterpriseを活用したセキュリティ監視
legalontechnologies
PRO
2
79
リーガルテックのグローバル展開を実現するGKEを活用したアプリケーションプラットフォームへの進化
legalontechnologies
PRO
1
100
LegalOn Technologies Developers Compass
legalontechnologies
PRO
1
2.1k
QAチームの生成AIを使った取り組み:現場のリアル、みんなで語る交流座談会 2025/7/3
legalontechnologies
PRO
0
200
Jagu'e'r データ利活用分科会 #27 そのLooker構成、世界で戦える? ~グローバル展開のための設計術~
legalontechnologies
PRO
0
130
Data & AI Summit ’25 Spring 登壇資料 データの見えない糸を紡ぐ:LLMを活用したLookerとdbtによるメタデータ戦略
legalontechnologies
PRO
1
240
Developers Summit 2025 浅野卓也(13-B-7 LegalOn Technologies)
legalontechnologies
PRO
3
6.4k
リーガルテックにおける検索・推薦技術
legalontechnologies
PRO
5
2.3k
Other Decks in Technology
See All in Technology
「全員プロダクトマネージャー」を実現する、Cursorによる仕様検討の自動運転
applism118
21
10k
Codeful Serverless / 一人運用でもやり抜く力
_kensh
7
400
職種の壁を溶かして開発サイクルを高速に回す~情報透明性と職種越境から考えるAIフレンドリーな職種間連携~
daitasu
0
160
実践!カスタムインストラクション&スラッシュコマンド
puku0x
0
380
要件定義・デザインフェーズでもAIを活用して、コミュニケーションの密度を高める
kazukihayase
0
110
Obsidian応用活用術
onikun94
2
490
開発者を支える Internal Developer Portal のイマとコレカラ / To-day and To-morrow of Internal Developer Portals: Supporting Developers
aoto
PRO
1
460
2つのフロントエンドと状態管理
mixi_engineers
PRO
3
100
生成AI時代のデータ基盤設計〜ペースレイヤリングで実現する高速開発と持続性〜 / Levtech Meetup_Session_2
sansan_randd
1
150
ハードウェアとソフトウェアをつなぐ全てを内製している企業の E2E テストの作り方 / How to create E2E tests for a company that builds everything connecting hardware and software in-house
bitkey
PRO
1
130
Terraformで構築する セルフサービス型データプラットフォーム / terraform-self-service-data-platform
pei0804
1
170
DDD集約とサービスコンテキスト境界との関係性
pandayumi
3
280
Featured
See All Featured
JavaScript: Past, Present, and Future - NDC Porto 2020
reverentgeek
51
5.6k
Product Roadmaps are Hard
iamctodd
PRO
54
11k
[RailsConf 2023 Opening Keynote] The Magic of Rails
eileencodes
30
9.7k
Why You Should Never Use an ORM
jnunemaker
PRO
59
9.5k
Optimizing for Happiness
mojombo
379
70k
Rebuilding a faster, lazier Slack
samanthasiow
83
9.2k
Speed Design
sergeychernyshev
32
1.1k
How to Think Like a Performance Engineer
csswizardry
26
1.9k
Being A Developer After 40
akosma
90
590k
Practical Tips for Bootstrapping Information Extraction Pipelines
honnibal
PRO
23
1.4k
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
31
2.5k
Cheating the UX When There Is Nothing More to Optimize - PixelPioneers
stephaniewalter
285
13k
Transcript
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 企業法務を支援する契約書検索システムの設計と実装 DEIM2021 技術報告 株式会社LegalForce R&Dセクション 打田智子
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 会社概要: 株式会社LegalForce 株 主 すべての契約リスクを制御可能にする。 プロダクトパートナー 代 表: 角田 望(代表取締役 CEO) 創 業: 2017年4月21日 従業員等: 145名(役員含む。) 資本金等: 41.9億円(資本準備金等含む。) 2021年2月時点
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約業務をトータルで効率化していく製品ラインナップ 契約書レビューをAIで加速。 レビュー支援ソフトウェア 次世代型契約管理システム 契約・法令情報メディア
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce 導入状況 2021年2月時点で700社導入
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書レビュー業務における全文検索 契約書(条文)の全文検索における2つの検索ニーズ 1. 過去に結んだ契約書中の,特定の条項を探したい ◦ 明確に,この結果が欲しいという「正解」がユーザーの頭にある ◦ 模範として使う条文に素早くアクセスしたい ◦ いわゆる navigational な検索ニーズ 2. 言い回しの参考文例として使える条項を探したい ◦ 明確な正解というのはないが,「こういう文例が欲しい」というイメージがユーザーの 頭にある ◦ いわゆる informational な検索ニーズ 両方の検索ニーズに対応していく必要がある。
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce が提供する条文検索システム AIレビューを補完する,ナレッジマネジメント機能の柱として • 目的は,ユーザーの契約書レビュー業務の効率を向上させること • もっとも望ましいのは,蓄積されたナレッジベースの中から,コピーしてそのまま使える ような参考条文を提示すること • コンテキスト 全文検索クエリに加えて,以下を考慮できると良い ◦ レビュー中の契約書の類型(NDA,業務委託契約,etc.) ◦ レビュー中の契約書の条文種別(秘密保持条項,損害賠償条項,etc.) ◦ 立場:自社に有利な条文を参考にしたい場合が多い ◦ フレッシュネス:最近締結した(新しい)条文を参考にしたい場合が多い
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 契約書構造解析
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 多言語対応
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 情報抽出
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - インデクシングパイプライン 契約書ファイル(バイナリデータ)からテキストを抽出し,様々な前処理を行う テキスト抽出 ・OCR ・PDF/OpenXML パース 文書構造解析 ・タイトル抽出 ・条項への分割 ・表の抽出 etc. 言語判定 情報抽出 ・当事者名 ・日付情報 etc. 検索インデックス (検索エンジン) 契約書ファイル ・PDF ・Microsoft Word それぞれの処理は,独立したマイクロサービス (Web API)として提供される。 ルールベース・機械学習を併用。
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce が提供する類似契約書の差分比較機能 • 過去に締結した契約書と,レビュー中の契約書の差分を比較したい,というニーズは 大きい • 検索・自然言語処理の応用: ◦ 比較対象の契約書を探すための類似文書検索 ◦ 条文の並びの変更に対してロバストな比較を行うための,類似条文のアラインメン ト
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 類似契約書の差分比較機能 類似文書検索(推薦)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 類似契約書の差分比較機能 アラインメント
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書(条文)検索における研究課題
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書ドメイン(コーパス)特有の課題 • 企業法務特有の,専門的な用語や略語がある ◦ 例:「競業避止」「不争」「善管」 ◦ そもそも単語分割で失敗する • 研究課題 ◦ 索引語の品質担保ための,ドメイン特化辞書を整備する ◦ 略語の検出
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書ドメイン(コーパス)特有の課題 • 言い回しが少し違うだけのよく似た条文が多い ◦ 素のBM25スコアリングを適用すると,ほとんど同じような条文が上位に並んでしま う ◦ 多数の契約書を保持しているエンタープライズ企業ユーザーで特に問題になる • 研究課題 ◦ 検索結果の有用性を担保するため, 検索結果ファーストビューの多様性を確保する
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved BtoB SaaS 特有の課題 - プライベートコーパス • ユーザーごとに検索対象コーパスの大きさや語彙の分布が異なる • コーパスの秘匿性・機密性の高さから,生文を見ながら検索結果をチューニングするこ とは一切できない • 研究課題 ◦ セキュリティ・プライバシーを担保しながら, 検索の品質・体験を向上させる ◦ プライベートサーチ,メールサーチで使われる手法が 有効と考えられる
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved BtoB SaaS 特有の課題 - クエリログ不足 • 専門性が高く,利用シーン・利用ユーザーが限られる • 統計的な分析に必要な,大量の検索クエリログが蓄積されにくい • 研究課題 ◦ クエリログに頼らずに,検索の品質・体験を向上させる ◦ (コールドスタート問題の応用として考えられるかもしれない)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved その他,今後の展望 • 契約書構造解析,情報抽出精度の向上 • オンラインテスト(A/Bテスト)で検索性能を定量的に評価する • 業務フローに特化したより深いコンテキストをランキングの特徴量に盛り込む • 「キーワード検索していること」をユーザーに意識させずに,適切な場面で適切な検索 結果を提示するインタフェース
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved まとめ • LegalForce における,情報検索・自然言語処理を活用したシステムの紹介 • ドメイン・アプリケーション領域に特有の課題を整理 • 今後の展望 【PR】LegalForce R&Dセクションではエンジニアを募集しています。 興味を持たれた方はぜひお声がけください。 ❏ バックエンドエンジニア(検索) ❏ リサーチエンジニア(NLP・機械学習) ❏ インフラエンジニア(データ基盤)
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved
本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved このあと,ランチセッションを開催します! お昼ごはんを食べながら,Zoomブースにお立ち寄りください :)