本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 企業法務を支援する契約書検索システムの設計と実装 DEIM2021 技術報告 株式会社LegalForce R&Dセクション 打田智子

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 会社概要: 株式会社LegalForce 株　主 すべての契約リスクを制御可能にする。 プロダクトパートナー 代　　表: 角田 望（代表取締役 CEO） 創　　業: 2017年4月21日 従業員等: 145名（役員含む。） 資本金等: 41.9億円（資本準備金等含む。） 2021年2月時点

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約業務をトータルで効率化していく製品ラインナップ 契約書レビューをAIで加速。 レビュー支援ソフトウェア 次世代型契約管理システム 契約・法令情報メディア

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce 導入状況　2021年2月時点で700社導入

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書レビュー業務における全文検索 契約書（条文）の全文検索における2つの検索ニーズ 1. 過去に結んだ契約書中の，特定の条項を探したい ○ 明確に，この結果が欲しいという「正解」がユーザーの頭にある ○ 模範として使う条文に素早くアクセスしたい ○ いわゆる navigational な検索ニーズ 2. 言い回しの参考文例として使える条項を探したい ○ 明確な正解というのはないが，「こういう文例が欲しい」というイメージがユーザーの 頭にある ○ いわゆる informational な検索ニーズ 両方の検索ニーズに対応していく必要がある。

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce が提供する条文検索システム AIレビューを補完する，ナレッジマネジメント機能の柱として ● 目的は，ユーザーの契約書レビュー業務の効率を向上させること ● もっとも望ましいのは，蓄積されたナレッジベースの中から，コピーしてそのまま使える ような参考条文を提示すること ● コンテキスト 全文検索クエリに加えて，以下を考慮できると良い ○ レビュー中の契約書の類型（NDA，業務委託契約，etc.） ○ レビュー中の契約書の条文種別（秘密保持条項，損害賠償条項，etc.） ○ 立場：自社に有利な条文を参考にしたい場合が多い ○ フレッシュネス：最近締結した（新しい）条文を参考にしたい場合が多い

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 契約書構造解析

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 多言語対応

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - 自然言語処理の活用 情報抽出

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 条文検索システム - インデクシングパイプライン 契約書ファイル（バイナリデータ）からテキストを抽出し，様々な前処理を行う テキスト抽出 ・OCR ・PDF/OpenXML パース 文書構造解析 ・タイトル抽出 ・条項への分割 ・表の抽出 etc. 言語判定 情報抽出 ・当事者名 ・日付情報 etc. 検索インデックス （検索エンジン） 契約書ファイル ・PDF ・Microsoft Word それぞれの処理は，独立したマイクロサービス （Web API）として提供される。 ルールベース・機械学習を併用。

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved LegalForce が提供する類似契約書の差分比較機能 ● 過去に締結した契約書と，レビュー中の契約書の差分を比較したい，というニーズは 大きい ● 検索・自然言語処理の応用： ○ 比較対象の契約書を探すための類似文書検索 ○ 条文の並びの変更に対してロバストな比較を行うための，類似条文のアラインメン ト

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 類似契約書の差分比較機能 類似文書検索（推薦）

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 類似契約書の差分比較機能 アラインメント

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書（条文）検索における研究課題

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書ドメイン（コーパス）特有の課題 ● 企業法務特有の，専門的な用語や略語がある ○ 例：「競業避止」「不争」「善管」 ○ そもそも単語分割で失敗する ● 研究課題 ○ 索引語の品質担保ための，ドメイン特化辞書を整備する ○ 略語の検出

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 契約書ドメイン（コーパス）特有の課題 ● 言い回しが少し違うだけのよく似た条文が多い ○ 素のBM25スコアリングを適用すると，ほとんど同じような条文が上位に並んでしま う ○ 多数の契約書を保持しているエンタープライズ企業ユーザーで特に問題になる ● 研究課題 ○ 検索結果の有用性を担保するため， 検索結果ファーストビューの多様性を確保する

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved BtoB SaaS 特有の課題 - プライベートコーパス ● ユーザーごとに検索対象コーパスの大きさや語彙の分布が異なる ● コーパスの秘匿性・機密性の高さから，生文を見ながら検索結果をチューニングするこ とは一切できない ● 研究課題 ○ セキュリティ・プライバシーを担保しながら， 検索の品質・体験を向上させる ○ プライベートサーチ，メールサーチで使われる手法が 有効と考えられる

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved BtoB SaaS 特有の課題 - クエリログ不足 ● 専門性が高く，利用シーン・利用ユーザーが限られる ● 統計的な分析に必要な，大量の検索クエリログが蓄積されにくい ● 研究課題 ○ クエリログに頼らずに，検索の品質・体験を向上させる ○ （コールドスタート問題の応用として考えられるかもしれない）

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved その他，今後の展望 ● 契約書構造解析，情報抽出精度の向上 ● オンラインテスト（A/Bテスト）で検索性能を定量的に評価する ● 業務フローに特化したより深いコンテキストをランキングの特徴量に盛り込む ● 「キーワード検索していること」をユーザーに意識させずに，適切な場面で適切な検索 結果を提示するインタフェース

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved まとめ ● LegalForce における，情報検索・自然言語処理を活用したシステムの紹介 ● ドメイン・アプリケーション領域に特有の課題を整理 ● 今後の展望 【PR】LegalForce R&Dセクションではエンジニアを募集しています。 興味を持たれた方はぜひお声がけください。 ❏ バックエンドエンジニア（検索） ❏ リサーチエンジニア（NLP・機械学習） ❏ インフラエンジニア（データ基盤）

本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved 本資料は講演のために提供されるものであり、株式会社 LegalForceの事前の承諾なしに、 複写、引用または第三者に提供することはできません。 © 2021 LegalForce, Inc. all rights reserved このあと，ランチセッションを開催します！ お昼ごはんを食べながら，Zoomブースにお立ち寄りください :)