©MNTSQ, Ltd. 契約書プラットフォームでの RAGのタスク設計 Yotaro Katayama 2023/10/23 @ LLM Production Meetup #2

©MNTSQ, Ltd. 2 すべての合意をフェアにする。 テクノロジーで契約のありかたを変革するという挑戦 誰もがフェアな契約を一瞬で結ぶことができる世界を目指して。 私たちMNTSQ（モンテスキュー）は、機械学習テクノロジーと日本トップローファームの力を掛け合わせ、 大企業の契約業務の変革を進めるAI SaaSプロダクトをつくっています。

©MNTSQ, Ltd. 3 契約は、あらゆる事業で、必ず負担になっている 3.2億 件／年 契約の件数 1.2兆 円 法務の人件費 8.0億 時間／年 契約業務の時間 経産省センサス、NBL（企業法務部実態調査）、日弁連統計などからMNTSQで推計

©MNTSQ, Ltd. 4 ドラフト 審査交渉 締結 集約 管 理 分 析 MNTSQ CLM MNTSQ 自動ドラフティング MNTSQ 案件管理 MNTSQ Connect MNTSQ 契約管理 MNTSQ データベース 大企業に求められる、 一気通貫のCLM MNTSQのCLM（Contract Lifecycle Management）は契約のライフサイクル （作成−審査−締結−管理−ナレッジ化） を1つのプロダクトで網羅的にカバー C社 CLM B社 電 子 契 約 A社 審 査 支 援

©MNTSQ, Ltd. 5 自己紹介 堅山耀太郎 (@YotaroKatayama) MNTSQ株式会社 共同創業者取締役。東京大学大学院、外資系投資銀行 を経て、株式会社BEDORE（現: 株式会社PKSHA Workplace）を共同創 業し取締役として自然言語処理関連のソリューション事業を統括。 2018年より現職にて機械学習アルゴリズム開発からファイナンスまで フェーズに応じて幅広い領域を所管 最近の趣味は今日のパフォーマンス計測にも使っている LLMのOSSを開発すること https://github.com/combinatrix-ai/PromptTrail/ 宣伝) いろんなLLM APIを叩け、複雑なエージェントもDSLで簡潔に書けます！ 今回の発表内容の検証も、これでやってます！PromptTrailで検索してください

©MNTSQ, Ltd. 6 ※ MNTSQ調べ ※ 一部企業様を掲載。50音順 売上高1兆円以上の国内企業の約20%に採用 大量の契約データが各社日々蓄積する世界 数十万 関連ファイル が保存 年数千件 の法務相談 数万人 の社員 MNTSQは大量の契約データが集積されるプラットフォーム

©MNTSQ, Ltd. 7 2018~: MNTSQが自動で契約を解析し、ナレッジとして活用できる形に 条項構 解析 条項 意味解析 契約類型 分類 / 契約・非契約 判定 契約 基本情報抽出: 契約当事者 契約締結日 契約期間 契約自動更新 取引金額 準拠法 国・地域, etc. 契約間 関連解析

©MNTSQ, Ltd. 8 MNTSQ AI契約レビュー: 自社データを活用したAI契約書レビューの実現 (2024/4より順次正式リリース)

©MNTSQ, Ltd. 9 MNTSQ AI契約レビュー: 自社データを活用したAI契約書レビューの実現 (2024/4より順次正式リリース) 自然言語でクエリ MNTSQ CLM データから 検索 差分 み 自動適用

©MNTSQ, Ltd. 10 主要タスクのひとつ: 典型的なRAG (Retrieval Augmented Generation) MNTSQ: 大量の契約書 Word: 契約書データ / ユーザ入力 参考情報検索・候補絞り込み (Retrieval) 過去参考案の提示・変形適用 (Generation)

©MNTSQ, Ltd. 11 大量のデータに対するRAGの適用: コンテキスト長とモデル選択の壁 例) 契約書数 50k 平均条文数 10 平均条文文字数 200 => 86,000k トークン コンテキスト長 最大入力時費用 gpt-3.5-turbo 4k (日: 4,600字) $0.006 (¥0.9) 16k (日: 186,000字) $0.048 (¥7.2) gpt-4k 8k (日: 9300字) $0.24 (¥36) 32k (日: 371,000字) $1.92 (¥288) OpenAI APIのPricingより計算、出力トークンの費用を含まない、1ドル150円で換算 契約書データ平均のトークン数は日本語文字数の1.16倍前後として試算 (MNTSQ調べ) コンテキスト長 4x → 費用 8x GPT-3.5からGPT-4 → 費用 10x or 20x 大量の条文データが存在 コンテキスト長やモデル選択で費用は大きく変わる 1回のAPI呼び出しで作れる付加価値との比較考量が必要

©MNTSQ, Ltd. 12 大量のデータに対するRAGの適用: ドメイン特化のメタデータによるハイブリットサーチの設計 ドキュメント数 10^5 先方の監査をする 権利を制約したい 優先度高「業務委託契約書」の雛型 3 優先度高「A社」と締結済「業務委託契約」 10 優先度中「B事業部」の「業務委託契約」　 100 今見ているのは... - 相手方: A社 - 類型: 業務委託契約 担当は、B事業部 M ユーザ意図の 抽出 ドメイン特化 のファセット の設計 ドメイン特化 のメタデータ で絞り込み コンテキスト 長に併せて 詰め込む 10条前後まで抑えれば4kでもコンテキスト長に収まる Prompt / 複数ターンタスクの設計の工夫

©MNTSQ, Ltd. 13 タスク設計: タスクの性質を踏まえたモデル選択 複数ターンの会話 検索結果からサマリ生成 選択文から適用文案生成 必要 コンテキスト長 制御不能 (長) 制御可能 (短〜長) 短 Hallucination 等のリスク 大 中 小 タスク難易度 制御不能 小 中 タスク毎に異なるAPI Callの仕方の設計が必要

©MNTSQ, Ltd. 14 タスク設計: モデル毎の非機能要件差分も大きい ✓ 契約書の条文等が実質的に入力 できないようなLLM APIも存在 レスポンス速度 コンテンツフィルタ ✓ 平均/分散 ✓ 混雑時にどうなるか？ ✓ 情報セキュリティ要件 提供形態

©MNTSQ, Ltd. 15 最終的には個々のタスクに依存して検討することになる（機能要件 vs 技術成約） 例え ... 費用 (3.8k token) 正解率 度 GPT-4 18円 100% 17s±1.8s GPT-3.5 0.9円 80% 9.3s±0.3s - GPT-4の費用で価値が成立するか？ - GPT-4のスピードでユーザーが待てるか？ - GPT-3.5でさえ待てるか？ - streamによって文字列を逐次出力すれば？ - GPT-3.5を並列で走らせて多数決で正解率を上げる？ - パラメータいろいろいじる？