AIの非決定性を吸収する設計: youtrust_09_19

by Moriyama Nagi

Slide 1

Slide 1 text

MNTSQ株式会社森山凪 2025/09/19 AIの非決定性を吸収する設計

Slide 2

Slide 2 text

目次 MNTSQ株式会社とは MNTSQ株式会社／契約市場契約 x LLMの難しさ契約という専門領域／企業ごとの独自性／失敗が許されない LLMの非決定性との向き合い信頼性の高いデータ／禁止表現を真偽値／人的なフェイルオーバーまとめ

Slide 3

Slide 3 text

MNTSQ株式会社とは

Slide 4

Slide 4 text

すべての合意をフェアにするテクノロジーで契約のありかたを変革するという挑戦誰もがフェアな契約を一瞬で結ぶことができる世界を目指して。私たちMNTSQ（モンテスキュー）は、機械学習テクノロジーと日本トップローファームの力を掛け合わせ、大企業の契約業務の変革を進めるAI SaaSプロダクトをつくっています。

Slide 5

Slide 5 text

5 契約は、あらゆる事業で、必ず負担になっている 5.7億件／年契約の件数 2.6兆円法務の人件費 10.5億時間／年契約業務の時間経産省センサス、NBL（企業法務部実態調査）、日弁連統計などからMNTSQで推計

Slide 6

Slide 6 text

契約 x LLMの難しさ

Slide 7

Slide 7 text

©MNTSQ, Ltd. 7 契約 x LLMの難しさ法律という専門領域企業ごとの独自性失敗が許されない・OSSのように公開されておらず機密性が高いため学習が困難・法律上では一般的な日本語とは異なる解釈をすることがある・交渉経緯や背景の違い・ビジネス形態の違い、許容できるリスクの違い・企業存続のリスクを抱える

Slide 8

Slide 8 text

©MNTSQ, Ltd. 8 契約 x LLMの難しさ法律という専門領域企業ごとの独自性失敗が許されない・OSSのように公開されておらず機密性が高いため学習が困難・法律上では一般的な日本語とは異なる解釈をすることがある・交渉経緯や背景の違い・ビジネス形態の違い、許容できるリスクの違い・企業存続のリスクを抱える LLMの不安定な出力（非決定性）が課題

Slide 9

Slide 9 text

LLMの非決定性との向き合い方

Slide 10

Slide 10 text

©MNTSQ, Ltd. 10 LLMの非決定性との向き合い方 1. 信頼性の高いデータを参照 2. 禁止表現を真偽値の出力に変換 3. 人的なフェイルオーバー

Slide 11

Slide 11 text

1. 信頼性の高いデータを参照

Slide 12

Slide 12 text

©MNTSQ, Ltd. 12 信頼性の高いデータを参照そのまま使うならオフィスツールのAIでいい LLM

Slide 13

Slide 13 text

©MNTSQ, Ltd. 13 信頼性の高いデータを参照研ぎ澄ます LLM

Slide 14

Slide 14 text

©MNTSQ, Ltd. 14 信頼性の高いデータを参照 LLM LLM

Slide 15

Slide 15 text

2. 禁止表現は真偽値の出力に

Slide 16

Slide 16 text

©MNTSQ, Ltd. 16 禁止表現を真偽値で出力突然ですが、今からテストをします次のスライドの指示に従ってください

Slide 17

Slide 17 text

©MNTSQ, Ltd. 17 禁止表現を真偽値で出力ピンクのゾウを想像しないでください

Slide 18

Slide 18 text

©MNTSQ, Ltd. 18 禁止表現を真偽値で出力

Slide 19

Slide 19 text

©MNTSQ, Ltd. 19 禁止表現を真偽値で出力できましたか？

Slide 20

Slide 20 text

©MNTSQ, Ltd. 20 禁止表現を真偽値で出力 LLMも同じ。出力を「禁止」するのは難しい。なぜなら、入力を元にした生成であるため。

Slide 21

Slide 21 text

©MNTSQ, Ltd. 21 禁止表現を真偽値で出力 LLM 秘密保持契約書プレイブック秘密保持契約書プレイブック秘密保持契約リスク集秘密保持契約書プレイブック秘密保持契約書プレイブック業務委託契約リスク集秘密保持契約書プレイブック秘密保持契約書プレイブックライセンス契約リスク集

Slide 22

Slide 22 text

©MNTSQ, Ltd. 22 禁止表現を真偽値で出力秘密保持契約書 { "result": [ { "title": "秘密保持契約", "answer": "損害賠償の上限を超えています。 ", }, { "title": "秘密保持契約", "answer": "秘密情報の定義が曖昧です。 ", }, { "title": "業務委託契約", "answer": "該当しませんでした。 ", } ] } LLM 秘密保持契約書プレイブック秘密保持契約書プレイブック秘密保持契約リスク集秘密保持契約書プレイブック秘密保持契約書プレイブック業務委託契約リスク集秘密保持契約書プレイブック秘密保持契約書プレイブックライセンス契約リスク集

Slide 23

Slide 23 text

©MNTSQ, Ltd. 23 禁止表現を真偽値で出力秘密保持契約書 { "result": [ { "title": "秘密保持契約", "answer": "損害賠償の上限を超えています。 ", }, { "title": "秘密保持契約", "answer": "秘密情報の定義が曖昧です。 ", }, { "title": "業務委託契約", "answer": "該当しませんでした。 ", } ] } LLM 秘密保持契約書プレイブック秘密保持契約書プレイブック秘密保持契約リスク集秘密保持契約書プレイブック秘密保持契約書プレイブック業務委託契約リスク集秘密保持契約書プレイブック秘密保持契約書プレイブックライセンス契約リスク集

Slide 24

Slide 24 text

©MNTSQ, Ltd. 24 禁止表現を真偽値で出力プロンプト該当しないリスクは出力しないで。 ❌ { "result": [ { "title": "秘密保持契約", "answer": "損害賠償の上限を超えています。 ", }, { "title": "秘密保持契約", "answer": "秘密情報の定義が曖昧です。 ", }, { "title": "業務委託契約", "answer": "該当しませんでした。 ", } ] }

Slide 25

Slide 25 text

Slide 26

Slide 26 text

©MNTSQ, Ltd. 26 禁止表現を真偽値で出力真偽値の出力であればアプリケーション側で表示 /非表示を制御できる { "result": [ { "title": "秘密保持契約", "answer": "損害賠償の上限を超えています。 ", "is_trigger": "True" }, { "title": "秘密保持契約", "answer": "秘密情報の定義が曖昧です。 ", "is_trigger": "True" }, { "title": "業務委託契約", "answer": "該当しませんでした。 ", "is_trigger": "False" } ] }

Slide 27

Slide 27 text

©MNTSQ, Ltd. 27 禁止表現を真偽値で出力真偽値の出力であればアプリケーション側で表示 /非表示を制御できる { "result": [ { "title": "秘密保持契約", "answer": "損害賠償の上限を超えています。 ", "is_trigger": "True" }, { "title": "秘密保持契約", "answer": "秘密情報の定義が曖昧です。 ", "is_trigger": "True" }, { "title": "業務委託契約", "answer": "該当しませんでした。 ", "is_trigger": "False" } ] } LLMの非決定性をアプリケーション側で吸収する

Slide 28

Slide 28 text

3. 人的なフェイルオーバー

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

Slide 32

Slide 32 text

まとめ

Slide 33

Slide 33 text

©MNTSQ, Ltd. 33 まとめ事業とプロダクト信頼性の高いデータを参照禁止表現を真偽値で出力人的なフェイルオーバーデータの山から有益なデータに絞る LLMの不安定さをアプリケーション側で吸収する LLMのミスが、業務のミスにならない仕組み化

Slide 34

Slide 34 text

https://careers.mntsq.co.jp/ ご清聴ありがとうございました。興味をもってくださったら、ぜひお話ししましょう！