ChatGPT APIをB2B SaaSで本番利用するため に超えるべき5つのハードル 深川 真一郎 (執行役員・CTO) 渡辺 凌央 (Software Engineer / Product Manager) 黒田 佑太 (Software Engineer / Product Engineering Manager) 2023/6/9

会社紹介 ❖ 登壇者紹介 ❖ 会社概要 ❖ プロダクト紹介 2023/6/9

3 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 会社概要 法とテクノロジーの力で、 安心して前進できる社会を創る。 株式会社LegalOn Technologiesは、弁護士の法務知見と自然言語処理技術や機械学習などのテクノロジーを組み合わせ、 法務業界のイノベーションを推進するサービスを開発・提供をしています。 会社名 株式会社LegalOn Technologies (旧：株式会社LegalForce) 設立 　　　2017年4月21日 従業員等 505名（役員含む／ 2023年5月末日時点） 資本金 178.5億円（資本準備金等含む／ 2022年6月時点） 所在地 〒135-0061 東京都江東区豊洲3-2-20 　　　豊洲フロント6階 代表取締役 執行役員 角田 望 2023/6/9

4 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 登壇者紹介 2023/6/9

5 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. LegalOn Technologiesのプロダクト 最新テクノロジーと法務の知見を組み合わせた製品の開発・提供をしています。 AIで契約審査を支援 契約書に潜むリスクを瞬時に洗い出すことを支援 AIで契約管理 契約書情報を認識し、管理台帳を自動作成 2023/6/9

ChatGPT APIを利用して開発した機能の紹介 ❖ 条文修正アシストについて ❖ デモ ❖ 構成図 2023/6/9

7 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 修正文案の検討にかける労力や時間の軽減を支援 Who: 企業の法務担当者、法律事務所の専門家 When: 自動レビューの結果をもとに契約書を修正する際 What: 元の条文のチェックポイントが修正された修正案が欲しい Why: チェックポイントを元に修正案を考えるのが面倒、汎用的な文はそのまま使えない How: ChatGPT API で元の契約書の内容を一定程度反映した文案を表示する 条文修正アシストについて 2023/6/9

8 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 非同期でAzure OpenAI ServiceのAPIを実行している 構成図 2023/6/9

❖ ユーザー体験 ❖ 信頼性 ❖ 利用規約 ❖ ChatGPT APIの精度 ❖ セキュリティ 2023/6/9 ChatGPT APIをB2B SaaSで本番利用するために超えるべき5つのハードル

ChatGPT APIをB2B SaaSで本番利用するために超えるべき5つのハードル ❖ ユーザー体験 ❖ 信頼性 ❖ 利用規約 ❖ ChatGPT APIの精度 ❖ セキュリティ 2023/6/9

11 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. ChatGPT API から結果を得るには時間がかかるため 同期処理にするとユーザー体験としてあまりよろしくない ユーザー体験で超えるべきハードルと対応策 2023/6/9

12 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. ChatGPT API から結果を得るには時間がかかるため 同期処理にするとユーザー体験としてあまりよろしくない 非同期で処理しつつ 修正案作成中に他の作業をできるようにした ユーザー体験で超えるべきハードルと対応策 2023/6/9

13 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. ユーザー体験の向上：非同期で処理しつつ、修正案作成中に他の作業をできるようにした ChatGPT APIのレスポンスを待っている間も、ユーザーが契約書修正作業を進めることができる。 2023/6/9

ChatGPT APIをB2B SaaSで本番利用するために超えるべき5つのハードル ❖ ユーザー体験 ❖ 信頼性 ❖ 利用規約 ❖ ChatGPT APIの精度 ❖ セキュリティ 2023/6/9

15 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 製品に搭載するには 高い可用性や応答速度の安定性が必要！ 信頼性で超えるべきハードルと対応策 2023/6/9

16 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 製品に搭載するには 高い可用性や応答速度の安定性が必要！ Azure OpenAI Serviceを利用することで信頼性を担保 信頼性で超えるべきハードルと対応策 2023/6/9

ChatGPT APIをB2B SaaSで本番利用するために超えるべき5つのハードル ❖ ユーザー体験 ❖ 信頼性 ❖ 利用規約 ❖ ChatGPT APIの精度 ❖ セキュリティ 2023/6/9

18 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 既存の『LegalForce』の利用規約のままでは ChatGPT APIを利用した機能を提供できない！ 利用規約で超えるべきハードルと対応策 2023/6/9

19 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 既存の『LegalForce』の利用規約のままでは ChatGPT APIを利用した機能を提供できない！ オプション機能として設計し 別途同意書に同意いただいた顧客だけに機能提供するようにした 利用規約で超えるべきハードルと対応策 2023/6/9

ChatGPT APIをB2B SaaSで本番利用するために超えるべき5つのハードル ❖ ユーザー体験 ❖ 信頼性 ❖ 利用規約 ❖ ChatGPT APIの精度 ❖ セキュリティ 2023/6/9

21 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 精度とは何か 精度が高い = ユーザーがそのまま使える修正案が提示されること 2023/6/9

22 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. ChatGPT APIの精度で超えるべきハードルと対応策 2023/6/9 ChatGPTに生成させる修正案が 法務担当者や弁護士が参考にできるレベルである必要がある！

23 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. ChatGPT APIの精度で超えるべきハードルと対応策 2023/6/9 ChatGPTに生成させる修正案が 法務担当者や弁護士が参考にできるレベルである必要がある！ 弊社の最強弁護士軍団が確認

24 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. ChatGPT APIの出力の精度：弁護士が確認 スプレッドシートを利用して OpenAI APIを叩くことで精度検証の作業を効率化し、弁護士が製品に搭載できる精度が出るか確認。 2023/6/9

ChatGPT APIをB2B SaaSで本番利用するために超えるべき5つのハードル ❖ ユーザー体験 ❖ 信頼性 ❖ 利用規約 ❖ ChatGPT APIの精度 ❖ セキュリティ 2023/6/9

26 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. セキュリティで超えるべきハードルと対応策 2023/6/9 Azure OpenAI Serviceを使う場合 Azureサーバーにデータが保持されてしまうと困る！

27 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. セキュリティで超えるべきハードルと対応策 2023/6/9 Azure OpenAI Serviceを使う場合 Azureサーバーにデータが保持されてしまうと困る！ データ保持のオプトアウト申請を行うことで回避可能

28 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. Microsoftに申請することで、Microsoftサーバーへのプロンプト /生成文章の一時的な保存を回避することができる。 セキュリティ：データ保持のオプトアウト申請を行う https://learn.microsoft.com/en-us/legal/cognitive-services/openai/data-privacy#can-a-customer-opt-out-of-the-logging-and-human-review-process 2023/6/9

29 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. セキュリティで超えるべきハードルと対応策 2023/6/9 プロンプトインジェクション攻撃を試みられるリスクがある！

30 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. 攻撃されるリスクの例：条文内に攻撃用の文言が仕込まれている場合。 セキュリティ：プロンプトインジェクションの例 2023/6/9

31 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. セキュリティで超えるべきハードルと対応策 2023/6/9 プロンプトインジェクション攻撃を試みられるリスクがある！ プロンプトを工夫し、インジェクション対策を実施

32 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. セキュリティ：プロンプトインジェクションの対策 https://learnprompting.org/docs/prompt_hacking/defensive_measures/xml_tagging 【NGな例】ユーザー入力を区別していない 【OKな例】ユーザー入力を区別している (この場合はxmlタグ) 2023/6/9 ユーザー入力部分を明確に区別することで、プロンプトインジェクションを対策した

33 本資料は貴社の便宜のためのみに提供されるものであり、複写、引用または第三者の閲覧に共される際は株式会社 LegalOn Technologiesの了承を得てください。また、当該資料の利用により直接または間接に生じた損害や損失等について、株式会社 LegalOn Technologiesは一切の責任を負いません。 ©LegalOn Technologies, Inc. all rights reserved. プロンプトを工夫することで、条文内に質問や指示があっても回答しないようにしている。 セキュリティ：プロンプトインジェクションの対策 2023/6/9

株式会社LegalOn Technologies https://legalontech.jp/ 2023/6/9