LayerX Biz Boost 〜セキュリティチェックシート⼀次回答の取り組み〜 2023.07.20 LLM in Practice -3社の実例から⾒るLLM活⽤サービスを運⽤した課題と学び - ⽩井仁美(@yakipudding)

⾃⼰紹介

Confidential © LayerX Inc. 3 画像を入れてね ⽩井 仁美 @yakipudding - LayerX 機械学習エンジニア - 3⽉に弥⽣からLayerXに転職 - 法⼈向けSaaS「バクラクシリーズ」 AI-OCR機能の開発 - LLMを活⽤した社内向けプロダクト LayerX Biz Boostの開発も取り組む

会社概要‧サービス概要

* 資本準備金含む ** 全事業含む LayerXの概要 会社名　　　　 代表取締役　 創業　　　　　 資本金* 拠点 関連会社 取得認証 ｜ 株式会社LayerX（レイヤーエックス） ｜　代表取締役CEO 福島 良典 　　 代表取締役CTO 松本 勇気 ｜　2018年 ｜　112.６億円 ｜　バクラク事業、Fintech事業、Privacy Tech事業 ｜　東京本社・中部支社・関西支社・九州支社 ｜　三井物産デジタル・アセットマネジメント 　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 ｜　情報セキュリティマネジメントシステム、　　 　　 JIIMA認証 提供プロダクト IS 747702 / ISO 27001 次世代プライバシー保護/秘匿化技術 国土交通省の「不動産情報の更なる 利活用に向けた調査・検証業務」における プライバシー保護技術検証も受託 バクラク事業 企業活動のインフラとなる 法人支出管理（BSM）SaaSを 開発・提供 Fintech事業 三井物産/三井住友信託銀行等との 合弁会社にて証券事業を展開 デジタル証券で資産運用できるサービス 「ALTERNA」を提供 Privacy Tech事業

* 経費精算のSlack連携は申請内容の通知のみ 稟議・支払申請・経費精算・ワークフロー ・AIが領収書を５秒でデータ化 ・承認はスマホのアプリから ・領収書の重複申請などミス防止機能 仕訳・支払処理効率化 ・AIが請求書を５秒でデータ化 ・仕訳データを自動学習、 手入力ゼロへ ・スキャン代行も実施 ・利用料無料 ・即時追加発行 ・最大1億円決済可能 法人カードの発行・管理 ・無料で始められる ・手入力ゼロで証憑管理 ・改正電子帳簿保存法に対応 帳票保存・ストレージ 「バクラク」シリーズラインナップ

* ２０２３年6月時点 「バクラク」の成長 ✔　高い継続率と顧客満足度を保持しながら、シリーズ累計の導入社数5,000社を突破 ✔　「バクラク請求書」がITreview Grid Award 2023 Winterの 　　　請求書受領サービス 中小企業部門で最高位のLeader、同 総合部門でHigh Perfomerを受賞

What's LayerX Biz Boost?

© LayerX Inc. 9 LLMを活用した社内向け業務効率化ツール - 社内向けChatGPT - セールスチーム向け商談文字起こし＆要約 - セキュリティチェックシート一次回答 - （他にも多数！） LayerX Biz Boostについては直近でブログを書いています！ https://tech.layerx.co.jp/entry/2023/07/14/095326 商談文字起こし＆要約については紹介スライドがあります！ https://speakerdeck.com/yakipudding/layerx-biz-boost-whisper-p lus-gptniyoruyin-sheng-wen-zi-qi-kosiyao-yue-noqu-rizu-mi What’s LayerX Biz Boost?

セキュリティチェックシート⼀次回答

© LayerX Inc. 11 - セキュリティに関する質問票 - サービスを利⽤する上でセキュリティ的に問題ないかを確認するためのもの - お客様がバクラクを導⼊する上で⾃社のデータ（請求書など）を預けてもセキュリティ的に ⼤丈夫なのかを確認するため、セキュリティチェックシートの回答を依頼 例) - セキュリティチェックシートを受領したら、セキュリティ担当者が回答 セキュリティチェックシートとは？ 情報セキュリティ確保のための組織体制 回答 1 情報セキュリティ管理の責任者を定め、職務範囲や権限、責任 について定めている ○ 2 情報セキュリティ管理に関する関係部署や業務、機能を明らか にしている ○

© LayerX Inc. 12 - お客様ごとに質問形式が多種多様！！ - セキュリティチェックシートの標準テンプレートのようなものが存在しない - ⼤まかに「このような観点で⾒ると良い」的な指標があるだけ - 各社で作成‧継ぎ⾜しされ、秘伝のタレ化する - 基本的には同じようなことを聞いているが、聞き⽅やポイントが微妙に異なる - 担当者からするとやたらコストがかかってつらい作業になる、、 - 場合によっては数百問の質問が来ることも… セキュリティチェックシート回答のつらいところ 情報セキュリティ確保のための組織体制 回答 1 情報セキュリティ管理の責任者を定め、職務範囲や権限、責任について定めている ○ 情報セキュリティ確保のための組織体制 回答（⾃由記述） 1 情報セキュリティの維持や向上、監督、それら活動全般を統 制する管理上の枠組みを確⽴するために実施していること 情報セキュリティ管理の責任者を定め、職務範囲や権限、責任につい て定めている

© LayerX Inc. 13 - LLMに⼀次回答させてみよう！！！ そうだ！

仕組み

© LayerX Inc. 15 セキュリティチェックシート⼀次回答の仕組み 質問⽂ 想定質問 過去回答 index ベクトル化 参考情報取得 回答⽣成 Embedding取得 ベクトル検索 GPTで回答⽣成 Retrieval Augmented Generation(RAG)という⼿法

© LayerX Inc. 16 セキュリティチェックシート⼀次回答の仕組み 質問⽂ 想定質問 過去回答 index ベクトル化 参考情報取得 回答⽣成 Embedding取得 ベクトル検索 GPTで回答⽣成 Retrieval Augmented Generation(RAG)という⼿法 責任者を定めていますか

© LayerX Inc. 17 セキュリティチェックシート⼀次回答の仕組み 質問⽂ 想定質問 過去回答 index ベクトル化 参考情報取得 回答⽣成 Embedding取得 ベクトル検索 GPTで回答⽣成 Retrieval Augmented Generation(RAG)という⼿法 参考情報 質問：セキュリティ体制 回答：責任者を定め、... 責任者を定めていますか

© LayerX Inc. 18 セキュリティチェックシート⼀次回答の仕組み 質問⽂ 想定質問 過去回答 index ベクトル化 参考情報取得 回答⽣成 Embedding取得 ベクトル検索 GPTで回答⽣成 参考情報をもとに 質問に回答して Retrieval Augmented Generation(RAG)という⼿法 参考情報 質問：セキュリティ体制 回答：責任者を定め、... 責任者を定めていますか

© LayerX Inc. 19 セキュリティチェックシート⼀次回答の仕組み 質問⽂ 想定質問 過去回答 index ベクトル化 参考情報取得 回答⽣成 Embedding取得 ベクトル検索 GPTで回答⽣成 参考情報をもとに 質問に回答して Retrieval Augmented Generation(RAG)という⼿法 参考情報 質問：セキュリティ体制 回答：責任者を定め、... はい。 責任者を定めていますか

LLMに向いていたポイント

© LayerX Inc. 21 想定質問回答集‧過去のセキュリティチェックシート回答結果を参考情報として プロンプトに与えることで良質な回答が得られることが期待できる - プロンプト（イメージ） LLMに向いていたポイント 参考情報： 質問：情報セキュリティ管理の責任者を定めていますか 回答：はい 参考情報を元に以下の質問に回答してください 質問：情報セキュリティの維持や向上、監督、それら活動全般を統制する 管理上の枠組みを確立するために実施していることは何ですか 参考情報を提⽰しているのでGPTが回答しやすい 形式が異なるだけで似たような質問が多いので参考情報が有効 参考情報にないものは「わからない」と出⼒させれば誤回答を防げる

© LayerX Inc. 22 参考情報取得⽤のベクトルindexが作りやすい - 参考情報が⼀問⼀答形式なのでチャンク分けを考慮する必要がない LLMに向いていたポイント どの部分で embeddingを 作成する？ チャンクが⼤きすぎると 質問⽂とembeddingが乖離 ドキュメント検索はチャンク分けが難しい 元ネタがドキュメントの場合 元ネタが一問一答形式の場合 質問‧回答が短⽂なので そのままembeddingをとればよい

課題と対応

© LayerX Inc. 24 プロンプト 参考情報： - 質問：情報セキュリティ管理の責任者を定めている - 回答：はい 参考情報をもとに以下の質問に回答して - 質問：情報セキュリティ管理の責任者を定めていない GPT回答 はい 課題1：質問内容が逆なのに参考情報の回答をそのまま返してしまう 正解はいいえなのに、参考情報の回答をそのまま出⼒してしまう

© LayerX Inc. 25 プロンプト 参考情報： - 情報セキュリティ管理の責任者を定めています 参考情報をもとに以下の質問に回答して - 質問：情報セキュリティ管理の責任者を定めていない GPT回答 いいえ、定めています ⼯夫1：参考情報は質問‧回答を要約させて与えた 正解！ 質問回答を要約

© LayerX Inc. 26 数百問の質問が来たりする - まとめてバッチ実⾏できるようにしたいが… - GPTのAPIは短時間にリクエストを送りすぎるとRateLimitErrorが出る - RateLimitErrorが出るので並列実⾏できない - サーバーに負荷が集中しているとサーバーエラーが返ってくる（時間帯にもよる） - ユーザーがデータをアップロードしてLayerX Bix Boost!(Webアプリ)から実⾏したい 課題2：質問数が多い

© LayerX Inc. 27 - リトライ機構をいれる - エラーが出たらsleepしてリトライ - ⼀定回数だめだったら諦める - Webアプリから実⾏できるようにする - CloudRun Jobsで⾮同期でバッチ実⾏させる 対応2：リトライ機構でエラーハンドリング＆CloudRun Jobsで⾮同期実⾏！ CloudRun Service CloudRun Jobs Storage Slackに通知 AzureOpenAI Service 別の機能(商談⽂字起こし＆要約)で ⾮同期処理を組み込んでいたため⼀部流⽤ LayerX Biz Boost!

まだまだ課題は⼭盛り…！

© LayerX Inc. 29 セキュリティ担当者から「いけそう」と評価いただいたものの… まだまだ課題は⼭盛り！！ - セキュリティ対応 - UX改善 - 差分index対応 - などなど…… ですが…リソースが⾜りません！！！！ まだまだ課題は⼭盛り…！

© LayerX Inc. 30 ちょっとでも⾯⽩そうかも？と思った⽅、カジュアル⾯談しましょう！ 現地参加の⽅は今⽇の懇親会でもお話しましょう！！お気軽にお声がけください！！！ LLMを活⽤した開発に興味のある⽅、お話しましょう！！ 採用情報 https://jobs.layerx.co.jp/ カジュアル面談 https://jobs.layerx.co.jp/6843b7b523ce45e2921e82a03e902edb