LayerXにおけるAI・機械学習技術の活用事例とその裏側 / layerx-ai-deim2024

2024年2月28日 DEIM2024 (https://confit.atlas.jp/guide/event/deim2024/top?lang=ja) における技術報告の資料です。

題目：『 LayerXにおけるAI・機械学習技術の活用事例とその裏側』
日程：2/28（水）10:00-12:00（T1-A: 汎用機械学習技術 (1)）
発表者：松村 優也
プログラムリンク：https://confit.atlas.jp/guide/event/deim2024/session/11A01-05/tables?yHpzDRqnAv

Transcript

1. © 2024 LayerX Inc. LayerXにおけるAI・機械学習技術の活用事例とその裏側 2024/02/28 DEIM2024 株式会社LayerX Yuya Matsumura(@yu-ya4) T1-A-1-05: 汎用機械学習技術 (1)[技術報告]
2. © 2024 LayerX Inc. 2 バクラク事業部 機械学習グループ マネージャー/機械学習エンジニア 経歴 • 2018/3 ◦ 京都大学大学院 情報学研究科 修士課程修了 • 現在 ◦ 株式会社LayerX 機械学習グループマネージャー ◦ ウォンテッドリー株式会社 技術顧問 ◦ その他、大学にて非常勤講師やスタートアップの技術 支援等 画像を入れてね 自己紹介 松村 優也（Yuya Matsumura） @yu__ya4
3. © 2024 LayerX Inc. 3 ミッション
4. © 2024 LayerX Inc. 4 なぜやるのか なぜやるのか 人口減少社会 人の生産性 “すべての経済活動を、デジタル化する” 日本社会の構造的課題 LayerXの課題認識 LayerXの事業/ミッションとのつながり 人口減社会で起こる課題の解決を、ソフトウェアでサポートする お金の生産性 データの生産性 バクラク事業 Fintech事業 AI・LLM事業
5. © 2024 LayerX Inc. 5 ３つの事業 LayerXはミッション実現に向け、３つの事業を運営しています。
6. AIとLayerX LayerXがAIを活用して成し遂げたいこと
7. © 2024 LayerX Inc. 7 業務そのものをなくす(powered by AI-UX) AIによる業務のre-design 紙の台帳管理・記帳 SaaS第１世代 AIによる自動化 クラウド (インターネット) 紙 AI 入力レス・自動化 どこに入力するかが変わっただけで業務の本質は変わっていない 業務そのものをなくせる LayerXはここにBet！ オンプレ業務システム オンプレ (コンピュータ)
8. © 2024 LayerX Inc. 8 • ChatGPTを始めとしたアイデアから生まれた体験を、「AI-UX」（AIを前提とした理想のUX）と呼ぶ • AI-UXは、「AIを前提とした理想のUX」を作るために、AIだけでなく、AI以外のあらゆる手段も総動員 する • AIを知り尽くした上で、何のタスクを、どう解くかをデザインし、体験に落とし込む。どこでAIを使い、ど こであえてAIを使わないかを、全体の体験としてどう落とし込むかが鍵（ソフトウェアとデザインの総合 格闘技戦） • AI-UXはマーケティング、営業、カスタマーサクセス、サポートなどビジネス組織にも変化を及ぼしてい く • 洗練されたAI-UXで、ユーザーの体験を再構築していくことをAX（AI Transformation）と呼ぶ AI-UXとAX（AI Transformation） 2024年の注力ポイント 日経COMEMO「AI-UXとAX(AI Transformation)というLayerXの挑戦」より
9. © 2024 LayerX Inc. 9 目指す未来 システム システム AI ・・・ 領収書の写真を撮ったら 全て入力される 領収書を見ながら、 金額、社名などを手入力... 出張の手配は全て自分でし 申請も全て自分で入力... カレンダーの出張予定を見て 最適な旅程を提案→決済 カレンダー, システムの履歴 から自動で勤怠を作成 勤怠を自分で振り返り、上長 承認のためのシステム入力... 削れる費用をサジェスト、 最適な働き方を提案 システムに溜まったデータを分 析し、費用削減プランを実行... 人がシステムに合わせて仕事 入力は自動化、データからサジェスト 人がシステムに合わせる　→　システムが人に合わせる システムはデータを入れる箱 システムは人を助けるアシスタント
10. LayerX 全社における取り組み LayerXにおけるAI・機械学習技術の活用事例とその裏側
11. © 2024 LayerX Inc. 11 LLMなどを活用した社内向け業務効率化ツール群 LayerX Biz Boost LayerX 全社における取り組み 多数の機能が提供され全社的に活用されている • 社内向けChatGPT • 社内slack内の過去の類似質問検索機能 • 商談文字起こし＆要約機能 • セキュリティチェックシート一次回答機能 他多数 また、プロダクトに組み込む前の簡易的な機能検証を 行う社内限定環境としても活用されている
12. © 2024 LayerX Inc. 12 LLMなどを活用した社内向け業務効率化ツール群 LayerX Biz Boost LayerX 全社における取り組み 多数の機能が提供され全社的に活用されている • 社内向けChatGPT • 社内slack内の過去の類似質問検索機能 • 商談文字起こし＆要約機能 • セキュリティチェックシート一次回答機能 他多数 また、プロダクトに組み込む前の簡易的な機能検証を 行う社内限定環境としても活用されている
13. © 2024 LayerX Inc. 13 LayerXのサービスを利用するに際し、セキュリティ面の問題がないかを確認する目 的でお客様から回答をご依頼いただく質問集 セキュリティチェックシート一次回答機能 例）情報セキュリティ確保のための組織体制 回答 1 情報セキュリティ管理の責任者を定め、職務範囲や権限、責任 について定めている ◦ 2 情報セキュリティ管理に関する関係部署や業務、機能を明らか にしている ◦ セキュリティチェックシートとは
14. © 2024 LayerX Inc. 14 • 決まったものがあるわけではなく、お客様ごとに多種多様な質問項目が存在する。 • 一方で、同等の内容を問うものだが、聞き方や回答の方法が異なるだけのものも多数存在する。 • 社内担当者の回答負荷を軽減するため、過去の質問・回答内容をもとにLLMを利用して一次回答を生 成する機能を提供。一次回答を参考に、人間が確認・修正を行って最終的な回答を行う。 情報セキュリティ確保のための組織体制 回答 1 情報セキュリティ管理の責任者を定め、職務範囲や権限、責任について定めている ◦ 情報セキュリティ確保のための組織体制 回答（⾃由記述） 1 情報セキュリティの維持や向上、監督、それら活動全般を統 制する管理上の枠組みを確⽴するために実施していること 情報セキュリティ管理の責任者を定め、職務範囲や権限、責任につい て定めている セキュリティチェックシート一次回答機能 セキュリティチェックシート回答の課題
15. © 2024 LayerX Inc. 15 質問文前処理 想定質問 過去回答 index Embedding 取得 ベクトル検索 前処理・整形 GPTで 回答生成 参考情報 質問：セキュリティ体制 回答：責任者を定め、... “...責任者を定めていますか？” セキュリティチェックシート一次回答機能 シンプルなRAGを利用して実現 ベクトル化 参考情報取得 回答生成 Azure OpenAI Service Azure OpenAI Service
16. バクラク事業における取り組み LayerXにおけるAI・機械学習技術の活用事例とその裏側
17. © 2024 LayerX Inc. 17 バクラク事業：AIをコア技術としたプロダクトラインナップ AIを活用したLayerXの事業 AI-OCRや検知技術などAIをコア技術とするバクラクシリーズを提供している。 法人カードでコスト削減　 LayerXはムダ検出AI, 日本経済新聞 , https://www.nikkei.com/article/DGXZQOUC207AD0Q3A220C2000000/ ,（参照2023-2-28）
18. © 2024 LayerX Inc. 18 バクラクシリーズラインナップ 稟議・支払申請・経費精算 仕訳・支払処理効率化 法人カードの発行・管理 帳票保存・ストレージ 帳票発行 * 経費精算のSlack連携は申請内容の通知のみ ・AIが領収書を５秒でデータ化 ・スマホアプリとSlack連携あり ・領収書の重複申請などミス防止機能 ・AIが請求書を５秒でデータ化 ・仕訳・振込データを自動作成 ・稟議から会計までスムーズに連携 ・年会費無料で何枚でも発行可 ・インボイス制度・電帳法対応 ・すべての決済で1%以上の還元 ・AIが書類を5秒でデータ化 ・あらゆる書類の電子保管に対応 ・電子取引・スキャナ保存に完全対応 ・帳票の一括作成も個別作成も自由自在 ・帳票の作成・稟議・送付・保存を一本化 ・レイアウトや項目のカスタマイズも可能
19. © 2024 LayerX Inc. 19 人間が帳票をもとに手入力でデータ化するという作業をなくす AI-OCR機能が実現したいこと 請求書などの帳票に記載された項目（支払期日や支 払金額、取引先名など）を目視で確認し、ミスなく入 力・管理することは大変負荷の高い仕事 • 対応枚数が数十、数百枚と増えるにつれ、ミス が起こりやすくなる • 帳票のフォーマットは多種に渡り、目視で必要 な項目を探すのは手間がかかる • ミスが許されないため、ダブルチェック等の確 認作業にも追加でコストが必要
20. © 2024 LayerX Inc. 20 帳票ファイルを入力し、必要項目ごとの値を抽出する AI-OCRが解いている課題 帳票ファイル （画像・PDF） 帳票に記載の 項目ごとの値 500,000 ２０２１/02/28 株式会社テンプレ 支払期日 支払金額 取引先名
21. © 2024 LayerX Inc. 21 AI-OCRが解いている課題 例１ 支払期日として2021年2月28日(日)を検出 顧客「実際に支払うのは平日の26日(金)だから変更しないと！」 例2 支払金額として500,000円を検出 顧客「実際に支払うのは源泉税10.21%を差し引いた448,950円だから変更しないと！」 顧客が本当に欲しているのは 「帳票に記載の値」ではなく「実際の運用に即した値」 2つが一致しないケースが一定数存在する
22. © 2024 LayerX Inc. 22 帳票ファイルを入力し、実際の運用に即した値の値を抽出する AI-OCRが真に解いている課題 帳票ファイル （画像・PDF） 支払期日 支払金額 2021/02/28 取引先名 500,000 株式会社テンプレ 帳票に記載の 項目ごとの値 支払期日 支払金額 2021/02/26 取引先名 448,950 株式会社テンプレ 帳票に記載の 項目ごとの値に基づく 実際の運用に即した値
23. © 2024 LayerX Inc. 23 機械学習とルールベースやUXを組み合わせたアプローチ AI-OCRの課題へのアプローチ 帳票ファイル （画像・PDF） 支払期日 支払金額 2021/02/28 取引先名 500,000 株式会社テンプレ 帳票に記載の 項目ごとの値 支払期日 支払金額 2021/02/26 取引先名 448,950 株式会社テンプレ 帳票に記載の 項目ごとの値に基づく 実際の運用に即した値 ルールベースやプロダク トの体験(UX)で実現 機械学習で実現 • 帳票に記載の項目ごとの値 ◦ 大量に蓄積された顧客の利用データやアノテーションデータを用いて学習された機械学習モデル を利用 • 実際の運用に即した値 ◦ 「帳票に記載の項目ごとの値」と異なる場合は、ルールベースやプロダクトの体験(UX)でカバー
24. © 2024 LayerX Inc. 24 様々な機械学習モデルの検証や実運用 AI-OCRで利用されている機械学習モデル https://arxiv.org/abs/2012.14740 https://arxiv.org/pdf/1912.13318 https://arxiv.org/pdf/2204.08387 https://arxiv.org/pdf/1810.04805 • 商用利用可な日本語学習済みモデルが公開されているRoBERTa等をファインチューニングから実装 • マルチモーダル（画像+テキスト）なモデルであるLayoutLM系を事前学習から実装
25. © 2024 LayerX Inc. 25 様々な項目が必要となる汎用的な稟議申請 既存の機械学習ベースのAI-OCRでは解決できない課題① B社の契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 同じ契約・購買稟 議でも項目が 各社違う 契約・購買稟議をはじめとする汎用的な稟議全般は、各社項目設計が異なる A社の契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 反社チェック 下請法確認 送信アドレス 締結者情報
26. © 2024 LayerX Inc. 26 契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 既存の機械学習ベースのAI-OCRでは解決できない課題① 既存の機械学習ベースのAI-OCRではすべての項目には対応不可 契約書 見積書 前回稟議情報 自動読み取りが 難しい 多種多様な項目ごとに十分なデータが蓄積されない ソースとなる書類・帳票も複数あり複雑性が高い 機械学習ベースの AI-OCRで自動読取 ？
27. © 2024 LayerX Inc. 27 契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 既存の機械学習ベースのAI-OCRでは解決できない課題① LLMを用いて複数の書類から任意の項目の情報抽出を試みる 契約書 見積書 前回稟議情報 LLMが任意の稟議 項目を自動抽出 十分な精度がでない場合やハルシネーションを考慮した体験面（AI-UX）の設計は必須 ソースとなる関連する情報を特定する部分も技術的なチャレンジ 機械学習ベースの AI-OCRで自動読取
28. © 2024 LayerX Inc. 28 既存の機械学習ベースのAI-OCRでは解決できない課題② 経費精算の稟議に必要な情報は領収書のみでは不足 経費精算時必要となる情報 立て替えをした日 立て替えした金額 立て替え先のお店情報 社内ルールに基づいた区分 飲食の場合、出席者情報 ・・・ 領収書からは得られず、各社独自のルールに基づく入 力項目のため、依然として手入力が存在 機械学習ベースの AI-OCRで自動読取 帳票・書類としては存在していない情報が必要であり、AI-OCRによる情報抽出だけでは対応不可
29. © 2024 LayerX Inc. 29 既存の機械学習ベースのAI-OCRでは解決できない課題② 書類以外のソースも参照し機械学習やLLMを利用して入力補完 経費精算時必要となる情報 立て替えをした日 立て替えした金額 立て替え先のお店情報 社内ルールに基づいた区分 飲食の場合、出席者情報 ・・・ 機械学習ベースの AI-OCRで自動読取 社内の支出ルール（勘定科目等） 機械学習やLLMにより 入力補完 立替にまつわるカレンダーデータ 体験面（AI-UX）の設計は必須であり、関連するソースをどのように決定するのかもチャレンジ
30. © 2024 LayerX Inc. 30 既存の機械学習ベースのAI-OCRでは解決できない課題 現在開発中のAIワークフローのデモ
31. AI・LLM事業における取り組み LayerXにおけるAI・機械学習技術の活用事例とその裏側
32. © 2024 LayerX Inc. 32 AI・LLM事業：昨年4月にLabs設立、11月に本格的に事業化へ AIを活用したLayerXの事業 LayerX、生成AIの専門組織　新規事業を準備 , 日本経済新聞 , https://www.nikkei.com/article/DGXZQOUF03AQE0T00C23A4000000/ ,（参照2023-4-4）
33. © 2024 LayerX Inc. 33 生成AI・LLMの強み 構造化データだけでなく 多様なフォーマットに対応可能 ＋ 生成AI・LLMの登場により非構造化データを含めたあらゆるフォーマットのデジタル化が比較的容易に 事業化の背景
34. © 2024 LayerX Inc. 34 LLMの汎用性による新たな可能性 事業化の背景
35. © 2024 LayerX Inc. 35 アセットマネジメント・証券領域など、いわゆる専門性が高い領域における膨大な文書処理の効率化 LLMを活かしたプロセスリデザインによる生産性向上 事業の狙い
36. © 2024 LayerX Inc. 36 「膨大な文書処理業務」を効率化するプロダクトの開発 プロダクト
37. © 2024 LayerX Inc. 37 ChatGPT/OpenAI単体では難しいこと 様々な技術的課題
38. © 2024 LayerX Inc. 38 複雑な表やグラフの解釈 様々な技術的課題
39. © 2024 LayerX Inc. 39 精度評価・チューニングの効率化 様々な技術的課題
40. まとめ
41. © 2024 LayerX Inc. 41 「AIを前提とした理想のUX」であるAI UXを探究し、人がシステムに合わせる時代からシステ ムが人に合わせる時代へとユーザーの体験を再構築（AX: AI transformation）する まとめ LayerXにおけるAI・機械学習技術の活用についてご紹介 • LayerX全社 ◦ LayerX Biz Boostを活用した、LLMなどを活用した社内の業務効率化や高速なPoCの実現 • バクラク事業 ◦ AI-OCR機能による帳票からの情報抽出や、LLMなどを駆使した複数の情報源からの情報抽出・ 情報補完を行うことによるあらゆるバックオフィス業務の自動化による生産性向上 • AI・LLM事業 ◦ LLMの汎用性を活かした「膨大な文書処理業務」を効率化するプロセスリデザインによる生産性 向上