20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day

by Ryuya Nakamura

Slide 1

Slide 1 text

Slide 2

Slide 2 text

自己紹介・会社紹介

Slide 3

Slide 3 text

© 2024 LayerX Inc. 3 中村龍矢機械学習エンジニア東京大工学部 ● データサイエンスと出会う Gunosy データ分析部 ● 推薦システム開発等セキュリティ研究者（現在）事業責任者 LayerX 創業時からR&D ● プログラムの形式検証 ● ブロックチェーン ○ Ethereumへのコントリビューション ● LayerX 部門執行役員 AI・LLM事業部長 ● IPA 未踏スーパークリエータ ● 2020年度電子情報通信学会インターネットアーキテクチャ研究賞最優秀賞 (共著) ● Forbes JAPAN 30 UNDER 30 2023 「世界を変える30 歳未満」 LayerXの新規事業 ● プライバシーテック ● 大規模言語モデル自己紹介

Slide 4

Slide 4 text

© 2024 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む会社名　　　　代表取締役　創業　　　　　資本金* 関連会社株主一覧　取得認証｜株式会社LayerX（レイヤーエックス）｜　代表取締役CEO 福島良典　　代表取締役CTO 松本勇気｜　2018年｜　132.6億円｜　バクラク事業、Fintech事業、AI・LLM事業｜　三井物産デジタル・アセットマネジメント　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社｜　｜　情報セキュリティマネジメントシステム、　　　　 JIIMA認証提供プロダクト企業や行政のLLMを用いた業務効率化・データ活用を支援バクラク事業企業活動のインフラとなる法人支出管理（BSM）SaaSを開発・提供 Fintech事業ソフトウェアを駆使したアセットマネジメント証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001

Slide 5

Slide 5 text

© 2024 LayerX Inc. 5 チーム紹介 LayerXのご紹介経営陣 AI・LLM事業部福島良典代表取締役 CEO Gunosy創業・上場横田淳取締役コーポレート担当メルカリ上級執行役員手嶋浩己 XTech Ventures 代表パートナー渡瀬浩行執行役員 CFO Aiming創業・上場名村卓執行役員メルカリCTO 川口かおり執行役員 Wantedly執行役員松本勇気代表取締役 CTO Gunosy/DMM CTO 中村龍矢執行役員事業部長未踏スーパークリエータ畑島崇宏事業開発野村総合研究所篠塚史弥エンジニア FiNC CTO 小林誉幸事業開発弁護士ドットコム執行役員

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

LayerXにおけるLLMの活用〜バクラク事業部〜

Slide 9

Slide 9 text

© 2024 LayerX Inc. 9 バクラク事業：AIをコア技術としたプロダクトラインナップバクラク事業について AI-OCRや検知技術などAIをコア技術とするバクラクシリーズを提供している。法人カードでコスト削減　 LayerXはムダ検出AI, 日本経済新聞 , https://www.nikkei.com/article/DGXZQOUC207AD0Q3A220C2000000/ ,（参照2023-2-28）

Slide 10

Slide 10 text

© 2024 LayerX Inc. 10 バクラクシリーズラインナップ稟議・支払申請・経費精算仕訳・支払処理効率化法人カードの発行・管理帳票保存・ストレージ帳票発行 * 経費精算のSlack連携は申請内容の通知のみ・AIが領収書を５秒でデータ化・スマホアプリとSlack連携あり・領収書の重複申請などミス防止機能・AIが請求書を５秒でデータ化・仕訳・振込データを自動作成・稟議から会計までスムーズに連携・年会費無料で何枚でも発行可・インボイス制度・電帳法対応・すべての決済で1%以上の還元・AIが書類を5秒でデータ化・あらゆる書類の電子保管に対応・電子取引・スキャナ保存に完全対応・帳票の一括作成も個別作成も自由自在・帳票の作成・稟議・送付・保存を一本化・レイアウトや項目のカスタマイズも可能

Slide 11

Slide 11 text

© 2024 LayerX Inc. 11 AI-OCRによる経理業務に必要な項目の抽出バクラク事業における項目抽出請求書や領収書などの帳票に記載された項目（支払期日や支払金額、取引先名など）を抽出。 ● 帳票のフォーマットは多種に渡り、目視で必要な項目を探すのは手間がかかる ● ミスが許されないため、ダブルチェック等の確認作業にも追加でコストが必要 ● 色塗りをすることで、AIが間違った際の「気づきやすさ」などの体験を設計

Slide 12

Slide 12 text

© 2024 LayerX Inc. 12 契約・購買稟議項目・・・購買理由契約書情報契約先情報購買金額契約期間締結方法予算コード前回稟議得意先コード郵送先住所押印有無印鑑種別既存の機械学習ベースのAI-OCRでは解決できない課題既存の機械学習ベースのAI-OCRではすべての項目には対応不可契約書見積書前回稟議情報自動読み取りが難しい機械学習ベースの AI-OCRで自動読取？多種多様な項目ごとに十分なデータが蓄積されないソースとなる書類・帳票も複数あり複雑性が高い

Slide 13

Slide 13 text

© 2024 LayerX Inc. 13 LLMを用いた複数の書類から任意の項目の情報抽出既存の機械学習ベースのAI-OCRでは解決できない課題十分な精度がでない場合やハルシネーションを考慮した体験面（AI-UX）の設計は必須ソースとなる関連する情報を特定する部分も技術的なチャレンジ契約・購買稟議項目・・・購買理由契約書情報契約先情報購買金額契約期間締結方法予算コード前回稟議得意先コード郵送先住所押印有無印鑑種別契約書見積書前回稟議情報 LLMが任意の稟議項目を自動抽出機械学習ベースの AI-OCRで自動読取

Slide 14

Slide 14 text

LayerXにおけるLLMの活用〜AI・LLM事業部〜

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

Slide 22

Slide 22 text

LLMによるDXのビジョン

Slide 23

Slide 23 text

© 2023 LayerX Inc. 23 LLMの可能性: 人間のように仕事を学べる（かも） LLMは人間と同程度の情報量（マニュアルとOJT）で仕事を習得するポテンシャルがある基盤モデルがない場合: 赤ちゃんにいきなり教えるのは大変チューニング範囲この業務に必要な知識・ルール LLM の基礎能力「知識」の常識（例: 経常利益などの一般的勘定科目の意味）「やり方」の常識（例: データの年次推移を各列に貼り付ける）例: 決算書からの稟議付属資料への転記 WFの初期設定に加え、「AI版のOJT」で学ぶ LLMの場合: ここだけ学べば良いので、必要なサンプルが少ない LLMによるDXのビジョン

Slide 24

Slide 24 text

© 2024 LayerX Inc. 24 ソフトウェアで人間の思考を再現する必ずしもfine-tuningだけではない仕事を教えるためのLLMのチューニング ● ファイルの前処理・後処理 ● 検索アルゴリズムの選定 ● LLMの処理の分割・結合 ● 他のAI技術との組み合わせ業務の知識・やり方を整理する ● 専門用語の説明 ● 正解例・フォーマット ● 判断ルール ● 着目すべき箇所のヒント人間の新入社員に教えるのと同様 LLM独自のポイント LLMによるDXのビジョン

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2024 LayerX Inc. 26 上司と部下のアナロジー: LLMの出力をレビューする LLMを作業担当者と捉えるなら、上司・マネージャーがアウトプットを確認するのは自然なこと ● よって、「AIはミスをするので、ミスが許容される仕事をやらせよう」という考え方には反対 ● 人間による確認を挟めるなら、既存のやり方以下にリスクを抑えられるはず ● むしろ、ミスが許されない「本格的な」ユースケースの方が、インパクトが出ることも多い ○ 当社の金融業界での取り組み: 稟議書作成や決算書分析 LLMによるDXのビジョン

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© 2024 LayerX Inc. 28 以下の決算書から損益計算書を取り出してください。決算書：〜〜〜〜〜〜あなたはプロの監査役です。以下の決算書から損益計算書を取り出してください。また、「販売費及び一般管理費」には以下の名称の項目も勘定してください：「販管費」「管理費用」「人件費」… 決算書：〜〜〜〜〜〜以下の決算書のどのページに損益計算書が存在するか回答してください。決算書：〜〜〜 1つ目のプロンプト以下の損益計算書の勘定科目は、以下のどの勘定科目に振り分けられるか回答してください。損益計算書：〜〜〜 2つ目のプロンプト処理を分解業務知識の追加・プロンプトの工夫具体例: 現状のLLMでの決算書読み取り素のLLM 業務知識・ルールの追加高度な技術的工夫 LLMによるDXのビジョンかなり地道なチューニングが必要、、、

Slide 29

Slide 29 text

Slide 30

Slide 30 text

© 2024 LayerX Inc. 30 高度なスキル以前に、「言われた通りにやる力」だけでも伸び代が多い足りないもの1: 根本的な性能（器用さ、安定感） LLMによるDXのビジョン ● まず前述の通り、一度にちゃんと処理できるデータ量が小さい（鳥頭） ● 人間にとっては不可解なミスも多い（ドジ） ● フォーマットやルールに引っ張られやすい (杓子定規） → LayerXの体感として、ここがチューニング工数を引き上げ、ROIが合うケースをかなり減らしている

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© 2024 LayerX Inc. 32 作業の進捗を定期的に確認し、正しい方向に直していく足りないもの3: 人間（上司）とのインタラクション LLMによるDXのビジョン ● 「パソコンの中から出られない新入社員」の育成の難しさ ○ 「リモートワークで会話が減って生産性低下」の最悪なパターン（月に住んでる社員）タスク1 サブタスク2 サブタスク1 ・・・仮に100個のタスクがある時個別のタスクの精度が99%でも全て成功する確率は37% ゴールタスク2 ・・・人間のレビューをより細かく挟む必要

Slide 33

Slide 33 text

© 2024 LayerX Inc. 33 平たくいえば、「質より量」で人間を上回ることがある ● 残念ながら、当面は、人間が解けない大抵の問題はLLMにも解けないはず ● 一方、人間にできる程度の作業を大量に・高速に積み上げて、全体のアウトプットで人間を超えうる ● 例: リサーチ業務 ○ 個別の資料を読んだ考察・分析で人間を上回ることは難しい ○ 一方、人間には読めない量の資料を、コンピューターが24時間並列で処理できる ○ 結果的に、人間を超えたリサーチ結果を生み出すことがありうる余談: LLMが「人間を超える」のはどういう時か？ LLMによるDXのビジョン

Slide 34

Slide 34 text

現状のLLMでまず何からやっていくか

Slide 35

Slide 35 text

Slide 36

Slide 36 text

Slide 37

Slide 37 text

Slide 38

Slide 38 text

Slide 39

Slide 39 text

Slide 40

Slide 40 text

40 業務委託契約書株式会社〇〇〇〇と株式会社△△△△ は、下記業務に関して、業務委託契約を締結する。 … 第２条（契約期間）　委託期間は、令和〇年〇月〇日から令和〇年〇月〇日までとする第3条（委託料）　本契約に基づく乙の委託料は、〇〇〇円とする。機密情報のマスキング（黒塗り）母体であるPrivacyTech事業のノウハウを活かし、ファイル中の機密情報をマスク/ダミー値に変換。業務委託契約書株式会社〇〇〇〇と株式会社△△△△ は、下記業務に関して、業務委託契約を締結する。 … 第２条（契約期間）　委託期間は、令和〇年〇月〇日から令和〇年〇月〇日までとする第3条（委託料）　本契約に基づく乙の委託料は、〇〇〇円とする。知的単純作業

Slide 41

Slide 41 text

© 2024 LayerX Inc. 41 平たくいえば、「質より量」で人間を上回ることがある ● 「知的」 ○ 従来のルールベースのシステム・RPA等では難しい、LLMならではの価値がある ● 「単純作業」 ○ 人間とのインタラクションが小さく、システムがシンプルでQuick winしやすい ○ 現状のLLMの性能でも精度を出しやすいから ● 「反復的」（明示してないが暗に期待する要件として） ○ 業務マニュアル化しやすい & その意義がある業務 ○ 一方、一回しかやらない仕事は業務マニュアル化する意味が乏しいなぜ「知的単純作業」から着手するか知的単純作業

Slide 42

Slide 42 text

Slide 43

Slide 43 text

業務マニュアルのプラットフォームへ

Slide 44

Slide 44 text

© 2023 LayerX Inc. 44 AI用のフォーマットで業務マニュアルを作ろう AIワークフローという次世代の業務マニュアル Before Input Output 業務マニュアル・口頭伝承されるやり方で人間が作業作業ログはちゃんと残らない After Input Output AIワークフローに基づく処理作業記録が自然とデータベースに履歴からワークフロー（= 業務マニュアル）を自動更新業務マニュアルのプラットフォームへ

Slide 45

Slide 45 text

© 2023 LayerX Inc. 45 業務標準化プラットフォームとしてのAi Workforce 日々の業務により、業務マニュアル（ワークフロー）が半自動的にアップデートされていく ①現状のマニュアル(WF) での処理結果を返す ②新しいケースに直面し結果に修正を加える ③マニュアル(WF)が更新される ④新しいマニュアル(WF) で業務が可能に Ai Workforceを業務基盤とする部署・チームのイメージ人間と違って、AIは異動・退職しない業務マニュアルのプラットフォームへ

Slide 46

Slide 46 text

最後に

Slide 47

Slide 47 text

Slide 48

Slide 48 text

© 2024 LayerX Inc. 48 SaaS + Fintechという挑戦しがいのある領域です最後にバクラク事業部における仲間を募集しています！ ● 採用ポジション (新卒も中途も積極採用中です！) ○ 機械学習エンジニア ○ MLOpsエンジニア ○ データサイエンティスト ○ ソフトウェアエンジニア ● 応募はこちらから ○ https://open.talentio.com/r/1/c/layerx/homes/3589 ● カジュアル面談もお待ちしてます！ ○ https://jobs.layerx.co.jp/03086b53925347b08050a240be370ced

Slide 49

Slide 49 text

© 2024 LayerX Inc. 49 ビジネス・エンジニアの垣根なく、一丸となって事業を立ち上げています！ LayerXのAI・LLM事業部の仲間を募集しています！最後に ● 特に採用注力中のポジション（業務委託も歓迎） ○ ソフトウェアエンジニア ○ アルゴリズムエンジニア ○ デザイナー ○ ビジネス側マネージャー ● 応募はこちらから ○ https://open.talentio.com/r/1/c/layerx/homes/3589?group_ids=8132 ● カジュアル面談もお気軽に！ ○ https://t.co/zMlRO4ZBzt