20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day

LayerX 部門執行役員・AI・LLM事業部長 中村龍矢

- LLMという、パソコンの中から出られない、鳥頭でドジで杓子定規な新入社員
- 人間のレビューの体験を挟み、むしろ間違いが許されない業務を狙おう
- チューニングは深入りしすぎず、Low-hanging fruitを狙おう

Transcript

1. © 2024 LayerX Inc. 「LLMによるDXのビジョンと、今何からやるべきか」 2024/7/25 LayerX 部門執行役員・AI・LLM事業部長 中村龍矢
2. 自己紹介・会社紹介
3. © 2024 LayerX Inc. 3 中村龍矢 機械学習エンジニア 東京大 工学部 • データサイエンスと出会う Gunosy データ分析部 • 推薦システム開発等 セキュリティ研究者 （現在） 事業責任者 LayerX 創業時からR&D • プログラムの形式検証 • ブロックチェーン ◦ Ethereumへのコント リビューション • LayerX 部門執行役員 AI・LLM事業部長 • IPA 未踏スーパークリエータ • 2020年度 電子情報通信学会 インターネットアーキテクチャ研 究賞 最優秀賞 (共著) • Forbes JAPAN 30 UNDER 30 2023 「世界を変える30 歳未満」 LayerXの新規事業 • プライバシーテック • 大規模言語モデル 自己紹介
4. © 2024 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名　　　　 代表取締役　 創業　　　　　 資本金* 関連会社 株主一覧　 取得認証 ｜ 株式会社LayerX（レイヤーエックス） ｜　代表取締役CEO 福島 良典 　　 代表取締役CTO 松本 勇気 ｜　2018年 ｜　132.6億円 ｜　バクラク事業、Fintech事業、AI・LLM事業 ｜　三井物産デジタル・アセットマネジメント 　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 ｜　 ｜　情報セキュリティマネジメントシステム、　　 　　 JIIMA認証 提供プロダクト 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理（BSM）SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001
5. © 2024 LayerX Inc. 5 チーム紹介 LayerXのご紹介 経営陣 AI・LLM事業部 福島 良典 代表取締役 CEO Gunosy創業・上場 横田 淳 取締役コーポレート担当 メルカリ上級執行役員 手嶋 浩己 XTech Ventures 代表パートナー 渡瀬 浩行 執行役員 CFO Aiming創業・上場 名村 卓 執行役員 メルカリCTO 川口 かおり 執行役員 Wantedly執行役員 松本 勇気 代表取締役 CTO Gunosy/DMM CTO 中村 龍矢 執行役員 事業部長 未踏スーパークリエータ 畑島 崇宏 事業開発 野村総合研究所 篠塚 史弥 エンジニア FiNC CTO 小林 誉幸 事業開発 弁護士ドットコム執行役員
6. © 2024 LayerX Inc. 6 LayerXにおけるLLMの活用 LayerXのご紹介 • バクラク事業: 既存プロダクトへのLLMを活用した新機能の拡充 • AI・LLM事業: LLMを軸とした新たなプロダクトの発掘
7. © 2024 LayerX Inc. 7 本日の内容 LLMは今後どのようにホワイトカラーの業務分野で活躍していけるのか？ • 現状LayerXでLLMをどう使っているか • LLMのポテンシャルとして、どれくらい伸び代があるのか • 一方、直近はまず何からやっていくべきなのか
8. LayerXにおけるLLMの活用 〜バクラク事業部〜
9. © 2024 LayerX Inc. 9 バクラク事業：AIをコア技術としたプロダクトラインナップ バクラク事業について AI-OCRや検知技術などAIをコア技術とするバクラクシリーズを提供している。 法人カードでコスト削減　 LayerXはムダ検出AI, 日本経済新聞 , https://www.nikkei.com/article/DGXZQOUC207AD0Q3A220C2000000/ ,（参照2023-2-28）
10. © 2024 LayerX Inc. 10 バクラクシリーズラインナップ 稟議・支払申請・経費精算 仕訳・支払処理効率化 法人カードの発行・管理 帳票保存・ストレージ 帳票発行 * 経費精算のSlack連携は申請内容の通知のみ ・AIが領収書を５秒でデータ化 ・スマホアプリとSlack連携あり ・領収書の重複申請などミス防止機能 ・AIが請求書を５秒でデータ化 ・仕訳・振込データを自動作成 ・稟議から会計までスムーズに連携 ・年会費無料で何枚でも発行可 ・インボイス制度・電帳法対応 ・すべての決済で1%以上の還元 ・AIが書類を5秒でデータ化 ・あらゆる書類の電子保管に対応 ・電子取引・スキャナ保存に完全対応 ・帳票の一括作成も個別作成も自由自在 ・帳票の作成・稟議・送付・保存を一本化 ・レイアウトや項目のカスタマイズも可能
11. © 2024 LayerX Inc. 11 AI-OCRによる経理業務に必要な項目の抽出 バクラク事業における項目抽出 請求書や領収書などの帳票に記載された項目（支払期日や支払金額、取引先名など）を抽出。 • 帳票のフォーマットは多種に渡り、 目視で必要な項目を探すのは手間がかかる • ミスが許されないため、ダブルチェック等の 確認作業にも追加でコストが必要 • 色塗りをすることで、AIが間違った際の 「気づきやすさ」などの体験を設計
12. © 2024 LayerX Inc. 12 契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 既存の機械学習ベースのAI-OCRでは解決できない課題 既存の機械学習ベースのAI-OCRではすべての項目には対応不可 契約書 見積書 前回稟議情報 自動読み取りが 難しい 機械学習ベースの AI-OCRで自動読取 ？ 多種多様な項目ごとに十分なデータが蓄積されない ソースとなる書類・帳票も複数あり複雑性が高い
13. © 2024 LayerX Inc. 13 LLMを用いた複数の書類から任意の項目の情報抽出 既存の機械学習ベースのAI-OCRでは解決できない課題 十分な精度がでない場合やハルシネーションを考慮した体験面（AI-UX）の設計は必須 ソースとなる関連する情報を特定する部分も技術的なチャレンジ 契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 契約書 見積書 前回稟議情報 LLMが任意の稟議 項目を自動抽出 機械学習ベースの AI-OCRで自動読取
14. LayerXにおけるLLMの活用 〜AI・LLM事業部〜
16. © 2024 LayerX Inc. 16 Ai Workforceのコンセプト 事前に業務をAIでパターン化したアルゴリズム（AIワークフロー）を登録して活用 Ai Workforceの紹介 人間ならではの判断や 創造性が求められる業務にフォーカス ①ファイルをアップロード ②AIワークフロー に基づき処理 ③結果をレビュー・修正
17. © 2024 LayerX Inc. 17 ユースケースの例: 金融業界 Ai Workforceの紹介 決算書や契約書などの書類を別の書類・システムに転記したり、それを確認したりする業務が多い ファンド関連 契約書 ファンド管理 DB 登記簿等の 公的書類 決算書 稟議書 ドラフト 事業計画書 銀行の稟議書作成・レビュー アセットマネジメント会社の書類整理
18. © 2024 LayerX Inc. 18 AIワークフローのイメージ Ai Workforceの紹介 様々なモジュールやプロンプトテンプレートを組み合わせて、複雑な業務をアルゴリズムで表現。 LayerXのR&Dによるベストプラクティスが詰め込まれている。
19. © 2024 LayerX Inc. 19 3M. (2024). 3M 2023 Annual Report. U.S. Securities and Exchange Commission. https://www.sec.gov/Archives/edgar/data/66740/000130817924000309/mmm4298631-ars.pdf
20. © 2024 LayerX Inc. 20
21. © 2024 LayerX Inc. 21 Ai Workforceによる低コスト・高速なAI活用 Ai Workforceの紹介 社内の新しい業務・部門のAI活用を進める際の費用・時間を圧倒的に削減
22. LLMによるDXのビジョン
23. © 2023 LayerX Inc. 23 LLMの可能性: 人間のように仕事を学べる（かも） LLMは人間と同程度の情報量（マニュアルとOJT）で仕事を習得するポテンシャルがある 基盤モデルがない場合: 赤ちゃんにいきなり 教えるのは大変 チュー ニング 範囲 この業務に必要な 知識・ルール LLM の 基礎 能力 「知識」の常識 （例: 経常利益などの一 般的勘定科目の意味） 「やり方」の常識 （例: データの年次推移を 各列に貼り付ける） 例: 決算書からの稟議付属資料への転記 WFの初期設定に加え、 「AI版のOJT」で学ぶ LLMの場合: ここだけ学べば良いので、 必要なサンプルが少ない LLMによるDXのビジョン
24. © 2024 LayerX Inc. 24 ソフトウェアで人間の思考を再現する 必ずしもfine-tuningだけではない 仕事を教えるためのLLMのチューニング • ファイルの前処理・後処理 • 検索アルゴリズムの選定 • LLMの処理の分割・結合 • 他のAI技術との組み合わせ 業務の知識・やり方を整理する • 専門用語の説明 • 正解例・フォーマット • 判断ルール • 着目すべき箇所のヒント 人間の新入社員に教えるのと同様 LLM独自のポイント LLMによるDXのビジョン
25. © 2024 LayerX Inc. 25 人間と同様、扱う仕事の「ミッション」「イシュー」を大きくしていけるか？ LLMによるDXのビジョン 今後のテーマ: LLMにより大きな仕事を任せるようになるには 経営・事業 プロジェクト 施策 作業 小さい作業 ・ ・ ・ LLMはどこまで いけるか？
26. © 2024 LayerX Inc. 26 上司と部下のアナロジー: LLMの出力をレビューする LLMを作業担当者と捉えるなら、上司・マネージャーがアウトプットを確認するのは自然なこと • よって、 「AIはミスをするので、ミスが許容される仕事をやらせよう」 という考え方には反対 • 人間による確認を挟めるなら、既存のやり方以下にリスクを抑えられるはず • むしろ、ミスが許されない 「本格的な」 ユースケースの方が、インパクトが出ることも多い ◦ 当社の金融業界での取り組み: 稟議書作成や決算書分析 LLMによるDXのビジョン
27. © 2024 LayerX Inc. 27 LLMによるDXのビジョン 人間にとって 「単純作業」 レベルの仕事も、かなり細かくやり方を指示・タスクを分割しないと精度が出ない 現状のLLM: 扱える仕事のサイズはかなり小さい サブイシュー サブイシュー 大きなイシュー サブイシュー サブイシュー サブイシュー 解けない 解ける 不得意 人間の育成と同じように、小さな仕事から任せ、地道に登っていくしかない
28. © 2024 LayerX Inc. 28 以下の決算書から 損益計算書を取り出してくださ い。 決算書： 〜〜〜 〜〜〜 あなたはプロの監査役です。 以下の決算書から 損益計算書を取り出してください。 また、「販売費及び一般管理費」には 以下の名称の項目も勘定してくださ い： 「販管費」「管理費用」「人件費」… 決算書： 〜〜〜 〜〜〜 以下の決算書のどのページに損益 計算書が存在するか回答してくだ さい。 決算書： 〜〜〜 1つ目のプロンプト 以下の損益計算書の勘定科目は、 以下のどの勘定科目に振り分けら れるか回答してください。 損益計算書： 〜〜〜 2つ目のプロンプト 処理を分解 業務知識の追加・ プロンプトの工夫 具体例: 現状のLLMでの決算書読み取り 素のLLM 業務知識・ルールの追加 高度な技術的工夫 LLMによるDXのビジョン かなり地道なチューニングが必要、、、
29. © 2024 LayerX Inc. 29 技術・ツールを進化させ、チューニングのROIが合うケースを増やす （単に理論上できるだけではなく） 今後のチャレンジ: より大きな仕事で、よりチューニングを簡単に LLMによるDXのビジョン チューニングの手間・コスト 価値・インパクト ROIが合う範囲 ユースケース
30. © 2024 LayerX Inc. 30 高度なスキル以前に、 「言われた通りにやる力」 だけでも伸び代が多い 足りないもの1: 根本的な性能 （器用さ、安定感） LLMによるDXのビジョン • まず前述の通り、 一度にちゃんと処理できるデータ量が小さい （鳥頭） • 人間にとっては不可解なミスも多い （ドジ） • フォーマットやルールに引っ張られやすい (杓子定規） → LayerXの体感として、ここがチューニング工数を引き上げ、ROIが合うケースをかなり減らしている
31. © 2024 LayerX Inc. 31 人間の部下が成長する際のように、やり方ではなくゴールだけを伝えるようにしたい 足りないもの2: やり方を自分で見出す能力 LLMによるDXのビジョン • インプットとアウトプットの事例からパターン認識し、やり方を導いてほしい アウトプット インプット ？
32. © 2024 LayerX Inc. 32 作業の進捗を定期的に確認し、正しい方向に直していく 足りないもの3: 人間（上司）とのインタラクション LLMによるDXのビジョン • 「パソコンの中から出られない新入社員」の育成の難しさ ◦ 「リモートワークで会話が減って生産性低下」の最悪なパターン （月に住んでる社員） タスク1 サブタスク2 サブタスク1 ・ ・ ・ 仮に100個のタスクがある時 個別のタスクの精度が99%でも 全て成功する確率は37% ゴール タスク2 ・ ・ ・ 人間のレビューをよ り細かく挟む必要
33. © 2024 LayerX Inc. 33 平たくいえば、 「質より量」 で人間を上回ることがある • 残念ながら、当面は、人間が解けない大抵の問題はLLMにも解けないはず • 一方、人間にできる程度の作業を大量に・高速に積み上げて、全体のアウトプットで人間を超えうる • 例: リサーチ業務 ◦ 個別の資料を読んだ考察・分析で人間を上回ることは難しい ◦ 一方、人間には読めない量の資料を、コンピューターが24時間並列で処理できる ◦ 結果的に、人間を超えたリサーチ結果を生み出すことがありうる 余談: LLMが「人間を超える」のはどういう時か？ LLMによるDXのビジョン
34. 現状のLLMで まず何からやっていくか
35. © 2024 LayerX Inc. 35 業務のやり方が明確 マニュアル化できる業務から “Quick Win” を作る 正解が明確 • LLMに期待する正しいアウトプットが明確に定義できるか • 答えが定まらないと、精度評価できない • LLMに人間の手順・思考回路を再現させる方が簡単 • 「職人芸」「第六感」的な業務は難しい 知的単純作業 “新入社員” に渡しやすいのは、業務マニュアルが作れる業務
36. © 2024 LayerX Inc. 36 知的単純作業 「知的単純作業」 ドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。 一方、正解も決まっているため、負荷を下げて、早く終わらせたい。 毎回同じことの繰り返し 必要なファイルを探すのに 時間がかかる 自分以外に 引き継げる人がいない
37. © 2024 LayerX Inc. 37 外部公開文書 • パンフレット • 説明書 書類のレビュー・校閲 単純な誤字脱字だけではなく、書類に特化したレビュー・点検項目に対応可能 給付金の受け取りに必要な 条件が明記されているか？ → 資料P5に記載あり 内部文書 • 稟議書 • 契約書 外国籍の方向けの補足説明 があるか？ → なし 知的単純作業
38. © 2024 LayerX Inc. 38 書類からの基幹システム・Excelへの転記 従来のOCRやRPAだけでは対応が困難だった非定型的な書類に対応 • 申請書類 • 契約書 • 決算書 • etc. CSV, Excel 業務 システム 知的単純作業
39. © 2024 LayerX Inc. 39 • 規約 • マニュアル • 過去事例 • Q&A 審査・判定業務 長文の文書やマニュアルに書かれた規則やルールに照らした申請等の業務を効率化 申請等 審査結果: 採択 理由: 条件〇〇を満たし... 知的単純作業
40. 40 業務委託契約書 株式会社〇〇〇〇と株式会社△△△△ は、下記業務に関して、業務委託契約を 締結する。 … 第２条（契約期間） 　委託期間は、令和〇年〇月〇日から令 和〇年〇月〇日までとする 第3条（委託料） 　本契約に基づく乙の委託料は、〇〇〇 円とする。 機密情報のマスキング （黒塗り） 母体であるPrivacyTech事業のノウハウを活かし、ファイル中の機密情報をマスク/ダミー値に変換。 業務委託契約書 株式会社〇〇〇〇と株式会社△△△△ は、下記業務に関して、業務委託契約を 締結する。 … 第２条（契約期間） 　委託期間は、令和〇年〇月〇日から令 和〇年〇月〇日までとする 第3条（委託料） 　本契約に基づく乙の委託料は、〇〇〇 円とする。 知的単純作業
41. © 2024 LayerX Inc. 41 平たくいえば、 「質より量」 で人間を上回ることがある • 「知的」 ◦ 従来のルールベースのシステム・RPA等では難しい、LLMならではの価値がある • 「単純作業」 ◦ 人間とのインタラクションが小さく、システムがシンプルでQuick winしやすい ◦ 現状のLLMの性能でも精度を出しやすいから • 「反復的」 （明示してないが暗に期待する要件として） ◦ 業務マニュアル化しやすい & その意義がある業務 ◦ 一方、一回しかやらない仕事は業務マニュアル化する意味が乏しい なぜ 「知的単純作業」 から着手するか 知的単純作業
42. © 2023 LayerX Inc. 42 個別性が高く 時間がかかる 一般的な工夫で すぐできる 再現性ある技術で 乗り越えられる TIPS: Low-hanging fruitを狙おう チューニングは際限ないが、効果は逓減してくるはず。価値の上がり幅が大きいところまで行う 提供価値 チューニングのコスト Low-hanging fruit
43. 業務マニュアルのプラットフォームへ
44. © 2023 LayerX Inc. 44 AI用のフォーマットで業務マニュアルを作ろう AIワークフローという次世代の業務マニュアル Before Input Output 業務マニュアル・口頭伝承される やり方で人間が作業 作業ログはちゃんと残らない After Input Output AIワークフローに基づく処理 作業記録が自然とデータベースに 履歴からワークフロー （= 業務マニュアル） を自動更新 業務マニュアルのプラットフォームへ
45. © 2023 LayerX Inc. 45 業務標準化プラットフォームとしてのAi Workforce 日々の業務により、業務マニュアル（ワークフロー）が半自動的にアップデートされていく ①現状のマニュアル(WF) での処理結果を返す ②新しいケースに直面 し結果に修正を加える ③マニュアル(WF)が 更新される ④新しいマニュアル(WF) で業務が可能に Ai Workforceを業務基盤とする部署・チームのイメージ 人間と違って、AIは 異動・退職しない 業務マニュアルのプラットフォームへ
46. 最後に
47. © 2024 LayerX Inc. 47 お気軽にご連絡ください お問い合わせ 最後に • LayerX公式サイト 「お問い合わせ」 より ◦ https://layerx.co.jp/contact/ （Ai WorkforceのLPはまだありません！）
48. © 2024 LayerX Inc. 48 SaaS + Fintechという挑戦しがいのある領域です 最後に バクラク事業部における仲間を募集しています！ • 採用ポジション (新卒も中途も積極採用中です！) ◦ 機械学習エンジニア ◦ MLOpsエンジニア ◦ データサイエンティスト ◦ ソフトウェアエンジニア • 応募はこちらから ◦ https://open.talentio.com/r/1/c/layerx/homes/3589 • カジュアル面談もお待ちしてます！ ◦ https://jobs.layerx.co.jp/03086b53925347b08050a240be370ced
49. © 2024 LayerX Inc. 49 ビジネス・エンジニアの垣根なく、一丸となって事業を立ち上げています！ LayerXのAI・LLM事業部の仲間を募集しています！ 最後に • 特に採用注力中のポジション （業務委託も歓迎） ◦ ソフトウェアエンジニア ◦ アルゴリズムエンジニア ◦ デザイナー ◦ ビジネス側マネージャー • 応募はこちらから ◦ https://open.talentio.com/r/1/c/layerx/homes/3589?group_ids=8132 • カジュアル面談もお気軽に！ ◦ https://t.co/zMlRO4ZBzt
50. © 2024 LayerX Inc. 50 利活用事例や技術動向などを、特定ベンダーに偏らない形で情報収集いただけます 生成AIに関するニュースレターを毎週配信（無料） 最後に https://layerxnews.substack.com/archive ご登録はこちらから