$30 off During Our Annual Pro Sale. View Details »

20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI...

20240725 LLMによるDXのビジョンと、今何からやるべきか @Azure OpenAI Service Dev Day

LayerX 部門執行役員・AI・LLM事業部長 中村龍矢

- LLMという、パソコンの中から出られない、鳥頭でドジで杓子定規な新入社員
- 人間のレビューの体験を挟み、むしろ間違いが許されない業務を狙おう
- チューニングは深入りしすぎず、Low-hanging fruitを狙おう

Ryuya Nakamura

July 25, 2024
Tweet

More Decks by Ryuya Nakamura

Other Decks in Technology

Transcript

  1. © 2024 LayerX Inc. 3 中村龍矢 機械学習エンジニア 東京大 工学部 •

    データサイエンスと出会う Gunosy データ分析部 • 推薦システム開発等 セキュリティ研究者 (現在) 事業責任者 LayerX 創業時からR&D • プログラムの形式検証 • ブロックチェーン ◦ Ethereumへのコント リビューション • LayerX 部門執行役員 AI・LLM事業部長 • IPA 未踏スーパークリエータ • 2020年度 電子情報通信学会 インターネットアーキテクチャ研 究賞 最優秀賞 (共著) • Forbes JAPAN 30 UNDER 30 2023 「世界を変える30 歳未満」 LayerXの新規事業 • プライバシーテック • 大規模言語モデル 自己紹介
  2. © 2024 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む 会社名    

    代表取締役  創業      資本金* 関連会社 株主一覧  取得認証 | 株式会社LayerX(レイヤーエックス) | 代表取締役CEO 福島 良典    代表取締役CTO 松本 勇気 | 2018年 | 132.6億円 | バクラク事業、Fintech事業、AI・LLM事業 | 三井物産デジタル・アセットマネジメント   三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社 |  | 情報セキュリティマネジメントシステム、      JIIMA認証 提供プロダクト 企業や行政のLLMを用いた 業務効率化・データ活用を支援 バクラク事業 企業活動のインフラとなる 法人支出管理(BSM)SaaSを 開発・提供 Fintech事業 ソフトウェアを駆使したアセットマネジメント 証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001
  3. © 2024 LayerX Inc. 5 チーム紹介 LayerXのご紹介 経営陣 AI・LLM事業部 福島

    良典 代表取締役 CEO Gunosy創業・上場 横田 淳 取締役コーポレート担当 メルカリ上級執行役員 手嶋 浩己 XTech Ventures 代表パートナー 渡瀬 浩行 執行役員 CFO Aiming創業・上場 名村 卓 執行役員 メルカリCTO 川口 かおり 執行役員 Wantedly執行役員 松本 勇気 代表取締役 CTO Gunosy/DMM CTO 中村 龍矢 執行役員 事業部長 未踏スーパークリエータ 畑島 崇宏 事業開発 野村総合研究所 篠塚 史弥 エンジニア FiNC CTO 小林 誉幸 事業開発 弁護士ドットコム執行役員
  4. © 2024 LayerX Inc. 7 本日の内容 LLMは今後どのようにホワイトカラーの業務分野で活躍していけるのか? • 現状LayerXでLLMをどう使っているか •

    LLMのポテンシャルとして、どれくらい伸び代があるのか • 一方、直近はまず何からやっていくべきなのか
  5. © 2024 LayerX Inc. 10 バクラクシリーズラインナップ 稟議・支払申請・経費精算 仕訳・支払処理効率化 法人カードの発行・管理 帳票保存・ストレージ

    帳票発行 * 経費精算のSlack連携は申請内容の通知のみ ・AIが領収書を5秒でデータ化 ・スマホアプリとSlack連携あり ・領収書の重複申請などミス防止機能 ・AIが請求書を5秒でデータ化 ・仕訳・振込データを自動作成 ・稟議から会計までスムーズに連携 ・年会費無料で何枚でも発行可 ・インボイス制度・電帳法対応 ・すべての決済で1%以上の還元 ・AIが書類を5秒でデータ化 ・あらゆる書類の電子保管に対応 ・電子取引・スキャナ保存に完全対応 ・帳票の一括作成も個別作成も自由自在 ・帳票の作成・稟議・送付・保存を一本化 ・レイアウトや項目のカスタマイズも可能
  6. © 2024 LayerX Inc. 11 AI-OCRによる経理業務に必要な項目の抽出 バクラク事業における項目抽出 請求書や領収書などの帳票に記載された項目(支払期日や支払金額、取引先名など)を抽出。 • 帳票のフォーマットは多種に渡り、

    目視で必要な項目を探すのは手間がかかる • ミスが許されないため、ダブルチェック等の 確認作業にも追加でコストが必要 • 色塗りをすることで、AIが間違った際の 「気づきやすさ」などの体験を設計
  7. © 2024 LayerX Inc. 12 契約・購買稟議項目 ・・・ 購買理由 契約書情報 契約先情報

    購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 既存の機械学習ベースのAI-OCRでは解決できない課題 既存の機械学習ベースのAI-OCRではすべての項目には対応不可 契約書 見積書 前回稟議情報 自動読み取りが 難しい 機械学習ベースの AI-OCRで自動読取 ? 多種多様な項目ごとに十分なデータが蓄積されない ソースとなる書類・帳票も複数あり複雑性が高い
  8. © 2024 LayerX Inc. 13 LLMを用いた複数の書類から任意の項目の情報抽出 既存の機械学習ベースのAI-OCRでは解決できない課題 十分な精度がでない場合やハルシネーションを考慮した体験面(AI-UX)の設計は必須 ソースとなる関連する情報を特定する部分も技術的なチャレンジ 契約・購買稟議項目

    ・・・ 購買理由 契約書情報 契約先情報 購買金額 契約期間 締結方法 予算コード 前回稟議 得意先コード 郵送先住所 押印有無 印鑑種別 契約書 見積書 前回稟議情報 LLMが任意の稟議 項目を自動抽出 機械学習ベースの AI-OCRで自動読取
  9. 15

  10. © 2024 LayerX Inc. 16 Ai Workforceのコンセプト 事前に業務をAIでパターン化したアルゴリズム(AIワークフロー)を登録して活用 Ai Workforceの紹介

    人間ならではの判断や 創造性が求められる業務にフォーカス ①ファイルをアップロード ②AIワークフロー に基づき処理 ③結果をレビュー・修正
  11. © 2024 LayerX Inc. 17 ユースケースの例: 金融業界 Ai Workforceの紹介 決算書や契約書などの書類を別の書類・システムに転記したり、それを確認したりする業務が多い

    ファンド関連 契約書 ファンド管理 DB 登記簿等の 公的書類 決算書 稟議書 ドラフト 事業計画書 銀行の稟議書作成・レビュー アセットマネジメント会社の書類整理
  12. © 2024 LayerX Inc. 19 3M. (2024). 3M 2023 Annual

    Report. U.S. Securities and Exchange Commission. https://www.sec.gov/Archives/edgar/data/66740/000130817924000309/mmm4298631-ars.pdf
  13. © 2023 LayerX Inc. 23 LLMの可能性: 人間のように仕事を学べる(かも) LLMは人間と同程度の情報量(マニュアルとOJT)で仕事を習得するポテンシャルがある 基盤モデルがない場合: 赤ちゃんにいきなり

    教えるのは大変 チュー ニング 範囲 この業務に必要な 知識・ルール LLM の 基礎 能力 「知識」の常識 (例: 経常利益などの一 般的勘定科目の意味) 「やり方」の常識 (例: データの年次推移を 各列に貼り付ける) 例: 決算書からの稟議付属資料への転記 WFの初期設定に加え、 「AI版のOJT」で学ぶ LLMの場合: ここだけ学べば良いので、 必要なサンプルが少ない LLMによるDXのビジョン
  14. © 2024 LayerX Inc. 24 ソフトウェアで人間の思考を再現する 必ずしもfine-tuningだけではない 仕事を教えるためのLLMのチューニング • ファイルの前処理・後処理

    • 検索アルゴリズムの選定 • LLMの処理の分割・結合 • 他のAI技術との組み合わせ 業務の知識・やり方を整理する • 専門用語の説明 • 正解例・フォーマット • 判断ルール • 着目すべき箇所のヒント 人間の新入社員に教えるのと同様 LLM独自のポイント LLMによるDXのビジョン
  15. © 2024 LayerX Inc. 26 上司と部下のアナロジー: LLMの出力をレビューする LLMを作業担当者と捉えるなら、上司・マネージャーがアウトプットを確認するのは自然なこと • よって、

    「AIはミスをするので、ミスが許容される仕事をやらせよう」 という考え方には反対 • 人間による確認を挟めるなら、既存のやり方以下にリスクを抑えられるはず • むしろ、ミスが許されない 「本格的な」 ユースケースの方が、インパクトが出ることも多い ◦ 当社の金融業界での取り組み: 稟議書作成や決算書分析 LLMによるDXのビジョン
  16. © 2024 LayerX Inc. 27 LLMによるDXのビジョン 人間にとって 「単純作業」 レベルの仕事も、かなり細かくやり方を指示・タスクを分割しないと精度が出ない 現状のLLM:

    扱える仕事のサイズはかなり小さい サブイシュー サブイシュー 大きなイシュー サブイシュー サブイシュー サブイシュー 解けない 解ける 不得意 人間の育成と同じように、小さな仕事から任せ、地道に登っていくしかない
  17. © 2024 LayerX Inc. 28 以下の決算書から 損益計算書を取り出してくださ い。 決算書: 〜〜〜

    〜〜〜 あなたはプロの監査役です。 以下の決算書から 損益計算書を取り出してください。 また、「販売費及び一般管理費」には 以下の名称の項目も勘定してくださ い: 「販管費」「管理費用」「人件費」… 決算書: 〜〜〜 〜〜〜 以下の決算書のどのページに損益 計算書が存在するか回答してくだ さい。 決算書: 〜〜〜 1つ目のプロンプト 以下の損益計算書の勘定科目は、 以下のどの勘定科目に振り分けら れるか回答してください。 損益計算書: 〜〜〜 2つ目のプロンプト 処理を分解 業務知識の追加・ プロンプトの工夫 具体例: 現状のLLMでの決算書読み取り 素のLLM 業務知識・ルールの追加 高度な技術的工夫 LLMによるDXのビジョン かなり地道なチューニングが必要、、、
  18. © 2024 LayerX Inc. 30 高度なスキル以前に、 「言われた通りにやる力」 だけでも伸び代が多い 足りないもの1: 根本的な性能

    (器用さ、安定感) LLMによるDXのビジョン • まず前述の通り、 一度にちゃんと処理できるデータ量が小さい (鳥頭) • 人間にとっては不可解なミスも多い (ドジ) • フォーマットやルールに引っ張られやすい (杓子定規) → LayerXの体感として、ここがチューニング工数を引き上げ、ROIが合うケースをかなり減らしている
  19. © 2024 LayerX Inc. 32 作業の進捗を定期的に確認し、正しい方向に直していく 足りないもの3: 人間(上司)とのインタラクション LLMによるDXのビジョン •

    「パソコンの中から出られない新入社員」の育成の難しさ ◦ 「リモートワークで会話が減って生産性低下」の最悪なパターン (月に住んでる社員) タスク1 サブタスク2 サブタスク1 ・ ・ ・ 仮に100個のタスクがある時 個別のタスクの精度が99%でも 全て成功する確率は37% ゴール タスク2 ・ ・ ・ 人間のレビューをよ り細かく挟む必要
  20. © 2024 LayerX Inc. 33 平たくいえば、 「質より量」 で人間を上回ることがある • 残念ながら、当面は、人間が解けない大抵の問題はLLMにも解けないはず

    • 一方、人間にできる程度の作業を大量に・高速に積み上げて、全体のアウトプットで人間を超えうる • 例: リサーチ業務 ◦ 個別の資料を読んだ考察・分析で人間を上回ることは難しい ◦ 一方、人間には読めない量の資料を、コンピューターが24時間並列で処理できる ◦ 結果的に、人間を超えたリサーチ結果を生み出すことがありうる 余談: LLMが「人間を超える」のはどういう時か? LLMによるDXのビジョン
  21. © 2024 LayerX Inc. 35 業務のやり方が明確 マニュアル化できる業務から “Quick Win” を作る

    正解が明確 • LLMに期待する正しいアウトプットが明確に定義できるか • 答えが定まらないと、精度評価できない • LLMに人間の手順・思考回路を再現させる方が簡単 • 「職人芸」「第六感」的な業務は難しい 知的単純作業 “新入社員” に渡しやすいのは、業務マニュアルが作れる業務
  22. © 2024 LayerX Inc. 37 外部公開文書 • パンフレット • 説明書

    書類のレビュー・校閲 単純な誤字脱字だけではなく、書類に特化したレビュー・点検項目に対応可能 給付金の受け取りに必要な 条件が明記されているか? → 資料P5に記載あり 内部文書 • 稟議書 • 契約書 外国籍の方向けの補足説明 があるか? → なし 知的単純作業
  23. © 2024 LayerX Inc. 39 • 規約 • マニュアル •

    過去事例 • Q&A 審査・判定業務 長文の文書やマニュアルに書かれた規則やルールに照らした申請等の業務を効率化 申請等 審査結果: 採択 理由: 条件〇〇を満たし... 知的単純作業
  24. 40 業務委託契約書 株式会社〇〇〇〇と株式会社△△△△ は、下記業務に関して、業務委託契約を 締結する。 … 第2条(契約期間)  委託期間は、令和〇年〇月〇日から令 和〇年〇月〇日までとする 第3条(委託料)

     本契約に基づく乙の委託料は、〇〇〇 円とする。 機密情報のマスキング (黒塗り) 母体であるPrivacyTech事業のノウハウを活かし、ファイル中の機密情報をマスク/ダミー値に変換。 業務委託契約書 株式会社〇〇〇〇と株式会社△△△△ は、下記業務に関して、業務委託契約を 締結する。 … 第2条(契約期間)  委託期間は、令和〇年〇月〇日から令 和〇年〇月〇日までとする 第3条(委託料)  本契約に基づく乙の委託料は、〇〇〇 円とする。 知的単純作業
  25. © 2024 LayerX Inc. 41 平たくいえば、 「質より量」 で人間を上回ることがある • 「知的」

    ◦ 従来のルールベースのシステム・RPA等では難しい、LLMならではの価値がある • 「単純作業」 ◦ 人間とのインタラクションが小さく、システムがシンプルでQuick winしやすい ◦ 現状のLLMの性能でも精度を出しやすいから • 「反復的」 (明示してないが暗に期待する要件として) ◦ 業務マニュアル化しやすい & その意義がある業務 ◦ 一方、一回しかやらない仕事は業務マニュアル化する意味が乏しい なぜ 「知的単純作業」 から着手するか 知的単純作業
  26. © 2023 LayerX Inc. 42 個別性が高く 時間がかかる 一般的な工夫で すぐできる 再現性ある技術で

    乗り越えられる TIPS: Low-hanging fruitを狙おう チューニングは際限ないが、効果は逓減してくるはず。価値の上がり幅が大きいところまで行う 提供価値 チューニングのコスト Low-hanging fruit
  27. © 2023 LayerX Inc. 44 AI用のフォーマットで業務マニュアルを作ろう AIワークフローという次世代の業務マニュアル Before Input Output

    業務マニュアル・口頭伝承される やり方で人間が作業 作業ログはちゃんと残らない After Input Output AIワークフローに基づく処理 作業記録が自然とデータベースに 履歴からワークフロー (= 業務マニュアル) を自動更新 業務マニュアルのプラットフォームへ
  28. © 2023 LayerX Inc. 45 業務標準化プラットフォームとしてのAi Workforce 日々の業務により、業務マニュアル(ワークフロー)が半自動的にアップデートされていく ①現状のマニュアル(WF) での処理結果を返す

    ②新しいケースに直面 し結果に修正を加える ③マニュアル(WF)が 更新される ④新しいマニュアル(WF) で業務が可能に Ai Workforceを業務基盤とする部署・チームのイメージ 人間と違って、AIは 異動・退職しない 業務マニュアルのプラットフォームへ
  29. © 2024 LayerX Inc. 47 お気軽にご連絡ください お問い合わせ 最後に • LayerX公式サイト

    「お問い合わせ」 より ◦ https://layerx.co.jp/contact/ (Ai WorkforceのLPはまだありません!)
  30. © 2024 LayerX Inc. 48 SaaS + Fintechという挑戦しがいのある領域です 最後に バクラク事業部における仲間を募集しています!

    • 採用ポジション (新卒も中途も積極採用中です!) ◦ 機械学習エンジニア ◦ MLOpsエンジニア ◦ データサイエンティスト ◦ ソフトウェアエンジニア • 応募はこちらから ◦ https://open.talentio.com/r/1/c/layerx/homes/3589 • カジュアル面談もお待ちしてます! ◦ https://jobs.layerx.co.jp/03086b53925347b08050a240be370ced
  31. © 2024 LayerX Inc. 49 ビジネス・エンジニアの垣根なく、一丸となって事業を立ち上げています! LayerXのAI・LLM事業部の仲間を募集しています! 最後に • 特に採用注力中のポジション

    (業務委託も歓迎) ◦ ソフトウェアエンジニア ◦ アルゴリズムエンジニア ◦ デザイナー ◦ ビジネス側マネージャー • 応募はこちらから ◦ https://open.talentio.com/r/1/c/layerx/homes/3589?group_ids=8132 • カジュアル面談もお気軽に! ◦ https://t.co/zMlRO4ZBzt