「知的単純作業」を自動化する、地に足の着いた大規模言語モデル (LLM) の活用

by Ryuya Nakamura

Slide 1

Slide 1 text

Slide 2

Slide 2 text

自己紹介・会社紹介

Slide 3

Slide 3 text

© 2024 LayerX Inc. 3 中村龍矢機械学習エンジニア東京大工学部 ● データサイエンスと出会う Gunosy データ分析部 ● 推薦システム開発等セキュリティ研究者（現在）事業責任者 LayerX 創業時からR&D ● プログラムの形式検証 ● ブロックチェーン ○ Ethereumへのコントリビューション ● LayerX 部門執行役員 AI・LLM事業部長 ● IPA 未踏スーパークリエータ ● 2020年度電子情報通信学会インターネットアーキテクチャ研究賞最優秀賞 (共著) ● Forbes JAPAN 30 UNDER 30 2023 「世界を変える30 歳未満」 LayerXの新規事業 ● プライバシーテック ● 大規模言語モデル自己紹介

Slide 4

Slide 4 text

© 2024 LayerX Inc. 4 LayerXの事業概要 LayerXのご紹介 * 資本準備金含む会社名　　　　代表取締役　創業　　　　　資本金* 関連会社株主一覧　取得認証｜株式会社LayerX（レイヤーエックス）｜　代表取締役CEO 福島良典　　代表取締役CTO 松本勇気｜　2018年｜　132.6億円｜　バクラク事業、Fintech事業、AI・LLM事業｜　三井物産デジタル・アセットマネジメント　　三井物産、LayerX、三井住友信託銀行、SMBC日興証券、JA三井リースによる合弁会社｜　｜　情報セキュリティマネジメントシステム、　　　　 JIIMA認証提供プロダクト企業や行政のLLMを用いた業務効率化・データ活用を支援バクラク事業企業活動のインフラとなる法人支出管理（BSM）SaaSを開発・提供 Fintech事業ソフトウェアを駆使したアセットマネジメント証券事業を合弁会社にて展開 AI・LLM事業 IS 747702 / ISO 27001

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© 2024 LayerX Inc. 7 チーム紹介 LayerXのご紹介経営陣 AI・LLM事業部福島良典代表取締役 CEO Gunosy創業・上場横田淳取締役コーポレート担当メルカリ上級執行役員手嶋浩己 XTech Ventures 代表パートナー渡瀬浩行執行役員 CFO Aiming創業・上場名村卓執行役員メルカリCTO 川口かおり執行役員 Wantedly執行役員松本勇気代表取締役 CTO Gunosy/DMM CTO 中村龍矢執行役員事業部長未踏スーパークリエータ畑島崇宏事業開発野村総合研究所篠塚史弥エンジニア FiNC CTO 小林誉幸事業開発弁護士ドットコム執行役員

Slide 8

Slide 8 text

Slide 9

Slide 9 text

なぜLayerXがLLMをやるのか？

Slide 10

Slide 10 text

© 2024 LayerX Inc. 10 LayerX創業からのチームが母体: 一貫して “テクノロジードリブンな事業立ち上げ” にトライそもそも: AI・LLM事業部に至る変遷なぜLayerXがLLMをやるのか？ Fintech事業バクラク事業ブロックチェーン事業ブロックチェーン事業プライバシーテック事業 R&Dチーム LLM Labs AI・LLM事業 2018年創業 2021年 2020年ピボット 2023年データビジネスの支援 LLMのR&D

Slide 11

Slide 11 text

© 2024 LayerX Inc. 11 業務のデジタル化における非構造化データの課題と可能性背景1: ブロックチェーン・プライバシーテック事業での気づきなぜLayerXがLLMをやるのか？ ● ブロックチェーン時代の課題: 会社をまたぐシステムの連携 ○ データのフォーマットが会社ごとにバラバラ（標準化されていない） ● プライバシーテック時代の課題: マネタイズできるデータの発掘 ○ 構造化データの限界（プライバシーテックでは非構造化データは扱いにくかった） ○ 一方、お客様から「LLMはやらないの？」と言われていた（補足: 現在AI・LLM事業のお客様のほとんどはBC・PT時代のお客様！）

Slide 12

Slide 12 text

Slide 13

Slide 13 text

Slide 14

Slide 14 text

LayerXの取り組みスタンス

Slide 15

Slide 15 text

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2024 LayerX Inc. 17 LLMによる非構造的なデータの構造化 LayerXの取り組みスタンス {会社名: 株式会社LLM} xxx契約書第6条（責任の免除）甲は、本契約に基づくサービスの提供において、故意または重大な過失がない限り、いかなる間接的損害に対しても責任を負わない。乙による本サービスの利用に関連して発生したデータの損失または損害について、甲は責任を負わない。会社名　株式会社LLM {責任制限条項: 間接的損害, データの損失または損害} LLMは従来のプログラムでは細かすぎて作り込みきれない文書処理に対応できる文書の意味を汲み取り、デジタル化を阻んできた文書のフォーマットの違いを吸収 LLM

Slide 18

Slide 18 text

© 2024 LayerX Inc. 18 知的単純作業におけるAI活用のメリット LayerXの取り組みスタンス業務時間削減だけではなく、業務の質を高めることにつながる業務時間の削減 ● 労働生産性の向上 ● 働きがいの向上・離職率の低下ヒューマンエラーの削減 ● 単純作業の連続での集中力低下によるミスを削減 ● 処理のログが残ることで他人によるレビューがしやすい業務の標準化 ● AIがドラフトを作ることで、作業者ごとのバラツキが減る ● 担当者変更での業務ノウハウの引き継ぎも行いやすい

Slide 19

Slide 19 text

© 2024 LayerX Inc. 19 知的単純作業自動化の社会的なインパクトエンプラの業務のほとんどは、一部の業界やその会社に特化した「ニッチ」なもの。便利で安価なサービスが生まれにくく、従来はシステム開発に多額の投資をするか、DXを諦めざるを得なかった。 LayerXの取り組みスタンス具体例 ● 銀行の融資稟議書の作成 ● 損害保険の募集文書のレビュー ● 医療分野の論文の構造化抄録作成 ● 特許の社内分類

Slide 20

Slide 20 text

文書処理業務を自動化するためのチューニング

Slide 21

Slide 21 text

© 2024 LayerX Inc. 21 必ずしもfine-tuningではない！業界・会社特化のユースケースに合わせたチューニングが重要 LLM活用のためのチューニング技術的な観点ドメイン知識的な観点アルゴリズムの要素技術を検証する ● ファイルの前処理・後処理 ● 検索アルゴリズムの選定 ● LLMの処理の分割・結合 ● LLM以外のML/NLPとの組み合わせプロンプト等で下記をLLMに教える ● 専門用語の説明 ● 正解例・フォーマット ● 判断ルール ● 着目すべき箇所のヒント

Slide 22

Slide 22 text

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© 2024 LayerX Inc. 24 LLM活用のためのチューニング LayerXでは、文書処理にフォーカスしてチューニング作業をパターン化した社内基盤を構築チューニングを効率化する “LLM Ops” の構築 LayerXの社内基盤分割 LLM処理 LLM処理変換検索 LLM処理設定ファイル簡単に個別の業務に合わせたアルゴリズムを検証 ● プロンプトに限らない様々なパラメータを改善 ● ノーコードでチューニング可能 ○ 設定ファイルを修正するだけ ● 精度評価を自動化 ○ 「採点結果」がレポートとして出力される整形

Slide 25

Slide 25 text

© 2024 LayerX Inc. 25 業務のやり方が明確チューニングしやすいユースケース LLM活用のためのチューニング正解が明確 ● LLMに期待する正しいアウトプットが明確に定義できるか ● 答えが定まらないと、精度評価できない ● LLMに人間の手順・思考回路を再現させる方が簡単 ● 「職人芸」「第六感」的な業務は難しい正解・プロセスが明確で “Quick Win” を作りやすいところから始める → “知的単純作業”のユースケースは上記を満たしていることが多い！

Slide 26

Slide 26 text

© 2024 LayerX Inc. 26 「精度80%を達成する」などの定量的な精度の閾値を設けるのは難しい精度目標の定義の難しさ LLM活用のためのチューニング ● 項目によって、自動化できた場合のインパクトが異なる ○ 例: 「売上」は人間でもすぐ見つかるが、「売上増減要因」は探すのが大変で時間がかかる ○ 人間にとって大変な項目こそ、LLMが正答してほしい ● 不正解の中で、「取り過ぎ」と「取りこぼし」の影響は異なる ○ 例: 「売上」らしき数字が複数ある時、LLMが候補として複数出力する場合 ■ 取り過ぎは人間がすぐ修正できるが、取りこぼしは結局人間が元文書を全部読むので大変例: 企業の決算レポートから所定の10項目の決算情報をLLMで取得する場合

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© 2024 LayerX Inc. 28 ユーザー/お客様に対して、エンジニアが、臆せず自分でやれると良いこと LLM活用のためのチューニングエンジニアが直接ユーザーと対話してチューニングしよう ● 直接質問し、仮説をぶつけよう ○ 嫌がらずにメール・電話をしよう ○ なるべく早くフィードバックをもらい、高速で検証を回そう ● どんどん「お願いごと」をしよう ○ 業務マニュアルや必要なデータの受領 ○ 「暗黙知」の言語化（既存マニュアルは大抵LLMにとって優しくない、、、） ● ユーザーの業務に深くダイブし、思考過程を想像しよう → クライアントコミュニケーションができるエンジニアの価値は非常に高い！

Slide 29

Slide 29 text

© 2024 LayerX Inc. 29 基盤モデルの使い方・アプリケーション面にフォーカス補足: 基盤モデルの開発はやっていません ● LLMでうまくいかない原因が「基盤モデルのせい」であることが少ない ○ 「知的単純作業」なユースケースに取り組んでいる所感 ● 強いて言えば、高速化・低価格化には引き続き期待 ※ 一方、基盤モデル開発は、他のユースケースでのニーズや、国策としての意義があるものと思います（取り組んでいる企業の皆様を応援・尊敬しています） LLM活用のためのチューニング

Slide 30

Slide 30 text

最後に

Slide 31

Slide 31 text

© 2024 LayerX Inc. 31 まとめ ● LayerXにとって、LLMへの参入はかなり自然な流れでした ○ 「すべての経済活動のデジタル化」というミッション ○ 新しいテクノロジーから事業を作ることに取り組んできた ● 「知的単純作業」から人々を解放する大きなポテンシャルがLLMにあると考えています ○ ここに特化したプロダクトを開発しています ● 実用化のためには、ユーザーに向き合ったチューニングがとても大事です最後に

Slide 32

Slide 32 text

© 2024 LayerX Inc. 32 ビジネス・エンジニアの垣根なく、一丸となって事業を立ち上げています！宣伝: LayerXのAI・LLM事業部の仲間を募集しています！最後に ● 募集中ポジション ○ アルゴリズムエンジニア ○ ソフトウェアエンジニア、プロダクトマネージャー、QAエンジニア、デザイナー ○ プロジェクトマネージャー、BizDev ● 応募はこちらから ○ https://open.talentio.com/r/1/c/layerx/homes/3589?group_ids=8132 ● カジュアル面談もお気軽に！ ○ https://t.co/zMlRO4ZBzt

Slide 33

Slide 33 text

© 2024 LayerX Inc. 33 LayerXやLLMのアプリケーションに興味がある方ぜひご参加ください！宣伝: 新しいオフィス（@東銀座）にてイベントを開催します！ ● 日時: 6/10（月） 19:00-21:00 （予定） ● 場所: 銀座松竹スクエア（LayerX新オフィス） ● ぜひ参加してほしい方 ○ エンジニア ○ プロダクトマネージャー ○ プロジェクトマネージャー・BizDev 最後に https://layerx.connpass.com/event/318086