Product Utilization of Large Language Models Starting Today

by y_matsuwitter

Slide 1

Slide 1 text

Slide 2

Slide 2 text

Slide 3

Slide 3 text

⽬次 Agenda ● 会社紹介と⾃⼰紹介 ● LLMという技術のインパクト ● LLMのプロダクト活⽤パターン

Slide 4

Slide 4 text

会社紹介

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

© LayerX Inc. 7 「すべての経済活動を、デジタル化する。」をミッションに掲げ、法⼈⽀出管理サービス「バクラク」や企業内業務のデジタル化を⽀援するサービスを提供しています。事業紹介バクラク事業企業活動のインフラとなる法人支出管理（BSM）SaaSを開発・提供 Fintech事業ソフトウェアを駆使したアセットマネジメント・証券事業を合弁会社にて展開 AI・LLM事業文書処理を中心とした、LLMの活用によるプロセスのリデザイン

Slide 8

Slide 8 text

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© LayerX Inc. 10 LayerX創業時から取り組んできた研究開発⼒を活かし、企業や⾏政内に眠っているデータの活⽤‧業務効率化の⽀援を⽬指す組織。⼤規模⾔語モデル（LLM）を⽤いた⽂書処理効率化ソリューションを始めとして、 AIをソフトウェアに⾃然に組み込み、圧倒的に良い体験でエンタープライズ規模の課題を解決します。 AI‧LLM事業事業紹介 AI‧データ関連の先端技術を研究し、プロダクト開発する組織。

Slide 11

Slide 11 text

No content

Slide 12

Slide 12 text

⾃⼰紹介

Slide 13

Slide 13 text

Slide 14

Slide 14 text

LLMという技術の波

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© LayerX Inc. 16 機械学習（Machine Learning、AI） LLMという技術の波ソフトウェアにとっての⽬、⼀定ルールを⾃動化。実世界の物事を機械が解釈可能な形式に変換するエンジンと捉える。⼀⽅、その実現には⾼い専⾨性やコストが求められる。デジタルデータ化既存のソフトウェアへ連携専⽤の機械学習アルゴリズム⽂章画像動画⾳声 ...etc ⽤途に合わせて学習させる必要⼗分な需要や効果がなければ開発不可能タグ付け専⽤の機械学習アルゴリズムフィルタ...etc 専⾨的スキルが必要難易度⾼既存ソフトウェアで扱えない曖昧な領域課題

Slide 17

Slide 17 text

© LayerX Inc. 17 事前に様々な巨⼤データから学習。これまでのAIと違い、Prompt次第で多様なタスクに対応可能であり、また⽂書等の処理能⼒はこれまでのAIよりも⾼い。インターネット‧スマートフォンの次の波。⽣成AI、特にLLM LLMという技術の波巨⼤なデータを元に事前学習様々なタスクに対応可能これまでコスト的にML対応出来なかった領域へも対応可能に⾮構造データのより⾼度な取り扱いデジタルデータ化構造データ化既存のソフトウェア LLM ⽂章画像動画⾳声 ...etc タグ付けフィルタ...etc 既存ソフトウェアで扱えない曖昧な領域 Prompt Prompt

Slide 18

Slide 18 text

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

LLM活⽤のパターン開発の中で⾒えてきたいくつかの利⽤⼿法

Slide 22

Slide 22 text

22 © LayerX Inc. LLM活⽤のパターンソフトウェア開発者にとって今までの延⻑にないものが作れるのでは？を考える。過去を振り返ればインターネットやSmartphoneの登場…

Slide 23

Slide 23 text

© LayerX Inc. 23 LLMの活⽤の軸 LLM活⽤のパターン私の場合、プロダクトで利⽤する場合、以下のような軸でタスクのあり⽅を判断している。構造化出⼒⾮構造化出⼒⼈と対話するソフトウェアと対話する出⼒形式出⼒先 JSONやCSV等の決まった形式を出⼒する。出⼒の評価はしやすい。形式のミスが発⽣する。⽂章など形式が決まっていないものを出⼒させる。評価がしにくいが、エラーが少ない。⼈間に対してアウトプットを提⽰する。⼈に評価されるため、⼈によるフィードバックが可能。ソフトウェアに⽣成物を連携する。⾃動化などに利⽤するが、ケースによっては型の厳密さ故にエラーに。

Slide 24

Slide 24 text

© LayerX Inc. 24 LLMの利⽤の⼤まかなパターン LLM活⽤のパターンプロダクト活⽤のヒントとして、以下のようなパターンでの活⽤がプロダクトの中であり得る。アドバイス‧判断の⽀援ワークフローとプロセス⾃動化知識の活⽤‧⽣成 X as Codeとの組み合わせルールに沿って、⼈間に⼀定の⽰唆や判断を与える。業務をLLMに置き換える。社内などの知識を使って、コンテンツや質問への回答を⽣成する。ソフトウェア等のConﬁgを⾃動化し、カスタマイズなどを⾏う。 ML的機能のプロトタイピング機械学習機能をソフトウェアエンジニアが簡易に実現する。

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© LayerX Inc. 26 アドバイス‧判断の⽀援 LLM活⽤のパターン⼀定のルールに従って、ユーザーに対してアドバイスや判断の⽀援‧下書きを⾏う。間違いの可能性はあるため、答えではなくあくまでドラフト的なアウトプットとして提供する必要がある。ドラフトとして提⽰ LLMがルールに基づき判断結果を出⼒ユーザーが修正や意思決定ユーザーからのリクエストルール‧事例データ LayerXでの⽤途例：営業記録から改善ポイントアドバイス、ルールに従った⽂書のレビュー...etc

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© LayerX Inc. 28 X as Codeとの組み合わせ LLM活⽤のパターン DSL等によってシステムの設定‧カスタマイズを可能にすることで、セットアップ等の重い1shotなタスクをLLMで⾃動⽣成するパターン。今後増えると思われる。システム設定⾔語サービスの設定等を DSLや設定⾔語で記述可能にしておくユーザーのカスタマイズニーズ LLMでカスタマイズされた設定を⽣成必要に応じてユーザー等がレビュー LayerXでの⽤途例：（検証中だが）ワークフローエンジンの設定⾃動⽣成、お客様向けテナントのセットアップ⾃動化

Slide 29

Slide 29 text

Slide 30

Slide 30 text

Slide 31

Slide 31 text

© LayerX Inc. 31 インタラクションと応答‧対話の⽤途のコツ LLM活⽤のパターンエンドユーザーとの対話部分を代替できるが万能ではないため、⼈のオペレーターへのfallback等オペレーション上注意することも多い。より⼤きなモデル⾼速‧価格重視モデル⼈へのFallback ユーザーからのコミュニケーション精度が⾜りないことも多く、最後に⼈が対応可能な仕組みを⽤意しておく回答のモニタリング情報ソースの接続

Slide 32

Slide 32 text

Slide 33

Slide 33 text

まとめ

Slide 34

Slide 34 text

© LayerX Inc. 34 LLMはこれからのプロダクトの当たり前要素の⼀つまとめスマホの登場はUIやサービス設計に⼤きな影響を与えましたが、LLMもこれから、⾒たこと無いシステム設計が次々⽣まれてくると思います。 LLMの衝撃新たな使い⽅の模索より柔軟に多様なタスクを実⾏可能なAIの登場。また、コーディング能⼒等の論理タスクが進化する⼀⽅で、年々安価になっている。知識探索や判断、MLの代わりなど様々な⽤途がある。今後モデルの進化とともに更に実装パターンが⾒つかると思われる。⾃分のプロダクトにとっての新しい価値を考えて実装しよう！！