プロジェクト推進におけるLLMチューニング

Slide 1

Slide 1 text

Slide 2

Slide 2 text

2 © LayerX Inc. 自己紹介 ● 藤田幸成 ● AI・LLM事業部　エンジニア ● 経歴 ○ 学部：　物理学科 ○ 大学院（休学中）：　神経科学（脳情報デコーディング） ○ 衛星画像解析のスタートアップでインターン ■ LLMを用いたサービスのプロトタイプ開発等 ○ 2024/4/1〜 LayerX ● やってること：　プロダクト導入のための個別案件のPoC ○ LLMのチューニング ○ 案件で必要になった機能の開発等 ● 好きな北海道のお菓子：　マルセイバターサンド ● 好きな歌手：　デーモン閣下・石川さゆり

Slide 3

Slide 3 text

事業紹介

Slide 4

Slide 4 text

Slide 5

Slide 5 text

© 2024 LayerX Inc. 5 「知的単純作業」としてのドキュメントワークドキュメントワークの多くは、思考力・集中力が必要であり、その業界・業務の専門性が必要である。一方、正解が決まっていてクリエイティビティがなく、「早く終わらせる」以外に差別化が乏しい。フォーマットの違いなどにより、これまで自動化・効率化されなかった。毎回同じことの繰り返しでやりがいがない必要なファイルを探すのに時間がかかる自分以外に引き継げる人がいない

Slide 6

Slide 6 text

6 Ai Workforceが「知的単純作業」を効率化する方法様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うためのワークフローを構築 ②LLMに業務を実行させ、結果を人間がレビューする決算書画像出所） https://investors.3m.com/financials/annual-reports-proxy-statements 例）決算書から財務指標の抽出

Slide 7

Slide 7 text

本日の内容

Slide 8

Slide 8 text

8 Ai Workforceが「知的単純作業」を効率化する方法様々な業務ごとのフローやドメイン知識をLLMに教え込むことで、エンドユーザーはノーコード・ノープロンプトでLLMに業務の自動化・効率化を実現。 ①一連の業務をLLMが扱うためのワークフローを構築 ②LLMに業務を実行させ、結果を人間がレビューする決算書画像出所） https://investors.3m.com/financials/annual-reports-proxy-statements 本日の内容：ここをどう効率的に作るか例）決算書から財務指標の抽出

Slide 9

Slide 9 text

Slide 10

Slide 10 text

© 2024 LayerX Inc. 10 ①タスクを分ける ※案件情報を話せないため以下はイメージアップのための類似事例であり、精度は未検証です様々な利用規約からサービス提供者の免責事項とその条項番号を抽出「ユーザーID及びパスワードの不正利用によって契約者等に生じた損害について責任を負わない」第１１条5 画像出所）https://bakuraku.jp/terms/workflow-terms/

Slide 11

Slide 11 text

© 2024 LayerX Inc. 11 ①タスクを分ける一度に大きな問題をLLMに解かせるのではなく、細かい簡単なタスクに分解することで解決しやすくなる。その際、適宜ルールベースやその他NLP・ML技術を組み合わせ、必要な情報が過不足ない状態に近づける。利用規約から事前定義した項目抽出の例）階層が深くなる・文章が長くなるとミスしがち条項の構造を回答正規表現を用いて免責事項の条文に対応する条項番号を取得一つ一つの問題は LLMにとって解きやすい条項構造に基づいて条項番号を取得する正規表現を作成免責事項を抽出様々な利用規約からサービス提供者の免責事項とその条項番号を抽出

Slide 12

Slide 12 text

© 2024 LayerX Inc. 12 ①タスクを分ける Visionモデルを用いる場合も同様。一見ひとつに見える「分類」タスクもLLMの「抽出」タスクとして切り分けられたりする。錠剤が自社の製品かどうかを判別する問題を例とすると... 画像出所）https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI 以下の画像は錠剤です自社の薬なら1、それ以外は0を出力して自社の薬は... 錠剤から識別コードを抽出抽出したコードに対して自社のものと突合分類部分は不確実性の低いルールベースで行う

Slide 13

Slide 13 text

© 2024 LayerX Inc. 13 ①タスクを分ける LLMが問題が解きやすくなる＆検証箇所が明確になる以外にも、以下の嬉しさもある ● 解釈性の向上 ○ どのステップで間違えたのかわかる ○ 中間ステップの出力をエンドユーザーに表示することも検討 ● 後からルールベースなどの処理を挟めるので、仕様を調整しやすくなる ○ 薬の例）・抽出した識別コードに対して例外処理を追加・特定企業以外の識別コードも判定対象に追加画像出所）https://med.nipro.co.jp/ph_product_detail?id=a0A1000000pehFhEAI

Slide 14

Slide 14 text

© 2024 LayerX Inc. 14 多くの場合、タスクの分解には「仮定」が付随する。どこまで「仮定」をおくかは、業務・ドメインに強く依存。タスクを適切に分解するには業務・ドメインを深く理解する必要がある。 not MECE＆個人的な感覚値&実際には組み合わせだが仮定に対する選択手法として以下イメージがある ①タスクを分ける問題に対して置ける仮定の強さルールベースその他ML/NLP等ルールベースで前処理→LLM LLMにルールを分類・抽出させる（function calling・正規表現を回答等） LLMにルールを明示（think step by step, “ここに着目して”と指示等）マルチエージェント・LLMにタスクを考えさせる？（現状あまり使っていないが）強

Slide 15

Slide 15 text

© 2024 LayerX Inc. 15 ②深入りしすぎない（プロンプト）チューニングは際限ないが、効果は逓減してくるはず。価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。項目抽出ユースケースをしている中での肌感覚としては... 提供価値チューニングのコスト技術的工夫例・類義語の追加・注目箇所の指示・few-shot ・よくあるプロンプト手法（step by step等）・多段にする・一部ルールベースで行う・前処理方法の改善・エッジケースのプロンプト追加・many-shotのサンプル用意・fine-tuningの検討

Slide 16

Slide 16 text

Slide 17

Slide 17 text

© 2024 LayerX Inc. 17 ②深入りしすぎない（プロンプト）チューニングは際限ないが、効果は逓減してくるはず。価値の上がり幅が大きいところまで行い、残りはプロダクトでカバー。項目抽出ユースケースをしている中での肌感覚としては... 提供価値チューニングのコスト技術的工夫例・類義語の追加・注目箇所の指示・few-shot ・よくあるプロンプト手法（step by step等）・多段にする・一部ルールベースで行う・前処理方法の改善・エッジケースのプロンプト追加・many-shotのサンプル用意・fine-tuningの検討コードを書かなくてもすぐに実践可能で、提供価値は小〜中程度コードを書けばすぐに試せて価値増加幅が大きい =Low Hanging Fruits コストをかけても価値増加幅が小さい →プロダクトでカバー

Slide 18

Slide 18 text

© 2024 LayerX Inc. 18 ③お客さまを頼る LLMを実用水準に引き上げるためには適切な問題設計が重要。適切な問題設計や改善のために、お客さまの業務・ドメインを深く理解するのはもちろんだが、ドメインエキスパートであるお客さまの力を借りた方が効率的な部分もある。 ● 既存業務の入出力ファイル・処理内容は何なのか、業務フローの整理 ● どの部分・項目をシステムで出力すると業務が効率化されるのか ● 入力のどこから抽出等しているか・正解データの作成 ● データのバリエーションと分布はどうか ● どこまで仮定を置いていいのか（ルールベース, 入力に応じてプロンプトを変更, etc.） ● few-shotのサンプル用意 ● どの部分は人手で行うことを許容できるのか...　　　　etc

Slide 19

Slide 19 text

© 2024 LayerX Inc. 19 お礼と宣伝 ● 本日のトーク内容の大部分はフィードバックの受け売りや業務の中で出てきた反省点と学びです。豊富な学びの機会に感謝しています。 ● 大きな市場・不確実性の高い技術のハンドリング・UX にこだわったプロダクト, etc. CTO・執行役員経験者やプロダクト開発経験者を間近で見て学びながら、面白い問題に面白い技術で取り組める貴重な環境です！ ● Biz, エンジニア, デザイナー, インターン, 業務委託等全方面で採用実施中です！ LayerX OpenDoorにていつでも誰でもカジュアル面談できます！お気軽にお申し込みください！