〜LLM活用のリアルを語る〜 AI ShiftにおけるLLM活用

https://lapras.connpass.com/event/305577/?utm_campaign=event_publish_to_owner&utm_source=notifications&utm_medium=email&utm_content=title_link

Transcript

1. 〜LLM活用のリアルを語る〜 AI ShiftにおけるLLM活用 株式会社AI Shift 友松 祐太
2. 自己紹介 名前: 友松 祐太 所属: 株式会社AI Shift (CAの100％子会社) 職種: Data Scientist / Manager • 2018年 新卒入社 -> AI Shiftの前身組織配属 • 2019年 AI Shift子会社化/ボードメンバー 技術タグ #NLP, #音声認識, #音声合成, #対話システム, #生成AI, #Chatbot, #Voicebot, … tomomatsu_yuta
3. AI Shiftの提供プロダクト AIコールセンター事業部 生成AIビジネス事業部 コールセンター向けAIプロダクトの提供 企業の業務改善向けAIプロダクトの提供 既存プロダクト/LLM搭載化 新規プロダクト 新規プロダクト
4. AI Shiftの提供プロダクト AIコールセンター事業部 生成AIビジネス事業部 コールセンター向けAIプロダクトの提供 企業の業務改善向けAIプロダクトの提供 既存プロダクト/LLM搭載化 新規プロダクト 新規プロダクト
5. LLMの知識アップデート - RAG -
6. ChatGPT/GPT-4の学習範囲 ChatGPT/GPT-4は2023年3月までのWeb上のあらゆる文章を学習したモデル。 モデル単体としては特に工夫をしないと※1 、最新の事例や学習できていない範囲に 関する情報を答えることはできません。 ※1 現在は後述のChatGPT Browsingを用いることで内部的な仕組みで最新の知識に答えることは可能です。画像は2023年7月に試したものです。
7. 知識のアップデート Web検索 テレビなどのメディア 人から聞いた情報 モデル これまでの経験をもとに 学習した内容を記憶している 新しい知識 外部から知識を取り入れる
8. 知識のアップデート • モデルの更新(学習)を伴うため コストが高い • 学習をしても、それ以降の知識 には追従できない モデルのチューニング 外部知識の参照 • モデルの更新を伴わないため コストが低い • 最新の外部知識やドメイン知識 にアクセスできれば追従可能
9. 人間の外部知識へのアクセス これまでの経験から、首相という「言葉」や「概念」は知っているが、現在の首 相がわからない状態。Web検索の結果から解釈をする。 今の首相は誰だっけ？ 岸田文雄だ！ Web検索
10. LLMの外部知識へのアクセス Retrieval Augmented Generation(RAG)と呼ぶ。 外部知識の検索部(Retriever)と、検索結果を用いた生成部(Generator)の2つで構成。
11. Retriever ユーザーの質問にマッチする内容を情報ソースから検索・取得する 日本の歴代首相〜 米国の歴代大統領〜 むかしむかし〜 2023年7月の首相は？ ユーザー質問 情報ソース
12. Generator 【Prompt】 コンテキスト情報は以下のとおりです。 ============== 【日本の歴代首相】 第101代 岸田文雄 2021年11月10日 ～ 現在 第100代 岸田文雄 2021年10月4日 ～2021年11月10日 第99代 菅義偉 2020年9月16日 ～2021年10月4日 第98代 安倍晋三 2017年11月1日 ～2020年9月16日 ============== 予備知識無しで、コンテキスト情報を参照して以下の質問に答え てください。 質問: 2023年7月の首相は？ 回答: Retrieverで抽出した内容をもとにLLMを用いて回答を生成
13. ChatGPTのアップデートにより、ChatGPTのモデル自体の知識で回答できないと きにWeb検索の結果を加味して回答するChatGPT Browsingが搭載されました。 これは、検索する対象がWebのRAG。 ChatGPT Browsing
14. チャットボットにおける RAG適用
15. 従来型のチャットボットの課題 Question ログインできない 退会したい パスワード変更 ログインに失敗します ユーザの質問に対して事前に用意したQAの中から回答
16. 従来型チャットボットのメリット/デメリット • メリット ◦ 回答の安全性 ▪ 事前に回答を用意するので、意図しない回答をユーザに返すことを防げる。 • デメリット ◦ 回答のマッチング精度 ▪ 精度を向上のためにユーザの問い合わせに合わせた同義語や言い回しの拡張が必要 • 同義語拡張: ログイン -> サインイン • 言い回し拡張: ログインできない -> サイトに入れない, マイページに入れない ◦ 回答内容の整備 ▪ 回答内容は日々アップデートするのでそれに追従してアップデートする必要がある。 ◦ HP情報(FAQページ)等とチャットボットの多重管理 ▪ 回答内容の整備に連動して、チャットボット用にQAを整備するので多重管理が必要。 ⇒ 構築/運用のコストが高い。そこをサポートするAI開発も盛んに行われている
17. チャットボットへのRAGの適用 現在RAGの仕組みをチャットボットに搭載する動きが盛んに行われています。 情報Sourceとして、企業のマニュアルデータやホームページの情報を連携してお くことでQAという形で整備しなくてもユーザの幅広い質問に回答可能に
18. • メリット ◦ 準備コスト ▪ QAという形で整備されていなくても、HP情報など情報Sourceとして連携できていれば ユーザの幅広い質問に対応可能 ◦ 多重管理問題の解消 ▪ HP情報など情報更新がされる場所と連携しておけばそれに追従して回答内容もアップ デートされる ◦ 回答内容の柔軟性 ▪ ユーザーの質問のされ方に合わせた回答を行うことができる • デメリット ◦ 回答内容のリスク ▪ HallucinationやToxicなどといった生成を行うリスクが存在する ⇒ 運用面に対するメリットは大きいが、ユーザに対するリスクが大きい RAGを搭載することによるメリット/デメリット
19. RAGの性能を上げるために(プロダクション化) • 運用で解決する方法 ◦ 情報Sourceに格納するデータの格納方法(Chunk切り)をチューニングする ◦ ノイズとなる情報を情報Sourceから排除する ◦ Generatorのプロンプトを改善する ◦ ... • 仕組み(ロジック)で解決する方法 ◦ リスクのある回答を生成していないかCheckする機構を入れる ◦ Generatorをチューニングしてドメイン特化させる ◦ Retrieverの検索手法を強化する • 性能面以外の工夫 ◦ RAGで使用した生成元の情報Sourceを提示してあげる • … ⇒ 生成を使用している以上リスクを0にすることは難しい。運用の要素も大きい
20. RAGの性能を上げるために • 仕組み(ロジック)で解決する方法 ◦ リスクのある回答を生成していないかCheckする機構を入れる ◦ Generatorをチューニングしてドメイン特化させる ◦ Retrieverの検索手法を強化する • 運用で解決する方法 ◦ 情報Sourceに格納するデータの格納方法(Chunk切り)をチューニングする ◦ ノイズとなる情報を情報Sourceから排除する • 性能面以外の工夫 ◦ RAGで使用した生成元の情報Sourceを提示してあげる • … ⇒ 生成を使用している以上リスクを0にすることは難しい。 RAGはリスクを代償に運用コストを下げていたはず なのに精度を上げるためには運用コストを追加で払わないと...？ 「運用者、ユーザーにとってどんな価値が提供できるか」 「これまでのプロダクトと違ってどんな体験ができるか」 から、プロダクトを想像していく必要がある。
21. RAG以外のアプローチとの組み合わせを考える • 一問一答型(RAG形式) ◦ Answerが構造化されていない質問応答 ◦ Contextは引き継ぐが、Slotの管理は不要 ◦ 例）会員登録方法を知りたい • シナリオ型 ◦ Answerが構造化されている質問応答や、タスク指向対話 ◦ スロットフィリングを伴う、Slot(state)の管理が必要 ◦ 例) レストランの予約をしたい • DB検索型 ◦ 共通のフィールドを持つ複数のアイテムに対する質問応答、検索が対象 ◦ Natural Language-to-Query(NL2Query) ◦ 例) 仙台駅から徒歩5分以内の3LDKのマンションを教えて ⇒ それぞれの回答パターンは情報ソースやプロンプトの準備の仕方やパイプラインが異なる。
22. シナリオ型 OpenAPI定義書と以下プロンプトを食わせることで 外部APIを参照したタスク指向対話が実現 ・プロンプト
23. シナリオ型
24. DB検索型 不動産 エリア 駅からの距離 間取り 築年数 家賃 新宿アパート 新宿 10分 1K 3年 10万 渋谷荘 渋谷 15分 1LDK 20年 12万 不動産DB レストランDB レストラン エリア 駅からの距離 ジャンル 評価 駐車場 ABTラーメン 宇田川町 15分 ラーメン 3.6 なし 焼肉スクスク 渋谷 3分 焼肉 3.2 なし 駅から近い5分 以内のレストラン を教えて 焼肉スクスクは いかがでしょう 新宿で家賃10万 円以内の賃貸を 教えて 新宿駅から徒歩 10分のエリアの 新宿アパートは いかがでしょうか
25. LLM活用のリアル
26. • 一晩でゲームチェンジが起こるくらい動きが早い ◦ 昨日まで検証していたことが水の泡になることも... • 浅いLLM活用は誰でもできるようになった(参入障壁の低下) ◦ 競合他社に対してどのように自社の価値を作っていくかがこれまで以上に難易度が高い • 生成AIに対する検討段階は各社それぞれ ◦ すでに一度PoCを回している/そうでないクライアントでプロダクトの刺さるポイントが違う • 生成結果をエンドユーザーに出せるかどうかの許容度はそれぞれ ◦ 全部生成でOK, ここまでは生成結果出してOK, 金額に関わることは絶対NG, … • 手段と目的が逆転しているケース ◦ 「生成AIを使ってなにか取り組みをして」という会社からのオーダーに答える現場 生成AIのプロダクト活用はまだまだ黎明期 環境要因 クライアント要因
27. (友松が考える) 生成AI時代に求められるエンジニア像？ • 技術 × ビジネスをより密接に？ ◦ 「技術ドリブンでできること」ではなく「理想から考える」 ◦ その理想を達成するための制約を正確に把握する ◦ それぞれの登場人物に対するメリット/デメリットを正確に把握する • ビジネスアイディアを形にしてPDCAを高速に回す？ ◦ やってみないとわからないことも多い。 ◦ 検証状況や環境に合わせて高速にピボットしていく。 • 変化適応力？ ◦ ときに自分がやってきたことが吹っ飛ぶこともある。 ◦ それらを敵とみなすのではなく、新しいチャンスだと思って常に追い続けるのが 重要そう？
28. (友松が考える) 生成AI時代に求められるエンジニア像？ • 技術 × ビジネスをより密接に？ ◦ 「技術ドリブンでできること」ではなく「理想から考える」 ◦ その理想を達成するための制約を正確に把握する ◦ それぞれの登場人物に対するメリット/デメリットを正確に把握する • ビジネスアイディアを形にしてPDCAを高速に回す？ ◦ やってみないとわからないことも多い。 ◦ 検証状況や環境に合わせて高速にピボットしていく。 • 変化適応力？ ◦ ときに自分がやってきたことが吹っ飛ぶこともある。 ◦ それらを敵とみなすのではなく、新しいチャンスだと思って常に追い続けるのが 重要そう？ ⇒実は今までと何も変わっていない？？
29. ご清聴ありがとうございました
30. お知らせ
31. お知らせ AI Shift・サイバーエージェントAI事業本部では 生成AIを活用したプロダクトづくりを一緒に行うメンバーを募集しています！ 注力ポジション 機械学習エンジニア バックエンドエンジニア SRE 少しでもご興味のある方は、カジュアル面談フォームから申込、 もしくは懇親会で友松やCAの運営メンバーにお声がけください！ （転職を本格的に考えてなく、情報収集程度でも大丈夫です！）
32. プロダクト周り興味あればご相談ください！ AIコールセンター事業部 生成AIビジネス事業部 コールセンター向けAIプロダクトの提供 企業の業務改善向けAIプロダクトの提供 既存プロダクト/LLM搭載化 新規プロダクト 新規プロダクト