Share
Embed
LLM_robustness_and_ops_in_production.pdf
LLM in Production 2023/08/18の登壇資料「LLMプロダクトのロバスト性と運用」です。
https://llm-in-production.connpass.com/event/290321/
neonankiti
August 18, 2023
Transcript
24 slides
-
> ܭࢉػՊֶʹ͓͚Δɺϩόετωε (ӳ: robustness)ɺϩόετੑɺݎ࿚ੑͱɺίϯϐϡʔλγεςϜ Ͱ࣮ߦதͷΤϥʔ[1][2]ɺޡͬͨೖྗʹରॲͰ͖Δೳྗͷ͜ͱɻ ݎ࿚ੑʹɺݎ࿚ͳϓϩάϥϛϯάɺ ݎ࿚ͳػցֶशɺݎ࿚ͳηΩϡϦςΟωοτϫʔΫͳͲɺܭࢉػՊֶͷଟ͘ͷ͕ͯ·Δ ϩόετੑͱ フリー百科事典『ウィキペディア(Wikipedia)』ロバストネス (コンピュータ)
https://ja.wikipedia.org/wiki/%E3%83%AD%E3%83%90%E3%82%B9%E3%83%88%E3%83%8D%E3%82%B9_(%E3%82%B3%E3%83%B3%E3%83%94%E3%83 %A5%E3%83%BC%E3%82%BF) 不確実な変化に対して、システムが継続的かつ安定的に処理できる状態であること -
LLMେ͖͘ਐԽ͕ͨ͠ɺࣄۀαʔϏεʹٻΊΒΕΔϩόετੑʹ՝͕Δɻ LLMϓϩμΫτͷϩόετੑͷ՝ͱରࡦ Yan, Ziyou. (Aug 2023). How to Match LLM
Patterns to Problems. eugeneyan.com. https://eugeneyan.com/writing/llm-problems/ 特定タスクに対する パフォーマンス指標の⽋如 外部モデルの性能の低さ 内部モデルの性能が低さ 外部モデルの制約 UX要件を満たさない レイテンシ 信頼性が低いモデル出⼒ 悪い顧客体験の対応 顧客影響の可視化 プロンプトテンプレートを更新したり、モデルを微調整したり、RAGを改善したりといったシステムの調整を⾏う際に、改善また は後退を測定する⽅法が必要である。 最新データでモデルが訓練されていない、もしくはモデルが不⼗分、最新のコンテキストを持っていないなどによって起こる。 ChatGPTの知識カットオフ。組織内の専有データがないことなど。 オープンLLMは特定のタスクの性能が良くない傾向がある。結果、抽出や要約の精度の低下、事実ではない応答、トピッ クから逸脱した応答、単に流暢さの⽋如が⽣じる可能性がある。 技術的なもの(レート制限、レイテンシなど)、法的なもの(機密情報やユーザーのプライバシーデータの送信、著作権と 使⽤に関する制約など)、財務的なもの(API呼び出しの⾼いコスト)がある。 特定のユースケースでは、短い時間(数百ミリ秒以内)でLLMからのレスポンスが求められます。ストリーム出⼒はUXに良い ですが、必ずしも適応できるわけではない。 LLMは不正確な出⼒を⽣成する可能性があり、LLMの製品による利便性を⾼めること、エラーの発⽣に対して対応する かが求められる。 モデル出⼒が特定の形式(JSONなど)に従わない、実⾏できない場合に発⽣する構⽂エラー。モデルの出⼒が有害、事 実でない、トピックから外れている、単に⽭盾している場合などに発⽣する意味エラー。 モデルの影響を評価できない。カスタマーサポートの代わりにLLMを活⽤した場合、2週間での損失が12倍に増えたという エピソードがあった。 Evals, Collect Feedback RAG, Evals Fine-tuning, Collect Feedback Fine-tuning, Evals, Collect Feedback Guardrails(guidance syntax checks, semantic checks) Caching Defensive UX(for onboarding, for paper cuts), Collect Feedback Monitoring, Collect Feedback ՝ ৄࡉ ରࡦ -
LLMϓϩμΫτΛߏங͢ΔͨΊͷύλʔϯ LLMϓϩμΫτͷߏஙύλʔϯ Yan, Ziyou. (Jul 2023). Patterns for Building LLM-based
Systems & Products. eugeneyan.com. https://eugeneyan.com/writing/llm-patterns/ -
֤ύλʔϯʹର͢ΔऔΓΈίετͱϢʔβʔମݧͷΠϯύΫτ ߏஙύλʔϯͷROI Yan, Ziyou. (Jul 2023). Patterns for Building LLM-based
Systems & Products. eugeneyan.com. https://eugeneyan.com/writing/llm-patterns/ Fine-tuning Defensive UX Collect feedback RAG Evals Caching Guardrails Ϣʔβʔମݧͷଈޮੑߴ͍ ͍ ͍ ίετ(࣌ؒ/ֹۚ)/ෆ࣮֬ੑߴ͍ ຊ͢͜ͱ -
ϓϩϯϓτ੍ޚ(Defensive UX) l νϟοτUIࣗ༝͕ߴ͘ɺ͍͜ͳ͢ʹϊ ϋ͕ඞཁɻ l ݻ༗ͷใҎ֎ςϯϓϨʔτΛ༻ҙ͠ɺϓϩ ϯϓτͷग़ྗ͕҆ఆ͢ΔΑ͏ʹ͢ΔɻෆཁͳΒ ແࢹͰ͖Δ༏͍͠UIʹɻ l
ςϯϓϨʔτཧՄೳͳͨΊɺࣗͷۀʹ ߹ΘͤͨϑΥʔϚοτԽ/νʔϜͰͷڞ༗ Մೳɻ l ࠓճͷొஃࢿྉͷΞδΣϯμͱ༰γΰϥΫ AIͰ࡞ɻ ๏ਓ͚ChatGPTʮγΰϥΫAIʯͷUI੍ޚ ೖྗ ग़ྗ ݻ༗ใ ςϯϓϨʔτ ΞτϓοτϑΥʔϚοτ -
l ίϯςϯπͷΨόφϯεͱϢʔβʔͷ҆શੑͷ੍ޚ େ͖ͳ՝ɻ l ݱঢ়ɺγεςϜϓϩϯϓτʹΑΔίϯςϯπͷద ੑɺҰ؏ੑΛ୲อ͢ΔͷΈɻ l ๏త/ن੍্ͷ९कʹؔ͢Δ੍ޚɺΞϓϦέʔγϣϯ ଆͰରԠ͍ͯ͘͠ఆɻطଘͰLLM(GPT4)Λ׆༻ͨ͠ ੍ޚ͕ϝΠϯ͕ͩɺΞϓϦέʔγϣϯͱ੍ͯ͠ޚΛ
࣋ͭ͜ͱͰɺ༷ʑͳLLMʹదԠͰ͖ΔΞʔΩςΫνϟ ɻ l ͜ͷྖҬܧଓతʹࢿ͍ͯ͘͜͠ͱ͕ॏཁͰ͋Δɻ ϓϩϯϓτ੍ޚ(Guardrails) ๏ਓ͚ChatGPTʮγΰϥΫAIʯͷલ/ޙॲཧ γεςϜϓϩϯϓτ -
l ࢀর͍ͨ͠ใΛݩʹɺQ&Aཁ͕Ͱ͖Δػೳɻ l ߏ l جຊߏɺਤͱಉ༷ɻ l ϕΫτϧԽɺtext-embedding-ada-002Λ׆༻ (1536࣍ݩ) l
ϕΫλʔDBpineconeΛ׆༻͠ɺϋΠϒϦοτ ݕࡧ(୯ҰͷૄີΠϯσοΫε)ʹରԠɻ l LLMʹೖྗલͷσʔλΛΞϓϦέʔγϣϯͰ ࠷దԽ͢Δɻ(refine query) ๏ਓ͚ChatGPTʮγΰϥΫAIʯͷυΩϡϝϯτQ&Aػೳ(ۙதʹϦϦʔε) ϕΫλʔDBͷ׆༻(RAG, Guardrails) 柿沼太一. (Aug 2023). LLMを利用したRAG(Retrieval Augmented Generation)と著作権侵害. https://storialaw.jp/blog/9885 -
l ϓϩμΫτ l જࡏత/ݦࡏతͳχʔζʹΑͬͯҟͳΔ͕ɺԾઆΛ ͨͯΔͨΊͷϑΝΫτूܭج൫ඞਢɻ(ݱঢ়ɺ ϓϩϯϓτςϯϓϨʔτͷར༻ͷΈΛଌఆ) l ·ͨɺσʔλΛूΊΔͨΊͷσβΠϯॏཁɻ ChatGPTͷ͍͍ͶϘλϯ୭ԡ͞ͳ͍ͷͰɺσʔ λ͕ू·Γʹ͘͘ɺڧԽֶश͕Ͱ͖ͳ͍ɻ
l LLM l ඪ४ԽσʔληοτΛ༻ֶ͍ͨज़తͳࢦඪΛ׆༻ ͢Δɻ l ਓؒͷஅج४ʹ͍ۙ͠ࢦඪʮG-Evalʯͷಋೖ ϢʔβʔߦಈͷධՁ(Collect feedback, Evals) ๏ਓ͚ChatGPTʮγΰϥΫAIʯͷσʔλੳͱػೳվળ(༧ఆ) ϓϩϯϓτධՁػߏ -
l Ϣʔβʔͷຊ࣭తͳ՝Կ ͔ʁ=> ղ͖͘՝ਖ਼͍͠ ͔ʁ l ػೳཁ݅ؒҧ͍ͬͯͳ͍ ͔ʁ => ղ͖ํ߹͍ͬͯΔ
͔ʁ l ϩόετੑͷߴ͍બࢶΛͱ ΕΔΑ͏ʹຊ࣭తͳ՝Λൃ ݟ͢ΔϓϩηεΛଵΒͳ͍ɻ ロバスト性の高いシステムアーキテクチャに変更した話の例: レストランにおける分散システムの構築と改善 ՝ʹର͢Δຊ࣭తͳιϦϡʔγϣϯઃܭΛߦ͏ -
LLMϓϩμΫτͷϩόετੑΛߴΊΔखஈͱλΠϛϯάΛΔɻ l ߏஙύλʔϯ(Collect feedback, Defensive UX, Caching, Guardrails, RAG, Fine-tuning,
Evals)Λ׆༻͢ Δɻ l ·ͨɺϓϩμΫτϑΣʔζʹ߹ΘͤͯɺROIΛݟۃΊύλʔϯΛΈ߹ΘͤΔɻ ϩόετੑʹࠨӈ͞Εͳ͍ӡ༻Λߦ͏ɻ l ຊ࣭తͳސ٬՝ʹରͯ͠ϩόετੑͷߴ͍ιϦϡʔγϣϯΛ༏ઌ͢Δɻ l Ӧۀ/CSͷମ੍ΛްΊʹ͠ɺސ٬ͱͷྑ͍ؔੑΛங͘ɻ ·ͱΊ -
ੜAIϓϩμΫτ։ൃʹڵຯ͋Δํɺ࠙ձͰ͓͠͠·͠ΐ͏ l LLMOpsͷϓϩηεઃܭ/ νʔϜମ੍ɾ࠾༻/ӡ༻ l ߏஙύλʔϯͷৄࡉ l ը૾ੜܥͷϓϩμΫτ ͷ 他のトピック
採⽤しています l ࣄۀ෦CTO l SoQware Engineer l Machine Learning Engineer l Product Manager l BizDevʢ৽نࣄۀʣ l Sales l CS オンラインでも @neonankiti