生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~

Transcript

1. 生成系AI/LLM に関する 注目
   アップデート
   ~MS Build 2023 編~
   株式会社メルカリ
   大嶋悠司
   

   View Slide

2. Who am I?
   大嶋@メルカリ
   生成AI/LLMチーム テックリード
   

   View Slide

3. LLM!!
   Copilot!! PLUGIN!!
   AI Orchestration!!
   

   View Slide

4. Keynotesから
   

   View Slide

5. View Slide

6. View Slide

7. Copilot
   いっぱいCopilotが発表
   ● Windows Copilot
   ● Microsoft 365 Copilot
   ● GitHub Copilot
   ● Viva Copilot
   ● Edge Copilot
   ● Security Copilot
   ● Dynamic365 Copilot
   

   View Slide

8. Copilot??
   ばちくそにかっこいいデモ動画 (7:19 から)
   チャットでユーザをサポートするアプリ？
   

   View Slide

9. Copilot stack!!!
   

   View Slide

10. つまり
    Copilotとは：
    Foundation modelに支えられたアプリケーションであり、UX部分のこと
    

    View Slide

11. Plugin
    CopilotたちはPluginで拡張が可能になる！
    

    View Slide

12. ChatGPT Plugins
    

    View Slide

13. Plugin が互換に
    

    View Slide

14. どこでもPluginの恩恵を受けられるように
    

    View Slide

15. Office365 Copilotでも
    

    View Slide

16. Plugins
    

    View Slide

17. Copilot Stack
    

    View Slide

18. Foundation models
    

    View Slide

19. Model catalog
    

    View Slide

20. AI Orchestration
    

    View Slide

21. AI Orchestration
    

    View Slide

22. Grounding
    

    View Slide

23. Grounding
    ある証拠に基づいて（Ground）生成する
    

    View Slide

24. Orchestration
    

    View Slide

25. Prompt Flow
    

    View Slide

26. Prompt Flow
    

    View Slide

27. Orchestration
    

    View Slide

28. Safety
    

    View Slide

29. Keynotes だけじゃない！
    深掘りセッションズ
    

    View Slide

30. Foundation models
    

    View Slide

31. State of GPT
    

    View Slide

32. GPT学習パイプライン
    

    View Slide

33. GPT学習パイプライン
    事前学習言語モデル
    GPT(ベースモデル)やLLAMA
    大規模な言語資源で LMを事前学習
    トークナイザなどもここで決まる
    

    View Slide

34. GPT学習パイプライン
    SFTモデル
    Vicuna-13Bなど
    QAの形式になっている少量・高品質のデータ
    でのチューニング（数万オーダー）
    Instruction tuningともいう
    「Assistant」にする学習
    

    View Slide

35. GPT学習パイプライン
    RLHF
    ChatGPT, Claude
    生成された回答を人手でランキング付け
    強化学習によって「より良い」回答を学習
    

    View Slide

36. なぜRLHFが必要なのか
    

    View Slide

37. なぜRLHFが必要なのか
    A: いい感じに動くから
    

    View Slide

38. なぜRLHFが必要なのか
    A: いい感じに動くから
    [2203.02155] Training language models to follow instructions with human feedback
    

    View Slide

39. なぜRLHFが必要なのか
    A: いい感じに動くから
    [2203.02155] Training language models to follow instructions with human feedback
    生成よりも比較のほうが簡単であるという非対称
    が潜在的な理由かも
    

    View Slide

40. RLHFによる悪影響
    

    View Slide

41. LLM使用のベストプラクティス
    ● Chain of Thought (CoT) : “Let’s think step by step”
    ● Self-consistency : 複数の答えから選ばせる
    ● ASK for Reflection : “Was the task accomplished?”
    ● Tree of Thought : 複数の結果を維持し、うまくいったものを残す
    ● 「Expertとして振る舞ってください」
    

    View Slide

42. 検索による拡張
    

    View Slide

43. Grounding
    

    View Slide

44. Vector Search Isn’t Enough by Elastic
    

    View Slide

45. Embeddingとは
    

    View Slide

46. Vector search!
    

    View Slide

47. Hybrid search
    

    View Slide

48. Metaprompt / response Filtering
    

    View Slide

49. Vector search / Hybrid searchは当たり前になりつつある
    ● Elastic search
    ● Azure cognitive search
    ● Azure Cosmos DB
    ● VartexAI matching engine
    ● Pinecone
    ● Qdrant
    ● …
    

    View Slide

50. Build and maintain your company Copilot with Azure ML and GPT-4
    

    View Slide

51. Retrieval Augmented Generation (RAG)
    

    View Slide

52. View Slide

53. PromptFlow
    

    View Slide

54. PromptFlow
    ● プロンプトのバージョニングをしたり
    ● Groudness(どれだけデータに基づいているか )を測ったり
    

    View Slide

55. まとめ
    ● Copilot Stackという整理されたマップをもらった
    ○ Frontend, Orchestration などどこに当てはまるのかを整理すると責任がわかりやすい
    ● 現状のLLMに関しても整理された
    ○ パラメータ数だけでなくどのフェーズのモデルなのかが重要
    ○ ユースケースに合ったモデル選択
    ● VectorSeach, PromptFlowなどのOrchestrationツール
    ○ Azureに今後充実していく
    

    View Slide

56. メルカリでの取り組み
    

    View Slide

57. 複数のモデルに対応
    

    View Slide

58. 社内での活用・習熟を促進
    

    View Slide

59. 社内ドキュメント検索
    Confluence
    Google Docs
    Slac
    Cognitive Search
    Vector search
    Hybrid Search
    自然言語での質問/検索
    

    View Slide

60. 社内ドキュメント検索
    Confluence
    Google Docs
    Slac
    Cognitive Search
    Vector search
    Hybrid Search
    自然言語での質問/検索
    どの粒度でベクトル化を行うか
    ● チャンクに切る
    ● サマライズする
    ● インストラクションつける
    

    View Slide

61. 社内ドキュメント検索
    Confluence
    Google Docs
    Slac
    Cognitive Search
    Vector search
    Hybrid Search
    自然言語での質問/検索
    質問とドキュメントのドメインの差
    ● FAQであれば問題にならない
    ● Two tower modelなどの導入
    

    View Slide

62. 生成AI/LLM @メルカリ　絶賛募集中！
    生成AI LLM専任チーム Software Engineer(Full Stack) - Mercari
    ( https://apply.workable.com/mercari/j/76EB5EB641/ )
    生成AI/LLM専任チーム Senior Product Manager - Mercari
    ( https://apply.workable.com/mercari/j/57A4BBD796/ )
    

    View Slide