生成系AI/LLM に関する 注目アップデート ~MS Build 2023 編~

Transcript

1. 生成系AI/LLM に関する 注目 アップデート ~MS Build 2023 編~ 株式会社メルカリ 大嶋悠司
2. Who am I? 大嶋@メルカリ 生成AI/LLMチーム テックリード
3. LLM!! Copilot!! PLUGIN!! AI Orchestration!!
4. Keynotesから
7. Copilot いっぱいCopilotが発表 • Windows Copilot • Microsoft 365 Copilot • GitHub Copilot • Viva Copilot • Edge Copilot • Security Copilot • Dynamic365 Copilot
8. Copilot?? ばちくそにかっこいいデモ動画 (7:19 から) チャットでユーザをサポートするアプリ？
9. Copilot stack!!!
10. つまり Copilotとは： Foundation modelに支えられたアプリケーションであり、UX部分のこと
11. Plugin CopilotたちはPluginで拡張が可能になる！
12. ChatGPT Plugins
13. Plugin が互換に
14. どこでもPluginの恩恵を受けられるように
15. Office365 Copilotでも
16. Plugins
17. Copilot Stack
18. Foundation models
19. Model catalog
20. AI Orchestration
21. AI Orchestration
22. Grounding
23. Grounding ある証拠に基づいて（Ground）生成する
24. Orchestration
25. Prompt Flow
26. Prompt Flow
27. Orchestration
28. Safety
29. Keynotes だけじゃない！ 深掘りセッションズ
30. Foundation models
31. State of GPT
32. GPT学習パイプライン
33. GPT学習パイプライン 事前学習言語モデル GPT(ベースモデル)やLLAMA 大規模な言語資源で LMを事前学習 トークナイザなどもここで決まる
34. GPT学習パイプライン SFTモデル Vicuna-13Bなど QAの形式になっている少量・高品質のデータ でのチューニング（数万オーダー） Instruction tuningともいう 「Assistant」にする学習
35. GPT学習パイプライン RLHF ChatGPT, Claude 生成された回答を人手でランキング付け 強化学習によって「より良い」回答を学習
36. なぜRLHFが必要なのか
37. なぜRLHFが必要なのか A: いい感じに動くから
38. なぜRLHFが必要なのか A: いい感じに動くから [2203.02155] Training language models to follow instructions with human feedback
39. なぜRLHFが必要なのか A: いい感じに動くから [2203.02155] Training language models to follow instructions with human feedback 生成よりも比較のほうが簡単であるという非対称 が潜在的な理由かも
40. RLHFによる悪影響
41. LLM使用のベストプラクティス • Chain of Thought (CoT) : “Let’s think step by step” • Self-consistency : 複数の答えから選ばせる • ASK for Reflection : “Was the task accomplished?” • Tree of Thought : 複数の結果を維持し、うまくいったものを残す • 「Expertとして振る舞ってください」
42. 検索による拡張
43. Grounding
44. Vector Search Isn’t Enough by Elastic
45. Embeddingとは
46. Vector search!
47. Hybrid search
48. Metaprompt / response Filtering
49. Vector search / Hybrid searchは当たり前になりつつある • Elastic search • Azure cognitive search • Azure Cosmos DB • VartexAI matching engine • Pinecone • Qdrant • …
50. Build and maintain your company Copilot with Azure ML and GPT-4
51. Retrieval Augmented Generation (RAG)
53. PromptFlow
54. PromptFlow • プロンプトのバージョニングをしたり • Groudness(どれだけデータに基づいているか )を測ったり
55. まとめ • Copilot Stackという整理されたマップをもらった ◦ Frontend, Orchestration などどこに当てはまるのかを整理すると責任がわかりやすい • 現状のLLMに関しても整理された ◦ パラメータ数だけでなくどのフェーズのモデルなのかが重要 ◦ ユースケースに合ったモデル選択 • VectorSeach, PromptFlowなどのOrchestrationツール ◦ Azureに今後充実していく
56. メルカリでの取り組み
57. 複数のモデルに対応
58. 社内での活用・習熟を促進
59. 社内ドキュメント検索 Confluence Google Docs Slac Cognitive Search Vector search Hybrid Search 自然言語での質問/検索
60. 社内ドキュメント検索 Confluence Google Docs Slac Cognitive Search Vector search Hybrid Search 自然言語での質問/検索 どの粒度でベクトル化を行うか • チャンクに切る • サマライズする • インストラクションつける
61. 社内ドキュメント検索 Confluence Google Docs Slac Cognitive Search Vector search Hybrid Search 自然言語での質問/検索 質問とドキュメントのドメインの差 • FAQであれば問題にならない • Two tower modelなどの導入
62. 生成AI/LLM @メルカリ　絶賛募集中！ 生成AI LLM専任チーム Software Engineer(Full Stack) - Mercari ( https://apply.workable.com/mercari/j/76EB5EB641/ ) 生成AI/LLM専任チーム Senior Product Manager - Mercari ( https://apply.workable.com/mercari/j/57A4BBD796/ )