AWS re:Invent 2023での新サービスを速攻で試してみた

【connpass】
https://fusic.connpass.com/event/299160/

Transcript

1. AWS re:Invent 2023 での新サービス を速攻で試してみた TechLive Vol.17 2023.12.11 苑⽥朝彰 1
2. ⾃⼰紹介 苑⽥ 朝彰 Sonoda Tomotada - ID - Github︓tomomj - Twitter︓@sonoda_mj - Work at - 株式会社 Fusic （フュージック） 技術創造部⾨所属 - ソフトウェアエンジニアリング - 新卒3年⽬ - Skill - AWS／React(Native)／Ruby on Rails 2
3. アジェンダ 3 l re:Invent 2023の振り返り l Knowledge Base for Amazon Bedrockについて l Slack Botで使ってみた l まとめ
4. 01 re:Invent 2023の振り返り
5. みなさん
6. AWS re:Invent 2023
7. いかがでしたか？
8. re:Invent 2023 初参加の思い出 8
9. 何話そうかな〜
10. 新サービスでなんか やってみて
11. 💧
12. Bedrock関連のアップデート 12 l Amazon Bedrockでモデルのファインチューニングが可能に l Knowledge Base for Amazon Bedrockが一般利用開始に l Amazon BedrockのContinued pre-trainingを発表（プレビュー） l Agents for Amazon Bedrockが一般利用開始に l Guardrails for Amazon Bedrockを発表(プレビュー) l Amazon Bedrockで複数の基盤モデルが一般利用開始に
13. Bedrock関連のアップデート 13 l Amazon Bedrockでモデルのファインチューニングが可能に l Knowledge Base for Amazon Bedrockが一般利用開始に l Amazon BedrockのContinued pre-trainingを発表（プレビュー） l Agents for Amazon Bedrockが一般利用開始に l Guardrails for Amazon Bedrockを発表(プレビュー) l Amazon Bedrockで複数の基盤モデルが一般利用開始に
14. 02 Knowledge Base for Amazon Bedrockについて
15. Bedrockとは 15 "*
    -BCTɺ"OUISPQJDɺ$PIFSFɺ.FUBɺ4UBCJMJUZ
    "*ɺ"NB[PO
    ͳͲͷେख
    "*
    اۀ͕ఏڙ͢Δ ߴੑೳͳج൫Ϟσϧ
    '.
    Λ୯Ұͷ
    "1*
    Ͱબ୒Ͱ͖ΔϑϧϚωʔδυܕαʔϏε ↓これらのmodelのAPIが使える
16. ファインチューニング 16 追加学習させて新しくモデルを作れる
17. playground(chat) 17 マネコン上で実際にmodelを使用することができる
18. playground(text) 18 推論パラメータをいじれる パラメータいじれる ↑トークン足りてない
20. Knowledge Base for Amazon Bedrockとは 20 "NB[PO
    #FESPDL
    ͷφϨοδϕʔεΛ࢖༻͢Δͱɺ"NB[PO
    #FESPDL
    ಺͔Β
    '.
    Λσʔλιʔ εʹ઀ଓͯ͠ݕࡧ֦ுੜ੒
    3"(
    Λߦ͏͜ͱ͕Ͱ͖Δɻ͜ΕʹΑΓɺ'.
    ͷطଘͷڧྗͳػೳΛ ֦ு͠ɺಛఆͷυϝΠϯ΍૊৫ʹؔ͢Δ஌ࣝΛਂΊΔ͜ͱ͕Ͱ͖Δɻ 引用：https://aws.amazon.com/jp/bedrock/knowledge-bases/
21. 検索拡張⽣成（RAG）とは 21 Retrieval Augmented Generation（RAG） 生成系の言語 AI モデルに外部メモリをつけるというコンセプトのことを指す Vector Database LLM 質問 検索 返答 検索結果 引用：https://github.com/aws-samples/jp-rag-sample
22. 検索拡張⽣成（RAG）とは 22 事前に学習したデータに関しては返答することができる AWSについて教えて AWSってのはな・・・ LLM
23. 検索拡張⽣成（RAG）とは 23 しかし、学習していない内容に関しては答えられない 苑田について教えて 誰やねん 私の知識はxxxx年まででぇ〜
24. 検索拡張⽣成（RAG）とは 24 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 苑田について教えて 新しいデータをベクトル化 して格納
25. 検索拡張⽣成（RAG）とは 25 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 近いベクトルを探す 「苑田について教えて」を ベクトル化
26. 検索拡張⽣成（RAG）とは 26 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 検索結果を返す
27. 検索拡張⽣成（RAG）とは 27 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関す る回答を生成することができる Vector Database 苑田ってのはな
28. 従来のAWSにおけるRAG 28 引用：https://aws.amazon.com/jp/blogs/news/quickly-build-high-accuracy-generative-ai-applications- on-enterprise-data-using-amazon-kendra-langchain-and-large-language-models/
29. Knowledge Baseについて詳しく 29 or or Vector Database Data Source S3 Bedrock User LLM 様々な情報を入れる 一括で作成してくれる（S3以外）
30. データの前処理 30 引用：https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html • ドキュメントを管理しやすいチャンクに分割し、効率的に取得できるようにする • ドキュメントをEmbedding Modelを使用してベクトル化する • Vector DBに格納する
31. ランタイム実⾏ 31 引用：https://docs.aws.amazon.com/bedrock/latest/userguide/knowledge-base.html • ユーザーのクエリをベクトル化する • ドキュメントのベクトルと比較し、意味的に類似したチャンクが検索される • 取得されたチャンクからの追加のコンテキストで拡張される
32. 実際に作ってみる
33. 03 Slack Botで使ってみた
34. Slack Bedrock 苑田（webにない情報） って誰ですか？
35. Slack Bedrock 苑田って何ですか？
36. Slack Bedrock 苑田というのは。。。
37. Slack Bedrock 苑田というのは。。。
38. 構成図 38
39. デモ
40. 04 まとめ
41. まとめ re:Invent 2023で発表されたBedrockのアップデートについて紹介した Point 2 Knowledge Base for Bedrockを使⽤することで、簡単にRAGを構築することができた 41 Point 1 Point 3 SlackでRAGを簡単に使⽤することができた
42. ご清聴いただきありがとうございました Thank You We are Hiring ! https://recruit.fusic.co.jp/