AWS re:Invent 2023 で発表された Bedrockの新モデルを使ってみた

【doorkeeper】
https://jaws-ug-kyushu.doorkeeper.jp/events/160760

Transcript

1. AWS re:Invent 2023 で発表された Bedrockの新モデルを使ってた JAWS-UG 福岡 #16︓12度⽬はちょっと濃い⽬にJAWS Festa2023からAWS re:Invent 2023を振り返ろう 2023.12.16 苑⽥朝彰 1
2. ⾃⼰紹介 苑⽥ 朝彰 Sonoda Tomotada - ID - Github︓tomomj - Twitter︓@sonoda_mj - Work at - 株式会社 Fusic （フュージック） 技術創造部⾨所属 - ソフトウェアエンジニアリング - 新卒3年⽬ - Skill - AWS／React(Native)／Ruby on Rails 2
4. アジェンダ 4 l re:Invent 2023 Bedrock系の振り返り l 追加されたモデルについて l 実際に使ってみた l まとめ
5. 01 re:Invent 2023 Bedrock系の振り返り
6. Bedrock関連のアップデート 6 l Amazon Bedrockでモデルのファインチューニングが可能に l Knowledge Base for Amazon Bedrock（一般利用開始） l Amazon BedrockのContinued pre-trainingを発表（プレビュー） l Agents for Amazon Bedrock（一般利用開始） l Guardrails for Amazon Bedrockを発表（プレビュー） l Amazon Bedrockで複数の基盤モデルが一般利用開始に
7. Bedrock関連のアップデート 7 l Amazon Bedrockでモデルのファインチューニングが可能に l Knowledge Base for Amazon Bedrock（一般利用開始） l Amazon BedrockのContinued pre-trainingを発表（プレビュー） l Agents for Amazon Bedrock（一般利用開始） l Guardrails for Amazon Bedrockを発表（プレビュー） l Amazon Bedrockで複数の基盤モデルが一般利用開始に
8. 02 追加されたモデルについて
9. Bedrockとは 9 "*
   -BCTɺ"OUISPQJDɺ$PIFSFɺ.FUBɺ4UBCJMJUZ
   "*ɺ"NB[PO
   ͳͲͷେख "*
   اۀ͕ఏڙ͢Δ ߴੑೳͳج൫Ϟσϧ '.
   Λ୯Ұͷ "1*
   Ͱબ୒Ͱ͖ΔϑϧϚωʔδυܕαʔϏε ↓これらのmodelのAPIが使える
10. ファインチューニング 10 追加学習させて新しくモデルを作れる
11. playground(chat) 11 マネコン上で実際にmodelを使用することができる
12. playground(text) 12 推論パラメータをいじれる パラメータいじれる ↑トークン足りてない
13. 今回追加されたモデル 13 l Anthropic Claude 2.1 l Meta Llama 2 70B l Stable Diffusion XL 1.0 l Amazon Titan Image Generator (プレビュー) l Amazon Titan Multimodal Embeddings l Amazon Titan Text Express l Amazon Titan Text Lite
14. 今回追加されたモデル 14 l Anthropic Claude 2.1 l Meta Llama 2 70B l Stable Diffusion XL 1.0 l Amazon Titan Image Generator (プレビュー) l Amazon Titan Multimodal Embeddings l Amazon Titan Text Express l Amazon Titan Text Lite
15. Amazon Titanとは 15 AWSの大規模なデータセットで事前トレーニングされた FM ファミリーであり、さまざまなユー スケースをサポートするように構築された汎用モデル 引用 :https://aws.amazon.com/jp/bedrock/titan/
16. 今回追加されたモデル 16 Amazon Titan Text Express • コンテキスト長は最大 8,000 トークン • 英語に最適化されてる（多言語はプレビューのみ） • 検索用拡張生成、自由形式のテキスト生成、ブレーンストーミング、要約、コード生成、テー ブル作成、データフォーマット、パラフレーズ、思考の連鎖、書き換え、抽出、Q&A、チャッ ト 引用 : https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-titan-models-express-lite-bedrock/ Amazon Titan Text Lite • コンテキスト長は最大 4,000 トークン • 英語に最適化されている • Titan Text ファミリー（２つしかない）の中で最速のモデル • より小さく、費用対効果が高く、高度にカスタマイズ可能なテキスト生成モデルが必要な場合 に適している（らしい） • 自由形式のテキスト生成、ブレーンストーミング、要約、コード生成、テーブル作成、データ フォーマット、パラフレーズ、思考の連鎖、書き換え、抽出、Q&A、チャット。
17. 今回追加されたモデル 17 Amazon Titan Text Express • コンテキスト長は最大 8,000 トークン • 英語に最適化されてる（多言語はプレビューのみ） • 検索用拡張生成、自由形式のテキスト生成、ブレーンストーミング、要約、コード生成、テー ブル作成、データフォーマット、パラフレーズ、思考の連鎖、書き換え、抽出、Q&A、チャッ ト 引用 : https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-titan-models-express-lite-bedrock/ Amazon Titan Text Lite • コンテキスト長は最大 4,000 トークン • 英語に最適化されている • Titan Text ファミリー（２つしかない）の中で最速のモデル • より小さく、費用対効果が高く、高度にカスタマイズ可能なテキスト生成モデルが必要な場合 に適している（らしい） • 自由形式のテキスト生成、ブレーンストーミング、要約、コード生成、テーブル作成、データ フォーマット、パラフレーズ、思考の連鎖、書き換え、抽出、Q&A、チャット。
18. 03 実際に使ってみた
19. 構成図 19 AWSとは (日本語)
20. 検証 20 ExpressとLiteで処理時間にどの程度差があるかを検証する input : 量子物理学の発展が現代科学にもたらした変化を、ニールス・ボーア、アルベルト・アイン シュタイン、リチャード・ファインマンの理論と発見を通じて詳細に説明してください。これらの 科学者がどのように量子論の解釈を進化させたか、またそれが現代の科学技術にどのような影響を 与えたかを探ります。 VS
21. デモ
22. 04 まとめ
23. まとめ re:Invent 2023で発表されたBedrockのアップデートについて紹介した Point 2 Amazon Titan Text LiteはTitanファミリーの中で最速だということがわかった 23 Point 1
24. ご清聴いただきありがとうございました Thank You We are Hiring ! https://recruit.fusic.co.jp/