Tweet
Tweet

Slide 1

Slide 1 text

AWS re:Invent 2023 で発表された Bedrockの新モデルを使ってた JAWS-UG 福岡 #16︓12度⽬はちょっと濃い⽬にJAWS Festa2023からAWS re:Invent 2023を振り返ろう 2023.12.16 苑⽥朝彰 1

Slide 2

Slide 2 text

⾃⼰紹介 苑⽥ 朝彰 Sonoda Tomotada - ID - Github︓tomomj - Twitter︓@sonoda_mj - Work at - 株式会社 Fusic （フュージック） 技術創造部⾨所属 - ソフトウェアエンジニアリング - 新卒3年⽬ - Skill - AWS／React(Native)／Ruby on Rails 2

Slide 3

Slide 3 text

3

Slide 4

Slide 4 text

アジェンダ 4 l re:Invent 2023 Bedrock系の振り返り l 追加されたモデルについて l 実際に使ってみた l まとめ

Slide 5

Slide 5 text

01 re:Invent 2023 Bedrock系の振り返り

Slide 6

Slide 6 text

Bedrock関連のアップデート 6 l Amazon Bedrockでモデルのファインチューニングが可能に l Knowledge Base for Amazon Bedrock（一般利用開始） l Amazon BedrockのContinued pre-trainingを発表（プレビュー） l Agents for Amazon Bedrock（一般利用開始） l Guardrails for Amazon Bedrockを発表（プレビュー） l Amazon Bedrockで複数の基盤モデルが一般利用開始に

Slide 7

Slide 7 text

Bedrock関連のアップデート 7 l Amazon Bedrockでモデルのファインチューニングが可能に l Knowledge Base for Amazon Bedrock（一般利用開始） l Amazon BedrockのContinued pre-trainingを発表（プレビュー） l Agents for Amazon Bedrock（一般利用開始） l Guardrails for Amazon Bedrockを発表（プレビュー） l Amazon Bedrockで複数の基盤モデルが一般利用開始に

Slide 8

Slide 8 text

02 追加されたモデルについて

Slide 9

Slide 9 text

Bedrockとは 9 "*-BCTɺ"OUISPQJDɺ$PIFSFɺ.FUBɺ4UBCJMJUZ"*ɺ"NB[POͳͲͷେख "*اۀ͕ఏڙ͢Δ ߴੑೳͳج൫Ϟσϧ '. Λ୯Ұͷ "1*Ͱબ୒Ͱ͖ΔϑϧϚωʔδυܕαʔϏε ↓これらのmodelのAPIが使える

Slide 10

Slide 10 text

ファインチューニング 10 追加学習させて新しくモデルを作れる

Slide 11

Slide 11 text

playground(chat) 11 マネコン上で実際にmodelを使用することができる

Slide 12

Slide 12 text

playground(text) 12 推論パラメータをいじれる パラメータいじれる ↑トークン足りてない

Slide 13

Slide 13 text

今回追加されたモデル 13 l Anthropic Claude 2.1 l Meta Llama 2 70B l Stable Diffusion XL 1.0 l Amazon Titan Image Generator (プレビュー) l Amazon Titan Multimodal Embeddings l Amazon Titan Text Express l Amazon Titan Text Lite

Slide 14

Slide 14 text

今回追加されたモデル 14 l Anthropic Claude 2.1 l Meta Llama 2 70B l Stable Diffusion XL 1.0 l Amazon Titan Image Generator (プレビュー) l Amazon Titan Multimodal Embeddings l Amazon Titan Text Express l Amazon Titan Text Lite

Slide 15

Slide 15 text

Amazon Titanとは 15 AWSの大規模なデータセットで事前トレーニングされた FM ファミリーであり、さまざまなユー スケースをサポートするように構築された汎用モデル 引用 :https://aws.amazon.com/jp/bedrock/titan/

Slide 16

Slide 16 text

今回追加されたモデル 16 Amazon Titan Text Express • コンテキスト長は最大 8,000 トークン • 英語に最適化されてる（多言語はプレビューのみ） • 検索用拡張生成、自由形式のテキスト生成、ブレーンストーミング、要約、コード生成、テー ブル作成、データフォーマット、パラフレーズ、思考の連鎖、書き換え、抽出、Q&A、チャッ ト 引用 : https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-titan-models-express-lite-bedrock/ Amazon Titan Text Lite • コンテキスト長は最大 4,000 トークン • 英語に最適化されている • Titan Text ファミリー（２つしかない）の中で最速のモデル • より小さく、費用対効果が高く、高度にカスタマイズ可能なテキスト生成モデルが必要な場合 に適している（らしい） • 自由形式のテキスト生成、ブレーンストーミング、要約、コード生成、テーブル作成、データ フォーマット、パラフレーズ、思考の連鎖、書き換え、抽出、Q&A、チャット。

Slide 17

Slide 17 text

今回追加されたモデル 17 Amazon Titan Text Express • コンテキスト長は最大 8,000 トークン • 英語に最適化されてる（多言語はプレビューのみ） • 検索用拡張生成、自由形式のテキスト生成、ブレーンストーミング、要約、コード生成、テー ブル作成、データフォーマット、パラフレーズ、思考の連鎖、書き換え、抽出、Q&A、チャッ ト 引用 : https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-titan-models-express-lite-bedrock/ Amazon Titan Text Lite • コンテキスト長は最大 4,000 トークン • 英語に最適化されている • Titan Text ファミリー（２つしかない）の中で最速のモデル • より小さく、費用対効果が高く、高度にカスタマイズ可能なテキスト生成モデルが必要な場合 に適している（らしい） • 自由形式のテキスト生成、ブレーンストーミング、要約、コード生成、テーブル作成、データ フォーマット、パラフレーズ、思考の連鎖、書き換え、抽出、Q&A、チャット。

Slide 18

Slide 18 text

03 実際に使ってみた

Slide 19

Slide 19 text

構成図 19 AWSとは (日本語)

Slide 20

Slide 20 text

検証 20 ExpressとLiteで処理時間にどの程度差があるかを検証する input : 量子物理学の発展が現代科学にもたらした変化を、ニールス・ボーア、アルベルト・アイン シュタイン、リチャード・ファインマンの理論と発見を通じて詳細に説明してください。これらの 科学者がどのように量子論の解釈を進化させたか、またそれが現代の科学技術にどのような影響を 与えたかを探ります。 VS

Slide 21

Slide 21 text

デモ

Slide 22

Slide 22 text

04 まとめ

Slide 23

Slide 23 text

まとめ re:Invent 2023で発表されたBedrockのアップデートについて紹介した Point 2 Amazon Titan Text LiteはTitanファミリーの中で最速だということがわかった 23 Point 1

Slide 24

Slide 24 text

ご清聴いただきありがとうございました Thank You We are Hiring ! https://recruit.fusic.co.jp/