Slide 1

Slide 1 text

AI/MLアップデート "個人的" ニュース紹介 1

Slide 2

Slide 2 text

・中村祥吾 / nokomoro3 ・データ事業本部 機械学習チーム ・re:Invent 2024 はエア参加 ・期間中は夜更かし(AM1時~4時)、まとめ芸に従事 2 自己紹介

Slide 3

Slide 3 text

個人的ニュース1 Amazon Nova !!!

Slide 4

Slide 4 text

・テキスト生成モデルとしては、小さい方から Micro、Lite、Pro、Premierがあり、 Premierは今後リリース予定 4 Amazon謹製基盤モデル、Novaシリーズが発表 https://aws.amazon.com/ai/generative-ai/nova/understanding/

Slide 5

Slide 5 text

・テキスト生成モデルとしては、小さい方から Micro、Lite、Pro、Premierがあり、 Premierは今後リリース予定 ・Novaなら 画像生成もできる!(Canvas) 動画生成もできる!(Reel) 5 Amazon謹製基盤モデル、Novaシリーズが発表 https://aws.amazon.com/ai/generative-ai/nova/understanding/

Slide 6

Slide 6 text

・テキスト生成モデルとしては、小さい方から Micro、Lite、Pro、Premierがあり、 Premierは今後リリース予定 ・Novaなら 画像生成もできる!(Canvas) 動画生成もできる!(Reel) ・Novaなら(Comming Soon) Speech-to-Speechや Any-to-Anyも 6 Amazon謹製基盤モデル、Novaシリーズが発表 https://aws.amazon.com/ai/generative-ai/nova/understanding/

Slide 7

Slide 7 text

7 Nova以外の基盤モデルも近日追加予定 ・poolside社の開発に特化した基盤モデル(Comming Soon) ・Luma AI社の動画生成に特化した基盤モデル(Comming Soon) https://poolside.ai/

Slide 8

Slide 8 text

個人的ニュース2 おや…SageMakerの様子が…

Slide 9

Slide 9 text

9 SageMakerの様子が… 分裂した…??

Slide 10

Slide 10 text

10 SageMakerの様子が… 分裂した…?? DataZoneどこいった…??

Slide 11

Slide 11 text

・データを一か所に統合して、ガバナンスを実現したデータ活用環境を作るぞ (Lake FormationやDataZoneも絡んでくるため検証中) 11 次世代SageMakerが爆誕 https://aws.amazon.com/jp/blogs/big-data/the-next-generation-of-amazon-sagemaker-the-center-for-all-your-data-analytics-and-ai/

Slide 12

Slide 12 text

・データを一か所に統合して、ガバナンスを実現したデータ活用環境を作るぞ (Lake FormationやDataZoneも絡んでくるため検証中) 12 次世代SageMakerが爆誕 https://aws.amazon.com/jp/blogs/big-data/the-next-generation-of-amazon-sagemaker-the-center-for-all-your-data-analytics-and-ai/

Slide 13

Slide 13 text

13 既存のSageMakerはSageMaker AIに

Slide 14

Slide 14 text

14 既存のSageMakerはSageMaker AIに SageMaker Partner AI Appsを発表 プロバイダーのアプリがStudioで使用可能に

Slide 15

Slide 15 text

15 既存のSageMakerはSageMaker AIに SageMaker Partner AI Appsを発表 プロバイダーのアプリがStudioで使用可能に 推論向けの高速化・最適化のアップデート (コンテナのキャッシング、S3からGPUへのモ デルパラメータ読み込み、ゼロスケール) https://aws.amazon.com/jp/blogs/machine-learning/introducing-fast- model-loader-in-sagemaker-inference-accelerate-autoscaling-for- your-large-language-models-llms-part-1/

Slide 16

Slide 16 text

16 既存のSageMakerはSageMaker AIに SageMaker Partner AI Appsを発表 プロバイダーのアプリがStudioで使用可能に 推論向けの高速化・最適化のアップデート (コンテナのキャッシング、S3からGPUへのモ デルパラメータ読み込み、ゼロスケール) 他、SagMaker HyperPodのアップデートなど https://aws.amazon.com/jp/blogs/machine-learning/introducing-fast- model-loader-in-sagemaker-inference-accelerate-autoscaling-for- your-large-language-models-llms-part-1/

Slide 17

Slide 17 text

個人的ニュース③ おや…Kendraの様子が…

Slide 18

Slide 18 text

・Base Indexの料金としては、Developer Editionよりも安価 ・RAGとインテリジェント検索用に設計された新しいインデックスで、高度なセマンティックモデルと 最新の情報検索技術を使用して、高い検索精度を提供 18 Kendraに安価なEditionが追加された https://aws.amazon.com/kendra/pricing/

Slide 19

Slide 19 text

・Bedrock Marketplaceの発表によりBedrock上で3rd Partyのモデルが利用可能に ・プロンプト・キャッシングをサポート (Preview) ・頻繁に使用されるプロンプトをキャッシュしてコストやレイテンシを削減 ・キャッシュされたトークンは、通常の入力トークンよりも90%割引 ・バッチ推論(1000件以上、50%割引)よりも扱いやすい 19 Bedrockとしても多くの実用的アップデートあり

Slide 20

Slide 20 text

20 Bedrockとしても多くの実用的アップデートあり データソースにカスタムが登場 ベクターストア以外も使えるように ベクターストアにOpenSearch Serverless以外の選択肢が追加

Slide 21

Slide 21 text

21 詳細はまとめに… https://dev.classmethod.jp/articles/reinvent2024-updates-summary-bedrock/

Slide 22

Slide 22 text

おわり