Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
re:Invent 2024 振り返り re:Growth AIML アップデート 個人的ニュース
Search
nokomoro3
December 10, 2024
0
510
re:Invent 2024 振り返り re:Growth AIML アップデート 個人的ニュース
nokomoro3
December 10, 2024
Tweet
Share
More Decks by nokomoro3
See All by nokomoro3
AWS ParallelClusterでTrainiumを使って大規模言語モデルをトレーニングする方法
nokomoro3
0
160
pandasとpolarsと私
nokomoro3
2
2.3k
Featured
See All Featured
Automating Front-end Workflow
addyosmani
1367
200k
Typedesign – Prime Four
hannesfritz
40
2.5k
jQuery: Nuts, Bolts and Bling
dougneiner
63
7.6k
Keith and Marios Guide to Fast Websites
keithpitt
411
22k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
21
2.5k
The Cost Of JavaScript in 2023
addyosmani
47
7.3k
A Tale of Four Properties
chriscoyier
158
23k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
330
21k
Large-scale JavaScript Application Architecture
addyosmani
510
110k
Become a Pro
speakerdeck
PRO
26
5.1k
Designing for Performance
lara
604
68k
Transcript
AI/MLアップデート "個人的" ニュース紹介 1
・中村祥吾 / nokomoro3 ・データ事業本部 機械学習チーム ・re:Invent 2024 はエア参加 ・期間中は夜更かし(AM1時~4時)、まとめ芸に従事 2
自己紹介
個人的ニュース1 Amazon Nova !!!
・テキスト生成モデルとしては、小さい方から Micro、Lite、Pro、Premierがあり、 Premierは今後リリース予定 4 Amazon謹製基盤モデル、Novaシリーズが発表 https://aws.amazon.com/ai/generative-ai/nova/understanding/
・テキスト生成モデルとしては、小さい方から Micro、Lite、Pro、Premierがあり、 Premierは今後リリース予定 ・Novaなら 画像生成もできる!(Canvas) 動画生成もできる!(Reel) 5 Amazon謹製基盤モデル、Novaシリーズが発表 https://aws.amazon.com/ai/generative-ai/nova/understanding/
・テキスト生成モデルとしては、小さい方から Micro、Lite、Pro、Premierがあり、 Premierは今後リリース予定 ・Novaなら 画像生成もできる!(Canvas) 動画生成もできる!(Reel) ・Novaなら(Comming Soon) Speech-to-Speechや Any-to-Anyも
6 Amazon謹製基盤モデル、Novaシリーズが発表 https://aws.amazon.com/ai/generative-ai/nova/understanding/
7 Nova以外の基盤モデルも近日追加予定 ・poolside社の開発に特化した基盤モデル(Comming Soon) ・Luma AI社の動画生成に特化した基盤モデル(Comming Soon) https://poolside.ai/
個人的ニュース2 おや…SageMakerの様子が…
9 SageMakerの様子が… 分裂した…??
10 SageMakerの様子が… 分裂した…?? DataZoneどこいった…??
・データを一か所に統合して、ガバナンスを実現したデータ活用環境を作るぞ (Lake FormationやDataZoneも絡んでくるため検証中) 11 次世代SageMakerが爆誕 https://aws.amazon.com/jp/blogs/big-data/the-next-generation-of-amazon-sagemaker-the-center-for-all-your-data-analytics-and-ai/
・データを一か所に統合して、ガバナンスを実現したデータ活用環境を作るぞ (Lake FormationやDataZoneも絡んでくるため検証中) 12 次世代SageMakerが爆誕 https://aws.amazon.com/jp/blogs/big-data/the-next-generation-of-amazon-sagemaker-the-center-for-all-your-data-analytics-and-ai/
13 既存のSageMakerはSageMaker AIに
14 既存のSageMakerはSageMaker AIに SageMaker Partner AI Appsを発表 プロバイダーのアプリがStudioで使用可能に
15 既存のSageMakerはSageMaker AIに SageMaker Partner AI Appsを発表 プロバイダーのアプリがStudioで使用可能に 推論向けの高速化・最適化のアップデート (コンテナのキャッシング、S3からGPUへのモ
デルパラメータ読み込み、ゼロスケール) https://aws.amazon.com/jp/blogs/machine-learning/introducing-fast- model-loader-in-sagemaker-inference-accelerate-autoscaling-for- your-large-language-models-llms-part-1/
16 既存のSageMakerはSageMaker AIに SageMaker Partner AI Appsを発表 プロバイダーのアプリがStudioで使用可能に 推論向けの高速化・最適化のアップデート (コンテナのキャッシング、S3からGPUへのモ
デルパラメータ読み込み、ゼロスケール) 他、SagMaker HyperPodのアップデートなど https://aws.amazon.com/jp/blogs/machine-learning/introducing-fast- model-loader-in-sagemaker-inference-accelerate-autoscaling-for- your-large-language-models-llms-part-1/
個人的ニュース③ おや…Kendraの様子が…
・Base Indexの料金としては、Developer Editionよりも安価 ・RAGとインテリジェント検索用に設計された新しいインデックスで、高度なセマンティックモデルと 最新の情報検索技術を使用して、高い検索精度を提供 18 Kendraに安価なEditionが追加された https://aws.amazon.com/kendra/pricing/
・Bedrock Marketplaceの発表によりBedrock上で3rd Partyのモデルが利用可能に ・プロンプト・キャッシングをサポート (Preview) ・頻繁に使用されるプロンプトをキャッシュしてコストやレイテンシを削減 ・キャッシュされたトークンは、通常の入力トークンよりも90%割引 ・バッチ推論(1000件以上、50%割引)よりも扱いやすい 19 Bedrockとしても多くの実用的アップデートあり
20 Bedrockとしても多くの実用的アップデートあり データソースにカスタムが登場 ベクターストア以外も使えるように ベクターストアにOpenSearch Serverless以外の選択肢が追加
21 詳細はまとめに… https://dev.classmethod.jp/articles/reinvent2024-updates-summary-bedrock/
おわり