機械学習、アナリティクス系 "推し"アップデート紹介 1

中村祥吾 データアナリティクス事業本部 インテグレーション部 機械学習チーム ・普段は機械学習メイン ・re:Invent2023 現地未参加勢 ・キーノートは夜更かし参加 ・今朝HHKB Studioを購入したところ 2 NO IMAGE 自己紹介

3 ブログ Amazon Q (New!!) https://dev.classmethod.jp/articles/update-reinvent2023- amazon-q-summary/ Amazon Bedrock (Update!!) https://dev.classmethod.jp/articles/update-reinvent2023- bedrock-summary/ Amazon SageMaker (Update!!) https://dev.classmethod.jp/articles/update-reinvent2023- sagemaker-summary/ re:Invent2023のAIMLまとめ、書いてます。

AI / ML アップデート

5 Generative AI Stack

6 Amazon Q（概要） AWS製の生成AI搭載アシスタントがプレビューとして発表 ３種類に大別できる ・Amazon Q (For AWS Builder Use) マネコンの, トラブルシューティング, IDE連携, Javaアップグレード, etc ・Amazon Q (For Business Use) 独自データでアシスタントをカスタムしたりする場合はコチラ ・Amazon Q in {他のサービス} in Connect, in QuickSight, その他, Builder Useに含まれるものも

7 Q in {他のサービス}を集めてみた Amazon Q（推しアプデ） Q in Reachability Analyzer VPC Reachability Analyzerと連携することでネットワークに関する問題のトラブルシューティングができます。 Q in Amazon CodeCatalyst CodeCatalyst上での開発を加速するためのサービスとなっており、コメントやREADMEの追加、issue作成、小規模なクラスや単体 テストの作成、CodeCatalyst自体のワークフローの更新といった、開発上のタスクを加速する機能です。 Q in Connect コンタクトセンターのエージェントが顧客の問題を迅速かつ正確に解決できるよう、推奨される対応やアクションを通話中にリアルタ イムで提供する機能です。 Q in QuickSight 自然言語で実現したい分析を伝えることで、ダッシュボードや分析を自動で作成できる機能です。 これに加えて、ダッシュボー ドの要約、データの質問に答えるためのミニダッシュボードの生成、データを説明するストーリーの構築なども機能もあります。 Q in Supply Chain (Coming Soon) サプライチェーンで何が起きているのか、なぜ起きているのか、どのような行動を取るべきかについて質問し、インテリジェントな回答 を得ることができる機能です。 Q in AWS Chatbot AWS ChatbotとTeamsやSlackチャンネルを紐づけることで、TeamsやSlackからAmazon Qを使用することができる機能で す。 Q data integration in AWS Glue (Comming Soon) 自然言語を使ってAWS Glueによるデータパイプラインを作成することができる機能となっており、またチャットを通したト ラブルシューティングも可能となる機能のようです。 Q gererative SQL in Amazon Redshift Redshift クエリエディタから処理したいことを自然言語で問い合わせることで、Amazon RedshiftへのSQL文を生成する 機能となっています。

8 大規模言語モデル, 画像生成などの基盤モデルを AWSでフルマネージドで扱えるサービス ・Knowledge BasesとAgentsがGA ・基盤モデルが追加・更新 ・Titan Text Lite, Text Express, Image Generator, Multimodal Embeddings ・Claude 2.1, Llama 2 70B ・チューニング方式のアップデート ・Fine Tuningモデルが拡大、Continued pre-trainingが追加 Amazon Bedrock（概要）

9 チューニング方式のアップデート ・Fine-Tuning対応の拡大 ・日本語対応のテキスト生成はTitan Expressのみ（Claudeはこれから） ・Titanの他のシリーズについてもFine-tuning対応 ・Continued pre-training方式 (Preview)の追加 Amazon Bedrock（推しアプデ１） 入力プロンプト 出力テキスト 再学習 ... 入力プロンプト ... Fine-tuning Continued pre-training

10 Titan Multimodal Embeddings ・「テキスト」、「画像」、「テキスト＋画像」の３種類の入力に対応 これらを1024次元の埋め込みベクトルに変換 ・ベクトルをベクターストアなどに格納することで、「テキスト」、「画像」、「テキスト＋ 画像」の３種類を相互にクエリして結果を得ることが可能 ・注意点 ・入力できるトークン数は128 tokensと少なめ ・Titan Embeddingsと異なり日本語には対応していない Amazon Bedrock（推しアプデ２）

11 AWS上で機械学習基盤を構築するサービス MLOpsを実現するPipelineやMonitoringの仕組みも提供 Bedrockより広範なモデルを扱え、独自モデルも使用可能 ・HyperPodがGA, Code Editor(VSCodeなIDE)がGA ・SageMaker Studio自体が大幅リニューアル ・旧StudioはStudio Classicという扱いに Amazon SageMaker（概要）

12 SageMaker Studioが大きく変わった Amazon SageMaker（推しアプデ１） Studioコンソール起動に 時間が掛かる⌛ 軽量なコンソールの起動が一瞬！！ （インスタンスはまだ立ち上がらない） ノートブックでの開発が つらくなってきた💦 VSCodeなIDE, JupyterLabから アプリケーションを選択可能！！ 独自のEFSが持ってこれない😖 アプリケーションは個別にEBSを持ち、 EFSがマウントできる！ マネコンとStudioコンソールを 両方見る必要がある🙄 コンソールで管理が統一！

13 SageMaker Studioが"アーキも"大きく変わった Amazon SageMaker（推しアプデ２） Studio Domain EFS(共通) JupyterServer (コンソール) JupyterServer (コンソール Job空間 TrainingJob TrainingJob ProcessingJob ProcessingJob Studio Domain Webコンソール Webコンソール CodeEditor JupyterLab EBS EBS CodeEditor EBS Job空間 TrainingJob TrainingJob ProcessingJob ProcessingJob EFS (mount) + INSTANCE STORAGE

Analytics, Database アップデート

主に３つの観点で個人的に整理 ・Zero-ETL対応の拡大 ・VectorStore対応の拡大 ・Analytics + AIML 15 Analytics, Databaseのアップデート概観

16 Zero-ETLとはETL処理なしに分析エンジンから データベースやストレージにアクセスできる仕組み Zero-ETL対応の拡大 Aurora (PostgreSQL) DynamoDB RDS (MySQL) Aurora (MySQL) GA済み Preview Redshift クエリ DynamoDB S3 Preview GA CloudTrail Lake GA Preview Preview OpenSearch クエリ Athena クエリ

17 たとえばDynamoDBとOpenSearch ・PITR(ポイントインタイムリカバリ)とDynamoDBストリームは、あらかじめ有効にしておく ・OpenSearchのIngestion Pipelineを作る ・この時にyamlを書くがOSSのOpenSearchの機能の中ではData Prepperと呼ばれる 機能で様々なデータソースからOpenSearchへとデータを統合する機能として存在 Zero-ETL対応の拡大 DynamoDB GA OpenSearch クエリ

18 生成AIに活用されることの多いVectorStoreの適用が拡大 ・OpenSearch ServerlessでVector engineがGA 元々プレビューで、今回発表されたBedrockのKnowledge Basesでも使用 ・DocumentDBおよびDynamoDBのベクトルサーチ機能がGA DynamoDBはOpenSearchへのzero-ETLを介して実現する様子 ・MemoryDB for Redisでベクトル検索機能がプレビュー VectorStore対応の拡大

19 AIMLなどとの組み合わせでより高度な分析 Analytics + AIML Redshift Serverless with AI- driven scaling and optimizationを 発表 Redshift Serverlessでワークロード特性をAIが学習し、それに合わせてプロアクティブにリソース量を調 整・最適化 Redshift MLがSageMaker JumpStartのLLM用のエンドポイントで推 論実行が可能に SageMaker JumpStart で LLM 用のエンドポイントを作成することで、Redshift のデータに対してリモ ートで推論を実行する機能 Glue Data Qualityが機械学習ベースの 異常検知に対応 Glue Data Qualityは定義したルールに従って、データの品質検査を実施できる機能 本機能は、データの変化を監視し、監視しているメトリクスが予想される値の範囲外であった場合に検知 DataZone AI recommendationsを 発表 DataZoneは、ビジネスデータカタログを提供することで、データ利活用を加速するサービス。 Amazon DataZoneで、生成系AIによる機能強化により相互利用をしやすくなる機能を発表。 本機能でプロデューサー側は、ワンクリックでデータの説明・背景情報を生成。重要なデータ列を明示し、分析 時に推奨される事項を追加。コンシューマー側はAIによるレコメンデーションにより、データを容易に発見。データ に関する説明や使用例が提示され、データ活用にスムーズに取り組める。 AWS Clean Rooms MLの発表 Clean Roomsは機密データを含むような生データを開示せずにコラボレーションするためのサービス。 Clean Rooms MLを使用することで、ユーザーはパートナーとデータを共有することなく、機密データを保護し 続けながら、MLモデルを構築・トレーニング・デプロイ・予測することが可能に。

おわり