株式会社Relic Expected Innovation Lab 熊田 寛 AWS Generative AI CDK Constructsにつ いて

2 自己紹介 熊田 寛 株式会社Relic Technology Platform Group ↓ Expected Innovation Lab JAWS-UG CDK支部 2023 Japan AWS All Certifications Engineer @hedgehog051

3 Expected Innovation Labとは 技術的要因による構造変化を起点として、新規事業を作ることに軸をおいたチーム ① 先進技術の技術検証&ナレッジ蓄積 ② 事業性へのインサイト獲得 ③ 技術支援 ④ プロダクト開発 ⑤ 社内起業促進etc 重要ポイント

4 なんでそんな話をしてるか 憧 れ ビ ジ ネ ス パ ー ソ ン （ 顔 ） の イ ラ ス ト 弊社Relicで開発するプロダクトのインフラをCDKで標準化してる ように、生成AIアプリケーションもパターンのあるものはCDKに落 とし込んでいきたい。 しかし…

5 なんでそんな話をしてるか - CDKを書く機会は正直減ってしまった SRE & Platform Engineerらいくなミッションを持つ「Technology Platform Group」から 「Expected Innovation Lab」所属になり、できたばかりもあって業務で手一杯になりがち - 少数チーム 先進技術を使った研究開発をしてるチームはどの会社もそうだろうけど少人数 少ないリソースで様々なことをやらなければけない中で、課題感が出てきた

6 そんなときに見つけたのが AWS Generative AI CDK Constructs

7 AWS Generative AI CDK Constructs AWS re:Invent 2023のKeynoteで発表された、生成AIソリューションのCDKコンストラクト

8 リポジトリ 現在進行系で活発に開発が進んでいる https://github.com/awslabs/generative-ai-cdk-constructs 応 援 し て い る ビ ジ ネ ス パ ー ソ ン の イ ラ ス ト

9 立ち位置 https://github.com/awslabs/generative-ai-cdk-constructs リポジトリ内にはこんな記述が

10 抜粋すると https://github.com/awslabs/generative-ai-cdk-constructs AWS CDKのオープンソース拡張機能 AWS CDKとは独立したチームで、別々のリリースサイクルを持つ 各Constructsのリリースは特定のAWS CDKバージョンに対応 AWS Generative AI CDK Constructsは、 複数AWSサービスのW-Aパターンによる生成AIソリューションを構築

11 好きなポイント ①

12 豊富なライブラリ- L3 constructs例 データソースとなるドキュメントをナレッジベースに取り込むパイプライン

13 L3 constructs例 RAGデータソースやPDFを含むロングコンテキスト、画像への質問応答

14 L3 constructs例 Hugging Face から Amazon SageMaker エンドポイントに基盤モデルをデプロイ

15 L3 constructsその他 メジャーパターンはもちろん、痒いところに手が届くものまで Construct 概要 使用AWSサービス Summarization ドキュメント要約 AWS Lambda、Amazon Bedrock、AWS AppSync、 Amazon ElastiCache for Redis。 SageMaker model deployment (JumpStart) Amazon SageMaker JumpStart からAmazon SageMaker エン ドポイントに基盤モデルをデプ ロイ Amazon SageMaker SageMaker model deployment (Custom) S3ローケーションから Amazon SageMaker エンドポイントに 基盤モデルをデプロイ Amazon SageMaker Content Generation テキストから画像生成 AWS Lambda、Amazon Bedrock、AWS AppSync Web crawler スケジュールに従ってWeb サ イトと RSSをクロールし、変更 セットデータS3に保存 AWS Lambda, AWS Batch, AWS Fargate, Amazon DynamoDB

16 L2 constructs例 L2 constructsも用意されていました Construct 概要 使用AWSサービス Lambda layer 生成 AI アプリケーションを開 発するための依存関係とユー ティリティを提供するPython Lambdaレイヤー AWS Lambda, Amazon Bedrock, Amazon SageMaker Amazon Bedrock Bedrock 用の CDK L2 コンスト ラクト Amazon Bedrock, Amazon OpenSearch Serverless, AWS Lambda Amazon OpenSearch Serverless Vector Collection OpenSearchServerlessのベク ターコレクション作成 Amazon OpenSearch Vector Index Amazon OpenSearch Vector Index OpenSearchでベクトルイン デックスを作成するためのL1カ スタムリソース Amazon OpenSearch Vector Index

17 READMEが充実 概要はもちろん、Props、Properties、アーキテクチャ、そして見積もりも記載されてる！

18 好きなポイント②

19 サンプルユースケース 別リポジトリにAWS Generative AI CDK Constructsを使用したサンプルが公開されている https://github.com/aws-samples/generative-ai-cdk-constructs-samples GenAI CDK Constructsを ただデプロイするのとは何か違うもの？

20 ユースケース例 中身を見てみると フロントエンドとバックエンド含んだ アプリケーションサンプルがある…！

21 Document Explorerの場合 FrontEnd BackEnd

22 Image Descriptionの場合 画面 アーキテクチャ

23 Contract Compliance Analysisの場合 契約の分析を自動化するアプリケーションサンプル 全体 StepFunciton詳細 あまりの充実っぷりに感激…

24 好きなポイント③

25 ロードマップが公開されている ◯◯って導入されるのかな？ってときに見に行けば開発の温度感もわかる https://github.com/orgs/awslabs/projects/136

26 AWS Generative AI CDK Constructsが 自分にもたらしたものと気付き

27 0からではなく、5ぐらいから AWS Generative AI CDK Constructsやサンプルを活用することで、 やろうとしてる一部は「0」から書くというよりも、気持ち「5」ぐらいからスタートできる ※リリースサイクルがAWS CDKと違うのでVersion周りは気にかける必要あり ※AWS Generative AI CDK Constructs v0.0.0 は、AWS CDK v2.96.2以降に対応 ジ ョ ギ ン グ を す る 男 性 の イ ラ ス ト スタート ゴール 夏休みの宿題が 半分終わってたら誰でも嬉しい！！

28 自分のBefore/Afterに改めて気付いた - インフラをメイン業務としていたこれまでの自分 バックエンドエンジニアやフロントエンジニアが、アプリケーションの本質的 な価値の開発に集中できるようにAWSでインフラを整え、活用する - 今の自分 技術の有用性や事業性の検証、PoC、プロダクト開発などを限られたリソース の中で本質的な価値の開発に集中できるようにAWSを活用

29 AWSやCDKのありがたみ 生成AIは、できる領域が広いこともあって 必然的に様々な活用例を考え、調べ、試し、ときに再利用する AWSやCDKは、自社や顧客に価値を提供するために 共に階段を登ってくれる心強い味方と実感 GenUしかり、AWSの生成AIに対する熱量に助けられてる 階 段 （ グ ラ フ ） を の ぼ る 男 性 の イ ラ ス ト の イ ラ ス ト

30 まとめ AWS Generative AI CDK Constructsは、 オープンソースのAWS CDKのオープンソース拡張機能 生成AIのメジャーなアーキテクチャパターンを構築可能 サンプルアプリケーションも豊富に用意されている GenUだけでなくAWS Generative AI CDK Constructsをよろしく！

大志ある挑戦を創造し、日本から世界へ 想いを持った挑戦者と共に走り、共に創る