生成AIアプリのアップデートと配布の課題をCDK Pipelinesで解決してみた

Slide 1

Slide 1 text

©Fusic Co., Ltd. 1 生成AIアプリのアップデートと配布の課題を CDK Pipelinesで解決してみた 2024.9.25 苑田朝彰 @sonoda_mj JAWS-UG CDK支部 #16 ~CDK Conference 2024 Extra~

Slide 2

Slide 2 text

©Fusic Co., Ltd. 2 苑田朝彰 Sonoda Tomotada - X: sonoda_mj - 2023 AWS Jr.Champions - 2024 AWS Community Builders (ML & GenAI) - 2024 Japan AWS Top Engineers (Services) - 甲賀流忍者検定（初級）コメント第7回北九州50キロウォークを完歩しました自己紹介はじめに株式会社Fusic

Slide 3

Slide 3 text

©Fusic Co., Ltd. 3 CONTENTS 目次 1. 背景 2. 生成AIアプリケーションにCDK Pipelinesを導入してみた 3. まとめ

Slide 4

Slide 4 text

©Fusic Co., Ltd. 4 背景 1

Slide 5

Slide 5 text

©Fusic Co., Ltd. 5 外部のデータベースなどを紐づけることで、新しい情報やプライベートの情報に関する回答を生成することができる検索拡張生成(RAG) メンバー紹介ニュース開発事例その他

Slide 6

Slide 6 text

©Fusic Co., Ltd. 6 Amazon Bedrockを用いたRAG開発の課題現状課題 Knowledge Base for Amazon Bedrockを使用してRAGを構築し、手動で配布している • いちいち同じアプリを作るのがめんどくさい • 生成AI関連の技術の更新が早く、ユーザーがアップデートしない • RAGの精度や性能の評価が難しく、改善に時間がかかる結果 • 生成AIをメインで使用する開発者は、自分でアプリを更新し、最新技術をすぐに導入できる • それ以外の人は最新技術の恩恵を受けるのに時間がかかる

Slide 7

Slide 7 text

©Fusic Co., Ltd. 7 Amazon Bedrockのアップデート一覧

Slide 8

Slide 8 text

©Fusic Co., Ltd. 8 解決へのアプローチ • CDK Pipelinesの活用 • マルチアカウント展開の実現 • 効率よく開発・デプロイすることが可能 • シンプルに使ってみたかったアプリケーションアプリの構築と更新を自動でしたいアプリの使用

Slide 9

Slide 9 text

©Fusic Co., Ltd. 9 生成AIアプリケーションに CDK Pipelinesを導入してみた 2

Slide 10

Slide 10 text

©Fusic Co., Ltd. 10 AWS CodePipelinesによって CDK アプリケーションの継続的なデプロイパイプラインを簡単にセットアップできる高レベルのコンストラクトライブラリ CDK Pipelinesとは引用：https://aws.amazon.com/jp/about-aws/whats-new/2021/07/announcing-cdk-pipelines-ga-ci-cd-cdk-apps/

Slide 11

Slide 11 text

©Fusic Co., Ltd. 11 プロファイルの設定 • ACCOUNT1（管理アカウント） • ID: 11111111111 • Profile: account1-profile • ACCOUNT2（アプリアカウント） • ID: 222222222222 • Profile: account2-profile 1. ACCOUNT1にパイプラインをデプロイするためのブートストラップする 2. ACCOUNT1のパイプラインからACCOUNT2にアプリケーションをデプロイできるようにするため、ACCOUNT2 をブートストラップする $ npx cdk bootstrap \ --profile account-profile-2 \ --cloudformation-execution-policies arn:aws:iam::aws:policy/AdministratorAccess \ --trust 11111111111 \ aws://222222222222/ap-northeast-1 CDK Pipelineでマルチアカウントデプロイをする引用： https://aws.amazon.com/jp/blogs/news/deploying-a-cdk-application-using-the-cdk-pipelines-modern-api/

Slide 12

Slide 12 text

©Fusic Co., Ltd. 12 実際に使ってみた CDK Pipelines CDK Pipelinesの呼び出し Parameter

Slide 13

Slide 13 text

©Fusic Co., Ltd. 13 実際に使ってみた CDK Pipelines CDK Pipelinesの呼び出し Parameter Parameterをループさせてステージを作成している Parameterを追加する

Slide 14

Slide 14 text

Slide 15

Slide 15 text

©Fusic Co., Ltd. 15 構成図（アプリ編） AWS Cloud User Slack Agents for Amazon Bedrock Knowledge Base for Amazon Bedrock Pinecone Serverless Amazon S3 データインポート AWS ChatBot

Slide 16

Slide 16 text

©Fusic Co., Ltd. 16 構成図（全体編） AWS Cloud AWS account（管理） AWS account 1 Agents for Amazon Bedrock Knowledge Base for Amazon Bedrock Pinecone Serverless Amazon S3 Github AWS CloudFormation AWS account N Agents for Amazon Bedrock Knowledge Base for Amazon Bedrock Amazon S3 AWS CloudFormation ・・・ CDK Pipelines