生成AIを使ったLINEチャットボットのサーバーレス設計

生成AIを使ったLINEチャットボットのサーバーレス設計設計カンファレンス extends OOC (2024/03/29) @ugr0

自己紹介 2 Yujiro Takahashi 株式会社ゆめみサーバーサイドエンジニア昨年4月に23卒として入社しました。業務は今はLaravelを使って開発をしています。旅行飯が好きです。 @ugr0_jp
札幌市の中央市場のお店

3 今日の内容 ※ オブジェクト指向とは関係がありません • ANGEL Dojo 2023 ◦ AWSサービスを使った3ヶ月間のハッカソン
◦ 「自炊をベタぼめしてくれるサービス」 • LINE x 生成AI x AWSサービスを使ったアーキテクチャ例 ◦ LINE Messaging API ◦ Amazon Lex ◦ 生成AI ◦ Amazon SQS ◦ AWS Step Function

4 LINEで画像、テキストを使ってAWSサービスと連携したい生成AIを絡ませて何か作りたい何のサービス、ライブラリを使うか？

LINE Messaging API • LINEからの入力パターンは様々 ◦ テキスト ▪ 固定化した入力(リッチメニュー), 自由な入力,
一連の入力項目を促す ◦ 写真 ◦ (その他音声やスタンプ、位置情報など様々なタイプがある ) 5 テキスト写真スタンプ音声

テキストメッセージのパターン固定化した入力 A: キャンペーン情報(トリガー) 応答: キャンペーンメッセージ自由入力 A: カレーの作り方を教えて応答:
じゃがいもの皮を剥き... 6 一連の情報の入力 A: 注文(トリガー）応答: 商品名を教えてください A: マルゲリータ応答: 個数を教えてください A: 2 … 往復が続いて面倒...

Amazon Lex • 欲しい一連の情報を管理できる • インテント ◦ ユーザーの目的 ◦ スロット:
目的に必要な情報 • 例 ◦ インテント: ユーザー登録 7 意図しない入力に対するメッセージや確認メッセージなどカスタマイズ可能

8 👍

生成AIを使いたい！ 9

10 生成AIを使う • LangChainとは？ ◦ LLMを用いたアプリ開発を効率的に行うことを目的とするライブラリ ◦ プロンプトテンプレート・会話履歴管理などの実装を容易にできる ◦ 複数のLLM
Providerの処理を吸収するために抽象化されている ▪ Bedrockを使えたり、OpenAI APIを使えたりする ▪ 抽象化が過度で継続的な開発では使いにくい場合もあったりするみたい • Amazon Bedrockとは？ ◦ AWSが提供するAI21 Labs、Anthropic、Cohere、Meta、 Stability AI、Amazon などの大手 AI 企業が提供する高性能な基盤モデル (FM) を単一の API で選択できるフルマネージド型サービス ◦ Claude 3は画像にも対応している

11 • memory 状態保持、会話履歴 • llm どのモデルを使うか • prompt プロンプトの形式
• chain 設定をまとめて、実行する (複数のchainを連携できたりもする) • その他にもRetrieval, Agentsなど様々な機能がある

生成AIとの組み合わせ 12 https://qiita.com/minorun365/items/24dfb0ea3afde6ed0a56 https://qiita.com/cyberBOSE/items/b202a43498b678414e3a

メッセージ処理まで 13

AWS Step Functions 14 • 処理の可視化 • アプリケーションの分離 • 自動スケーリング

AWS Step Functions 15 • 処理の可視化 • アプリケーションの分離 • 自動スケーリング
sample

Amazon SQS 16 https://developers.line.biz/ja/docs/messaging -api/receiving-messages/ • キューイングできるサービス • API GatewayではWebhookを受
信したよ！と処理を終わらせる • SQSに処理をまかして非同期化

EventBridge Pipes 17 • SQSとStep Functionを繋げる • Step Functionsの呼び出しができたらSQSのメッセージを削除をAWSサービスがしてくれる
• フィルタし(メッセージ絞っ)たり、エンリッチメント(情報付加や変換)などもできる

署名の検証 18 https://developers.line.biz/ja/reference/mes saging-api/#signature-validation https://developers.line.biz/ja/docs/messaging -api/receiving-messages/

さいごに • Claude 3いいよ • 処理が複雑になるならStep Functionで疎結合に • LINE developersドキュメントからも非同期な処理が推奨されている
• 署名の検証も忘れずに 19

おわり 20

構成メモ • 自己紹介 • ANGEL Dojoの紹介 • 内容 ◦ LINE
Messaging API ◦ サービス ▪ 生成系AI • Bedrock ▪ 画像処理 ▪ SQS ▪ Step Function • 締め 21

生成AIを使ったLINEチャットボットのサーバーレス設計

生成AIを使ったLINEチャットボットのサーバーレス設計

ugr0

Featured

Transcript