2024/12/6_LT_Bedrock

Transcript

1. Bedrock Agentでデータ分析に挑 戦 - NCDCエンジニアが合宿で色々作ってみたLT会 - 2024 / 12 / 6 NCDC株式会社 橋口
2. プロジェクトの概要  テーマ：データ分析 × Bedrock  モチベーション：  Bedrockをもっと活用したい  自然言語のみを用いてデータ分析がしたい  データ分析を行う際のハードルを下げたい  目標：  データベースを模したCSVファイルから自然言語でデータを取り出す  取り出したデータをグラフで可視化する  取り出したデータに対してAIに要約させて、一次分析として参考にする 2
3. システムの流れ 3 User 「データ分析をし てください」 Bedrock Agent User 分析されたデータ を確認 保存デー タ全体の 概要取得 する SQLを用 いて対象 のデータ を取得す る データを 用いてグ ラフを作 成する Action Group 質問の分析やSQLの発行、 Action Groupの呼び出し などはAgentが頑張る 別の Bedrock Agent CSVデー タ
4.  データベースを模したCSVファイルから 自然言語でデータを取り出す → 複数のCSVにデータが分かれている場合で もできた  取り出したデータをグラフで可視化する → 精度の改善は必要だが、グラフの作成まで できた  取り出したデータに対してAIに要約させて、 一次分析として参考にする → 簡単なデータの概要は出力できるが、 一次分析としては不十分 できたこと 4
5. やってみた感想  エージェント開発の基礎となるAgents for Amazon Bedrockのアクション グループの仕様が特に理解できてよかった  エージェントが効果的に質問に応答できるアクショングループを適切に設 計することが難しかった  やりたいことを実現するためにエージェントに何を任せてアクショングループ として何を準備しておけばよいか整理するのが単純に難しかった  単一のエージェントでSQL文生成とCode Interpreter機能によるグラフ生成を試 みたところ、エージェントがSQL文の適切性をCode Interpreter機能で検証し始 めてエラーが発生したため、グラフ生成とSQL文生成の役割を分離し、マルチ エージェントとして実装した  マルチエージェントにすると、SQL文生成エージェントからグラフ生成エー ジェントへの意図がうまく伝わらず、正解のグラフを生成できる質問もあれば できない質問もある状態になった（調査中。プロンプト難しい…） 5
6. 【参考】AWS公式： 『Amazon Bedrock Knowledge Bases now supports structured data retrieval』, 『Amazon Bedrock now supports multi-agent collaboration』 苦労していたら… Amazon BedrockのマルチエージェントのサポートとAmazon Bedrock Knowledge BasesのText-to-SQLのサポートが発表されまし た😅 6 自然言語をSQLに変換し、 構造化されたデータから データを取得できる