Strands Agents で実現する名刺解析アーキテクチャ

Embed

Start on current slide

Slide 1

Slide 1 text

©Fusic Co., Ltd. 0 Strands Agentsで実現する名刺解析アーキテクチャ〜Upstage×CSE×Pinecone〜 2025.7.23 大宮佑仁 @_Svva110vvtai1_ [email protected] JAWS-UG東京 Strands Agents Meetup

Slide 2

Slide 2 text

©Fusic Co., Ltd. 1 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに

Slide 3

Slide 3 text

©Fusic Co., Ltd. 2 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに

Slide 4

Slide 4 text

©Fusic Co., Ltd. 3 はじめに 1

Slide 5

Slide 5 text

©Fusic Co., Ltd. 4 自己紹介はじめに大宮佑仁 ( 2 2) Y U J I N O M I YA 株式会社Fusic 前職：陸上自衛隊システム部隊（運用保守）得意：敬礼、謝罪、腕立て保有資格：情報処理安全確保支援士（合格） All AWS Certifications Engineer 2025 LPIC level 2

Slide 6

Slide 6 text

©Fusic Co., Ltd. 5 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに

Slide 7

Slide 7 text

©Fusic Co., Ltd. 6 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに

Slide 8

Slide 8 text

©Fusic Co., Ltd. 7 概要と構成２

Slide 9

Slide 9 text

©Fusic Co., Ltd. 8 作ったモノ概要概要と構成略

Slide 10

Slide 10 text

©Fusic Co., Ltd. 9 作ったモノ概要概要と構成名刺を読み取り - 人物と会社の概要 - 関心のありそうなイベント情報 - 関心のありそうなニュース情報 - 関連するFusicの開発事例を出力する。 QRコードを読み取ると出力結果のPDFをダウンロード

Slide 11

Slide 11 text

©Fusic Co., Ltd. 10 作ったモノ概要概要と構成名刺を読み取り - 人物と会社の概要 - 関心のありそうなイベント情報 - 関心のありそうなニュース情報 - 関連するFusicの開発事例を出力する。 QRコードを読み取ると出力結果のPDFをダウンロード

Slide 12

Slide 12 text

©Fusic Co., Ltd. 11 作ったモノ概要概要と構成名刺を読み取り - 人物と会社の概要 - 関心のありそうなイベント情報 - 関心のありそうなニュース情報 - 関連するFusicの開発事例を出力する。 QRコードを読み取ると出力結果のPDFをダウンロード Upstage の Information Extract で画像から特定の情報を抽出 HTML/CSSをPDF変換し、 S3バケットへアップロード＆URL取得カスタムTool：Googleカスタム検索カスタムTool：Pineconeベクトル検索

Slide 13

Slide 13 text

©Fusic Co., Ltd. 12 作ったモノ構成概要と構成 Google CSEを用いたWEBの専門検索・名刺から抽出された氏名・会社名を元に、 Google Custom Search API を用いて高精度な外部検索を行う。・検索対象は事前に定義したCSEエンジンに限定することで、ノイズを減らす。

Slide 14

Slide 14 text

©Fusic Co., Ltd. 13 作ったモノ構成概要と構成 Google CSEを用いたWEBの専門検索・名刺から抽出された氏名・会社名を元に、 Google Custom Search API を用いて高精度な外部検索を行う。・検索対象は事前に定義したCSEエンジンに限定することで、ノイズを減らす。人物・会社に関する信頼性の高い検索結果をAgentから取得

Slide 15

Slide 15 text

©Fusic Co., Ltd. 14 作ったモノ構成概要と構成 Pinecone による事例/イベント情報検索・ブース情報や関連トピックの提示は、ベクトル検索エンジン Pinecone を使用・Embedding + ベクトル検索により、「意味的に近い情報」を提示

Slide 16

Slide 16 text

©Fusic Co., Ltd. 15 作ったモノ構成概要と構成 Strands Agentsを知的な接着剤として活用・上記のようなTool群を単に実行するだけでなく、Agentが“接着剤”として機能し、名刺の内容や文脈に応じて自然な流れでToolを呼び出し、結果を1つの整った出力に統合

Slide 17

Slide 17 text

©Fusic Co., Ltd. 16 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに

Slide 18

Slide 18 text

©Fusic Co., Ltd. 17 1. はじめに 2. 概要と構成 3. 改善と応用 4. おわりに

Slide 19

Slide 19 text

Slide 20

Slide 20 text

Slide 21

Slide 21 text

©Fusic Co., Ltd. 20 より良いAgentにするためには改善と応用 1. 自律的なワークフローの実現 WEB検索においても、自律的、反復的にGoogle CSE検索を使用させる。 2. 自然言語＋画像によるマルチモーダルな入力対応「技術よりの提案を強めて」など、自然言語+名刺画像で出力結果をチューニング

Slide 22

Slide 22 text

©Fusic Co., Ltd. 21 より良いAgentにするためには改善と応用 1. 自律的なワークフローの実現 WEB検索においても、自律的、反復的にGoogle CSE検索を使用させる。 2. 自然言語＋画像によるマルチモーダルな入力対応「技術よりの提案を強めて」など、自然言語+名刺画像で出力結果をチューニング 3. S3 vector, Bedrock AgentCore の活用・低コスト、多数のIndex作成・エージェント専用のインフラを利用

Slide 23

Slide 23 text

Slide 24

Slide 24 text

Slide 25

Slide 25 text

Slide 26

Slide 26 text

©Fusic Co., Ltd. 25 まとめ Stradns AgentsでWEB検索を行う場合、CSE ×カスタムTool定義の組み合わせが有効 Strands Agentsによって、各Toolを接着剤のように繋ぎ合わせることが可能 Point.01 Point.02