Knowledge_Bases_のマルチモーダル対応を試してみた

Transcript

1. Knowledge Basesの マルチモーダル対応を試してみた 2025/11/18 JAWS-UG横浜 #89 AWS re:Invent 2025 “Pre”:Cap 磯部 凌
2. 自己紹介 磯部 凌 ・SIer勤務（新卒2年目） ・横浜在住（生まれは福島） ・2025 Japan All AWS Certifications Engineers ・JAWS-UG 横浜支部 運営（何もしていない） ・今年の re:Invent 初参加します！
3. https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2024_AWS-reInvent_1206_v1.pdf
4. RAG とは？ RAG = Retrieval Augmented Generation 検索 拡張 生成 LLMが学習データにない外部情報を参照して回答を生成する → 社内情報やPJ情報などのローカル情報をLLMに補完できる！ 拡張 検索 生成
5. Amazon Bedrock Knowledge Bases とは？ RAG をフルマネージドで提供するサービス → AWS 上で簡単に RAG を実装できる！ https://pages.awscloud.com/rs/112-TZM-766/images/AWS-Black-Belt_2024_Amazon-Bedrock-Knowledge-Bases_0920_v1.pdf より引用
6. Knowledge Bases へのデータ読み込みフロー データソース パーサー による解析 チャンキング ベクトル変換 ベクトル DB へ格納 S3, Confluence, SharePoint等 データの抽出 チャンク（小単 位）に分割 埋め込みモデル がデータをベクト ルに変換 ベクトルインデッ クスに書き込み
7. Knowledge Bases へのデータ読み込みフロー データソース パーサー による解析 チャンキング ベクトル変換 ベクトル DB へ格納 S3, Confluence, SharePoint等 データの抽出 チャンク（小単 位）に分割 埋め込みモデル がデータをベクト ルに変換 ベクトルインデッ クスに書き込み マルチモーダル対応！ テキスト、画像、動画、音声の入力に対応 図表を含む設計書などを そのまま解釈できるように！
8. Knowledge Bases のパーサーは 3種類 1. デフォルトパーサー ・テキストのみを解析 2. Amazon Bedrock Data Automation (BDA) ・マルチモーダルデータを解析 ・フルマネージドでデータを抽出 3. 基盤モデル (FM) ・マルチモーダルデータを解析 ・モデル、データ抽出に使用するプロンプトを自分でカスタマイズ
9. BDA or FM BDA FM 特徴 モデル選定、データ抽出がフ ルマネージド モデル、データ抽出に使用す るプロンプトを自分で柔軟に 変更できる 対応言語（文書） 6言語 日本語 × モデルが対応している言語 日本語 ◯ 対応言語（音声） 11言語 日本語 ◯ モデルが対応している言語 日本語 ◯ 利用可能なリージョン 8リージョン 東京リージョン × モデルを利用できるリージョ ン 東京リージョン ◯
10. ちなみに…BDAの日本語音声対応は昨日 (11/17) のアップデート！ https://aws.amazon.com/jp/about-aws/whats-new/2025/11/amazon-bedrock-data-automation-10-languages/
11. BDAを試してみた ナレッジベース作成時「解析戦略」に「データオート メーション」と設定する。 ※東京リージョンだと選択肢にないので注意 ※コンソールからこのまま作成すると解析戦略がなぜかデフォルトに変わっていました … CLIで作成しなおしたところ上手くいきました。原因わかる方いたら教えてください 󰢛
12. 例1：日本語なしのアーキテクチャ図を入れてみる 適当なアーキテクチャ図 画像を認識できた！
13. 例2：日本語の Qiita をPDF化して入れてみる 日本語記事 日本語は認識できず…
14. というわけで … re:Invent 2025 で期待すること Bedrock Data Automation の 日本語対応（文書処理） Bedrock Data Automation の 東京リージョンGA