RAG基盤構築で得た学び with Amazon Bedrock ナレッジベース

RAG基盤構築で得た学び with Amazon Bedrock ナレッジベースcvh それいけ。AI 〜仙台のLT会#4

自己紹介名前　伊藤健治@sori883 所属　エーピーコミュニケーションズ仕事　パブクラ、今はAIAG構築一言　オフラインLT初めてです(；ﾟДﾟ)

RAGの仕組みをおさらい

RAGとは生成AIに社内ルール等の生成AIが持ち得ない付加知識を与える仕組み「データ準備」と「データ検索」の２ステップデータ準備データ検索

Bedrock ナレッジベースの実装範囲ほとんどの工程をBedrock ナレッジベースが自動実装してくれる！！ Bedrock ナレッジベースの実装範囲

RAGを実装して感じた課題と解決策１選

RAG実装における課題／解決策① AIが理解できない形の文書は、綺麗にデータ保存（ベクトル化）出来ない。 →RAGを使ってるのに回答精度の低下、ハルシネーションに繋がる。

RAG実装における課題／解決策① AIが理解できない構造の文書は、綺麗にデータ保存（ベクトル化）出来ない。 →前処理を行い、生成AIが理解しやすい「テキスト」や「PDF」に変換する

まとめ

まとめ：RAG実装から得た学びデータソースの品質が重要　　生成AIが理解しやすいデータ形式・テキスト形式　　・Markdown形式　　生成AIが理解しやすい文章構造　　・見出しで適切な粒度で整理された文書　　・表のヘッダーとセルを一致させる「AIがイイ感じにやってくれる」は幻想

ご清聴ありがとうございました

sori883