Bedrock Knowledge baseを使って今年の上半期のニュースを聞いてみた

2024/07/29【懇親会】JAWS-UG 名古屋 生成AI夏祭り
https://jawsug-nagoya.connpass.com/event/325301/

1. Bedrock Knowledge baseを使って今 年の上半期のニュースを聞いてみた KMiura(@k_miura_io)
2. はじめに一言 今回の内容は前日に思いついたので十分に検 証しきれてないです いつか完全版をお話するつもりではいます…
3. 自己紹介 • 三浦 耕生(こうき) • Acallのバックエンドエンジニア • JAWS UG名古屋＆神戸 運営 • 好きなAWSのサービス：AWS IoT, Lambda, ECS @k_miura_io koki.miura05
4. このLTを覚えてますか？ https://bit.ly/4cWU2Jr
5. LTについて今北産業 • re:Invent 2023で発表されたAWS Step Functions の新機能「Call third-party API」を触ってみたとい う話 • デモとしてNews APIを使ってその日のヘッドライン ニュースをSlackのAPIで投稿するステートマシンを Lambdaレス作った • 実際に使ってみてのポイントや詰まったところを シェア
6. 今回はこのS3バケットを使う話
7. データセットとして良さそう • LTで実装してからはEventBridgeを使って 毎日8時にステートマシンを実行している • 無課金なのでSlackの投稿は90日後に見 れないが、S3に溜めてあとから閲覧できる ようにした • 毎日安定稼働しているので、まぁまぁな データ量になっている
8. Bedrockでいい感じにできないだろうか？
9. S3のデータをナレべべにできる仕組み があるらしい • Amazon BedrockのKnowledgebaseを使うとS3をソースにフルマネージドなRAGを実現 できそう • 調べてみると外部のベクトルデータベースを使う方法があるが、わざわざ用意しなくても OpenSearch Serverlessを使うことができる(むしろ今のところそれが推奨っぽい)
10. DEMO
11. 実際にデモチャットで確認 • 答えは帰って来るがなんか微妙… • ここで訪ねている今日は7/29に対して回答した内容は 6/27のニュース…
12. どうすれば精度上がりそう？ • 読み込ませたソースになっているファイルがAPIのレスポンスをそのまま保存して いるだけなのでCSVとかで整形したほうがいいかも • Lambdaレスを売りにしてたけどLambdaに頼らざるを得ない • ソースごとにメタデータ情報を記載したjsonファイルをバケットに足すことで応答精 度が上がるそう • 他にいい方法知っている人いたら教えてくださいｗ
13. まとめ • ナレべべを駆使して上半期のニュースを尋ねようとした • 何も考えずに今まで蓄積したデータでもなんとなく動かせはした • RAGがなんとなく分かった気がする
14. 宣伝 https://jawspankration2024.jaws-ug.jp/ja/
15. 宣伝2 https://jawsug-nagoya.connpass.com/event/326683/
16. END