Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
人工無能たいたん
Search
hmatsu47
PRO
November 19, 2023
Technology
0
130
人工無能たいたん
JAWS-UG 名古屋 Amazon Bedrock ハンズオン 2023/11/20 LT
hmatsu47
PRO
November 19, 2023
Tweet
Share
More Decks by hmatsu47
See All by hmatsu47
今年の FESTA で初当日スタッフ+登壇してきました
hmatsu47
PRO
0
6
攻略!Aurora DSQL の OCC(楽観的同時実行制御)
hmatsu47
PRO
0
4
PostgreSQL でもできる!GraphRAG
hmatsu47
PRO
0
2
Aurora DSQL のトランザクション(スナップショット分離と OCC)
hmatsu47
PRO
0
8
いろんなところに居る Amazon Q(Developer)を使い分けてみた
hmatsu47
PRO
0
25
「ゲームで体感!Aurora DSQL の OCC(楽観的同時実行制御)」の結果ログから Aurora DSQL の動作を考察する
hmatsu47
PRO
0
2
ゲームで体感!Aurora DSQL の OCC(楽観的同時実行制御)
hmatsu47
PRO
0
33
PostgreSQL+pgvector で GraphRAG に挑戦 & pgvectorscale 0.7.x アップデート
hmatsu47
PRO
0
47
LlamaIndex の Property Graph Index を PostgreSQL 上に構築してデータ構造を見てみる
hmatsu47
PRO
0
17
Other Decks in Technology
See All in Technology
Databricks AI/BI Genie の「値ディクショナリー」をAmazonの奥地(S3)まで見に行く
kameitomohiro
1
310
「使い方教えて」「事例教えて」じゃもう遅い! Microsoft 365 Copilot を触り倒そう!
taichinakamura
0
450
研究開発部メンバーの働き⽅ / Sansan R&D Profile
sansan33
PRO
3
20k
Liquid AI Hackathon Tokyo プレゼン資料
aratako
0
110
GoでもGUIアプリを作りたい!
kworkdev
PRO
0
160
Oracle Base Database Service 技術詳細
oracle4engineer
PRO
12
81k
大規模サーバーレスAPIの堅牢性・信頼性設計 〜AWSのベストプラクティスから始まる現実的制約との向き合い方〜
maimyyym
10
5k
Wasmの気になる最新情報
askua
0
160
初めてのDatabricks Apps開発
taka_aki
1
200
Findy Team+ QAチーム これからのチャレンジ!
findy_eventslides
0
460
「改善」ってこれでいいんだっけ?
ukigmo_hiro
0
370
HonoとJSXを使って管理画面をサクッと型安全に作ろう
diggymo
0
130
Featured
See All Featured
Fireside Chat
paigeccino
40
3.7k
Refactoring Trust on Your Teams (GOTO; Chicago 2020)
rmw
35
3.2k
Designing Experiences People Love
moore
142
24k
Fashionably flexible responsive web design (full day workshop)
malarkey
407
66k
Helping Users Find Their Own Way: Creating Modern Search Experiences
danielanewman
30
2.9k
Designing for humans not robots
tammielis
254
26k
Raft: Consensus for Rubyists
vanstee
140
7.1k
Mobile First: as difficult as doing things right
swwweet
225
10k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
34
2.5k
Statistics for Hackers
jakevdp
799
220k
Principles of Awesome APIs and How to Build Them.
keavy
127
17k
The Myth of the Modular Monolith - Day 2 Keynote - Rails World 2024
eileencodes
26
3.1k
Transcript
人工無能たいたん JAWS-UG 名古屋 Amazon Bedrock ハンズオン 2023/11/20 まつひさ(hmatsu47)
自己紹介…は(また)書く時間がなかったのでスキップ 松久裕保(@hmatsu47) • https://qiita.com/hmatsu47 2
本日のネタ着想元 • 10 月に「吉祥寺.pm 34」で話した内容 3
パソコン通信むかしばなし 吉祥寺.pm34【オンライン】 2023/10/31 まつひさ(hmatsu47)
BBS ソフトウェアをリニューアル • 自作に切り替え ◦ 骨格は BASIC ◦ 通信制御とその周辺部分のみアセンブリ言語で書き換え ◦
日本語対応強化 ◦ ファイル転送対応(XMODEM) ◦ ついでにゲームを実装 ◦ おまけとしてチャットに人工無能を追加 5 ←これで思いついた
本日のネタ • Bedrock のモデルを使って文章をベクトル化して ◦ Titan Embeddings G1 - Text
• Vector store に突っ込んで ◦ pgvector(PostgreSQL) • 入力した文章に近い意味の文章を返すチャットを作る ◦ いわゆる人工無能(無脳)の一種 ▪ おうむ返し・唐突なリアクション 6
本日のネタ • こちらを参考に(LangChain を使って) ◦ あえて質問を Claude に投げないスタイルで実装 ▪ https://gihyo.jp/book/2023/978-4-297-13839-4
7
GitHub リポジトリはこちら • https://github.com/hmatsu47/munou-chat 8
Titan Embeddings G1 - Text • 文章ベクトル化のためのモデル ◦ 1536 次元のベクトルを出力
▪ OpenAI の text-embedding-ada-002 と同じ ◦ 日本語にも対応 ▪ Titan Text G1 - Express / Lite(プレビュー)は日本語未対応 9
他の文書ベクトル化方法(従来からあったもの) • TF-IDF(例:scikit-learn(sklearn)の TfidfVectorizer) ◦ 文章中に出てくる単語の頻度とレア度を使ってベクトル化 ▪ 事前に形態素解析して単語に分解した状態の文章を使う ▪ TfidfVectorizer
では単語の頻度・レア度を無視する使い方も可能 ▪ FAQ サイトの関連質問へのリンク生成などに使用 ▪ https://github.com/hmatsu47/vaccinecert-qa-similarity-test (旧ワクチン証明書アプリ FAQ) • Word2vec(2013 年) ◦ 機械学習のモデル(群)by Google の研究チーム 10
文章をベクトル化すると? • ベクトルを比較することで近い意味の文章が検索可能 ◦ ベクトル間のユークリッド距離、コサイン類似度などで比較 ▪ 近いものから順に文章を抽出 ◦ 多言語対応モデルを使うと違う言語間の検索(比較)が可能 ▪
例:「これは猫です」と「This is a cat」が近いものとして抽出 11
pgvector • PostgreSQL 用の拡張機能(Extension) ◦ ベクトルデータの保存・検索が可能に ▪ 16,000 次元までのベクトルに対応 ▪
ユークリッド距離(L2 距離)、コサイン類似度などを計算し検索 ▪ INDEX の作成も可能(検索・比較を高速化) ▪ https://github.com/pgvector/pgvector ◦ 今回は Docker イメージを利用 ▪ https://hub.docker.com/r/ankane/pgvector 12
LangChain から使う • ストア(pgvector)から入力に類似する文章を取得 13 # ベクターストアから応答を取得 bedrock_client = boto3.client('bedrock-runtime',
region_name="ap-northeast-1") embeddings = BedrockEmbeddings( client=bedrock_client, model_id="amazon.titan-embed-text-v1" ) store = PGVector( collection_name=COLLECTION_NAME, connection_string=CONNECTION_STRING, embedding_function=embeddings, ) docs = store.similarity_search_with_score(trimed_prompt) (中略) # 近い文章を返す response = docs[0][0].page_content 1つ目([0])の要素=入力文書に最も近い文章を返す
LangChain から使う • ストア(pgvector)に文章を追加 14 # ベクターストアに入力を追加 store.add_documents([Document(page_content=trimed_prompt)]) 文章を渡すとベクトル値と一緒に保存される
一方、本編(ハンズオン)では • RAG の Retriever として Kendra を使用 • Kendra
はセマンティック検索が可能 ◦ 人が入力(質問)した文の意味に沿った検索 15
デモ • 最初はおうむ返し → 言葉を覚えるとズレた会話に 16
正しく RAG として使うには? • ストアから取得した文章はプロンプトの文脈として渡す ◦ LangChain では RetrievalQA でストアの
retriever を渡す ▪ そうすれば Claude がちゃんとした答えを返してくれるはず • 会話履歴もあわせて渡す ◦ ただし一問一答式の QA の場合は除く 17
まとめ • Titan Embeddings G1 - Text は日本語文章のベクトル化 に使える •
機能は正しく使うべし ◦ 今回はちょっと変な(間違った)使い方をしてみた 18