DynamoDBの基礎を振り返りながらベクトル検索機能を理解する

Transcript

1. DynamoDBの基礎を振り返りながらベクトル検索 機能を理解する 2026 / 8 / 22 村上優稀
2. 自己紹介 村上優稀 （むーさん） バックエンドエンジニア NCDC株式会社 X：@mucyan_ Zenn：@yukimurakami 共著： はじめてのAWSモダンアプリ開発入門 2 Zennで記事書いてます
3. 目次 ⚫ DynamoDBのベクトル検索機能がGA（2026/8/5) ⚫ DynamoDBの基礎振り返り ⚫ DynamoDBの仕組み ⚫ DynamoDBの制約とGSI ⚫ ベクトル検索機能 ⚫ ベクトル検索機能の位置づけ ⚫ ベクトル検索機能の仕組み ⚫ コスト体系とパフォーマンスの仕組み ⚫ DynamoDBの基礎とベクトルインデックス ⚫ まとめ・・・1分 3
4. 目次 ⚫ DynamoDBのベクトル検索機能がGA（2026/8/5) ⚫ DynamoDBの基礎振り返り ⚫ DynamoDBの仕組み ⚫ DynamoDBの制約とGSI ⚫ ベクトル検索機能 ⚫ ベクトル検索機能の位置づけ ⚫ ベクトル検索機能の仕組み ⚫ コスト体系とパフォーマンスの仕組み ⚫ DynamoDBの基礎とベクトルインデックス ⚫ まとめ・・・1分 4
5. DynamoDBのベクトル検索機能がGA（2026/8/5) 2026/8/5 DynamoDBのリアルタイムベクトル検索機能が GA！！！ どんな規模でもリアルタイムにベクトル検索ができる ３週間前、これを見て「まじか、すごいな」と思った。 同時に、パーティションキーやGSI・LSIとかある中で、ベクトル検索 はどういう仕組みなのか気になった 5
6. 「検索」を軸にしたDynamoDBのアップデート年表 DynamoDB誕生から検索の柔軟性は段階的に広がっていた 2012/01 2013/04 2013/12 DynamoDB GA LSI GA GSI GA サービス提供開始 (PK・SKによるシンプルなクエリから) 同一PK内でSKだけ変えられる限定版 PKごと変えられる汎用形に一般化 2018/12 2025/11 2026/08 GSI上限拡張 GSIマルチキー対応 ベクトル検索 GA 5→20個/テーブルへ拡張。 射影属性も100個に PK・SKを最大4属性ずつの複合キーに設 定可能 意味的な類似度検索。 検索軸拡張の最新形 LSI(限定的) → GSI(汎用化) → 拡張・柔軟化 という「検索軸を広げる」流れの延長線上に、ベクトル検索がある 6
7. 今日の結論 「意味的な類似検索」というアルゴリズムそのものは、DynamoDBにとって間違いなく 新しい概念 実際に触ってみると、パーティションキー・GSIの設計原則がそのまま通用することに気 づいた 7
8. 目次 ⚫ DynamoDBのベクトル検索機能がGA（2026/8/5) ⚫ DynamoDBの基礎振り返り ⚫ DynamoDBの仕組み ⚫ DynamoDBの制約とGSI ⚫ ベクトル検索機能 ⚫ ベクトル検索機能の位置づけ ⚫ ベクトル検索機能の仕組み ⚫ コスト体系とパフォーマンスの仕組み ⚫ DynamoDBの基礎とベクトルインデックス ⚫ まとめ・・・1分 8
9. DynamoDBとは ⚫ サーバーレスのフルマネージド分散 NoSQL データベース ⚫ あらゆる規模で 1 桁ミリ秒のパフォーマンスを実現 9
10. このLT中に用いる具体例 ⚫ 瞬間英作文テーブル 10
11. DynamoDBの仕組み PKを元に格納 先が決まる PK:USER＃mucyan ja_text:私は早く起きる。 en_text：I get up early. → O(1) 定数時間 Partition１ Partition４ Partition２ Partition５ Partition３ Partition６ PK SK 日本語文 英語文 USER#mucyan “SENTENCE#202507-21T10:00:00” 私は早く起きる。 I get up early. USER#mucyan “SENTENCE#202507-21T10:05:00” 私は勉強している。 I am studying. USER#alice “SENTENCE#202507-21T09:00:00” 彼女はりんごが好きだ。 She likes apples. USER#alice “SENTENCE#202507-21T09:05:00” 彼女は毎日走っている。 She runs every day. ハッシュ計算によってアクセスすべきノードが一発で決まるため、 データ量がいくら増えても計算量は常に 𝑂 1 となり、 一貫したパフォーマンスを保つことができる。 11
12. パーティションキー内でのソートキーによる順序付け ソートキーはオプションで、パーティション内でのItemの順序を決定します。 同一パーティション内のアイテムをソートされた状態で保持できるため、ソート キーは完全一致、前方一致、範囲検索が可能。 各パーティション内はSK昇順で整列(パーティション間は無関係) 12 Partition 1 Partition 2 Partition 3 PK: USER#alice PK: USER#mucyan PK: USER#bob 09:00:00 10:00:00 11:00:00 りんごの話 早起きの話 在住5年の話 09:05:00 10:05:00 11:05:00 毎日走る話 勉強中の話 読書中の話
13. パーティションキー・ソートキーでの検索でできること ⚫ ユーザーごとに瞬間英作文の一覧を取得する（PK） ⚫ ユーザーごとの瞬間英作文を作成日が新しい順に取得する（PK ＋ SK） 13
14. DynamoDBの制約とGSI ただ、PKとSKでしか検索ができないと、文法で絞りたいとかができない 「user#mucyanの現在進行形の瞬間英作文一覧を取得する」ができない。 そこで登場したのがGSI（グローバルセカンダリインデックス） 14
15. DynamoDBの制約とGSI GSIはベーステーブルのデータを非同期でコピーして、別のキー構造で検索できるインデックス 非同期コピーなので、書き込み直後はGSI側への反映に少しラグが生じる(=結果整合性)。GSIは強整合性の読み込みに対応 していない 15
16. DynamoDBの制約とGSI 射影（Projection）：GSIに保持する属性を設定できる 16
17. DynamoDBの基礎ふりかえりまとめ ⚫ パーティションキーで検索する範囲を1発で特定できるから DynamoDBは一貫して速い ⚫ GSIはベーステーブルのデータを非同期でコピーして、 別のキー構造で検索できるインデックス ⚫ GSIは非同期コピーだから結果整合性 ⚫ インデックスに使う属性を持っているアイテムだけが自動的にイ ンデックスされる（Sparse Index） ⚫ GSIを増やすと、WRU（書き込み料金）とストレージ料金が増加 ⚫ アクセスパターンに応じて適切な射影モードを選択するのが良 い 17
18. 目次 ⚫ DynamoDBのベクトル検索機能がGA（2026/8/5) ⚫ DynamoDBの基礎振り返り ⚫ DynamoDBの仕組み ⚫ DynamoDBの制約とGSI ⚫ ベクトル検索機能 ⚫ ベクトル検索機能の位置づけ ⚫ ベクトル検索機能の仕組み ⚫ コスト体系とパフォーマンスの仕組み ⚫ DynamoDBの基礎とベクトルインデックス ⚫ まとめ・・・1分 18
19. ベクトル検索機能の位置づけ ⚫ 別ベクトルDB＋同期パイプラインの廃止 従来はDynamoDBで運用してるデータにベクトル検索を追加するに は、データを専用のベクトルデータベースにコピーし、2つのサービス 間でデータを同期するパイプラインを維持する必要があった。 DynamoDB にベクトル検索が組み込まれてたことで、 ベクトルデータと運用データを同じサーバーレスインフラストラクチャ 上で管理し、同じ従量課金（リクエスト単位の課金）モデルを利用でき ます。 ⚫ 柔軟な検索ができないという弱点の改善 これまで完全一致や前方一致・範囲指定しかできなかった DynamoDBに、「意味的な類似度に基づく検索（ベクトル検索）」とい う新しいアプローチを持ち込む機能。 DynamoDBが苦手としていた柔軟な検索を補うアップデート。 19
20. とりあえず自分用英語学習アプリにベクトル検索機能を組み込んでみた 20
21. ベクトル検索機能の仕組み 埋め込みモデル 埋め込み変換依頼 1 (モデル利用料金) SearchVectors 3 (Vector Searchを消費) アプリ 2 書き込み (WRU) 非同期コピー Vector Index ベーステーブル (Vector Writeを消費) NumberのListとしてエンベディングした値を保持する 21
22. コスト体系 ⚫ Vector write request ベクトルインデックスへの書き込みデータ量（GB単位）に課金。 ベクトル本体+射影した非ベクトル属性の合計サイズが対象 ⚫ Vector search 類似度検索で処理・返却されたデータ量（GB単位）に課金。 インデックスが大きくなるほど検索でスキャンする範囲が広がるため、 処理データ量も比例して増える ⚫ Storage ベクトルインデックスに格納されているデータ量（GB-month）に課 金。 通常のテーブルストレージと同じ課金方式 22
23. コスト体系 Vector searchのコスト削減のためにもパーティションキー設計が大事 23
24. DynamoDBの基礎とベクトルインデックス ⚫ GSIと仕組みは似ている ⚫ 非同期コピーだから結果整合性 ⚫ 射影タイプの選択がコストに影響 ⚫ パーティションキーで検索する範囲を絞る ⚫ 「Vector searchの課金 = 検索リクエストに応答するために処理・返却 されたデータ量」なので、パーティションキーで絞れるかがコストに直結 ⚫ アクセスパターンを把握することが大事 ⚫ 何をキーにするか、どの射影タイプを選択するかはアクセスパターン次第 24
25. 目次 ⚫ DynamoDBのベクトル検索機能がGA（2026/8/5) ⚫ DynamoDBの基礎振り返り ⚫ DynamoDBの仕組み ⚫ DynamoDBの制約とGSI ⚫ ベクトル検索機能 ⚫ ベクトル検索機能の位置づけ ⚫ ベクトル検索機能の仕組み ⚫ コスト体系とパフォーマンスの仕組み ⚫ DynamoDBの基礎とベクトルインデックス ⚫ まとめ・・・1分 25
26. 感想 ベクトル検索は間違いなく新機能。 でも、設計原則はDynamoDBの基礎の延長線上にある。 ベクトルインデックスのベストプラクティスはまだ世に出てるもの少ないけど、 GSIのベストプラクティスを参考にするといいかも。 サービスの歴史、設計思想を知るとおもしろい！ 26
27. ご清聴ありがとうございました ご清聴ありがとうございました！ Zenn：@yukimurakami 27 X：@mucyan_