貴方のツールボックスにねじこみたい！ドキュメントデータベースのススメ

Slide 1

Slide 1 text

Slide 2

Slide 2 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. © 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 貴⽅のツールボックスにねじこみたい︕ドキュメントデータベースのススメ Akihiro Kuwano A - 4 - 1 Amazon DocumentDB Specilist Solutions Architect

Slide 3

Slide 3 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ⾃⼰紹介桑野章弘(くわのあきひろ) • ソリューションアーキテクト • Amazon DocumentDB担当をしております • 好きなAWSのサービス •Amazon Route53, Amazon S3, Amazon Aurora •Amazon DocumentDB

Slide 4

Slide 4 text

Slide 5

Slide 5 text

Slide 6

Slide 6 text

Slide 7

Slide 7 text

Slide 8

Slide 8 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ドキュメントデータベースとはドキュメントデータベース（ドキュメントストア）は、XML、JSONをはじめとした半構造化データ（＝ドキュメント情報）を保存、検索、管理するために設計されたデータベース RDBMSでいうと以下の対応 • データベース＝データベース • テーブル＝コレクション • レコード＝ドキュメント Database Collection Document 1 Document 2 { Key: Value, Key: Value } { Key: Value, Key: Value } ・・・

Slide 9

Slide 9 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ドキュメントデータベースの利点柔軟かつ⾃然にデータを表現できるJSON ⼀般的なアプリケーションデータモデルとして利⽤できる JSON JSONデータをそのままデータベースに保存 JSONに対して柔軟なIndexを作成することも可能アドホック、集計クエリを実⾏ { name: ”kuwano", age: 44, email: ”kuwanoa@example.com", memberDate: 2015-9-27, UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] }

Slide 10

Slide 10 text

Slide 11

Slide 11 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ドキュメントデータベースと開発 • 前述の通りドキュメントデータベースにはJSONを格納しそのJSON に対して⾃由なクエリを実⾏できる • その利点を活⽤することで開発におけるメリットを享受できる • 開発スピードの⾼速化 • 変化に強い開発 • データの可視性の⾼さ • 柔軟なクエリ

Slide 12

Slide 12 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 開発スピードの⾼速化開発全体におけるデータモデリングに必要な時間が多く占めており、特に RDBMSにおいては専⾨のエンジニアにお願いするパターンなどもあり⼀定の時間をかける必要があるドキュメントデータベースは⾃由なデータ形式を持つことでモデリングの時間を削減することが可能、要件定義のブラッシュアップなど、より重要な作業に時間を使うことができるつくりやすいぞ・・・︕︖

Slide 13

Slide 13 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. データモデリングの戦略 • 参照（正規化） • 埋め込み（⾮正規化） • ゲームスコアの共有サイトを例に ID ユーザ名年齢 email 登録⽇ 10001 kuwano 44 kuwano a@exam ple.com 2015-9- 27 ユーザーマスタ ID ハイスコアランク 10001 3185400 5139 ユーザスコア ID 称号 10001 Curry Lover 10001 New user 称号

Slide 14

Slide 14 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. データモデリングの戦略︓埋め込み • 1ドキュメントに埋め込む { name: ”kuwano", age: 44, email: ”kuwanoa@example.com", memberDate: 2015-9-27, UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] }

Slide 15

Slide 15 text

Slide 16

Slide 16 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. データモデリングの戦略︓参照 { _id: ”abcde”, name: ”kuwano", age: 44, email: ”kuwanoa@example.com", memberDate: 2015-9-27 promotion: [10001, 10002], userScore: 1001 } { _id: ”1001”, name: ”kuwano", hi_score: 3185400, gamerank: 5139 } { _id: ”10001”, promotions: "new user" } ユーザーマスタ称号ユーザスコア { _id: ”10002”, promotions: ”curry lover" } 参照参照参照

Slide 17

Slide 17 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. データモデリングを考える実現したい内容から逆に考えて⾏ってモデルを作成する得たい結果からモデリングする参照か埋め込みか最初は埋め込みで考える埋め込みでは問題が出る場合に参照を考えるパフォーマンス vs シンプルさまずはシンプルさを⼤事に︕ データモデリング・・・

Slide 18

Slide 18 text

Slide 19

Slide 19 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 変化に強い開発スキーマレスで柔軟なデータをもつことが可能、それによって様々な仕様の変化にも柔軟に対応可能 { name: ”kuwano", age: 45, email: ”kuwanoa@example.com", memberDate: 2015-9-27, UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] } { name: ”kuwano", age: 45, email: ”kuwanoa@example.com", memberDate: 2015-9-27, GameScores: [ { GameName: ”⽣き抜け︕Kuwano", UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] }, { GameName: ”スマッシュKuwanoブラザーズ", UserScore: { hi_score: 100, gamerank: 50001 }, promotions: [] } ] } New バージョン db. users.find({“name”: kuwano}) データ仕様は変わったがデータ取得⽅法は変わらない

Slide 20

Slide 20 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. データの可読性 JSONでデータを持つことができるため、データを⾒る際に何のデータがどうなっているか、などを把握しやすい⼈がデータを読んだ場合の可読性の⾼さはドキュメントデータベースのメリットとなる { name: ”kuwano", age: 45, email: ”kuwanoa@example.com", memberDate: 2015-9-27, UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] } ID ユーザ名年齢 email 登録⽇ 10001 kuwano 44 kuwanoa@exampl e.com 2015-9-27 ID ハイスコアランク 10001 3185400 5139 10002 1125420 2234 ユーザーマスタユーザスコア ID 称号 10001 Curry Lover 10001 New user 10002 Beta User 称号

Slide 21

Slide 21 text

Slide 22

Slide 22 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 柔軟なクエリ JavaScriptベースのよりプログラマブルなクエリを実⾏することが可能あまりに複雑すぎるクエリは可読性を損なうので実⾏元のコードでロジック作成を⾏うほうが良い場合も多いが、適切に使えば⾼速なアプリ開発／運⽤に役⽴つバッチ処理や、⼀時的な運⽤クエリの投⼊、ダミーデータ投⼊など db.collection.find({ "age": { $gt: 30 } }).sort({ "name": 1 }).limit(5) function findUsersByAge(age) { return db.items.find({ "Age": { $gt: age } }); } let result = findUsersByAge(30); print(result) for(let i = 0; i < 1000; i++) { db.items.insert({ "id": i, "name": "item" + i }); } let cursor = db.items.find({ "name": "kuwanoa" }); while(cursor.hasNext()) { let doc = cursor.next(); db.items.updateOne({ "_id": doc._id }, { $set: { "flag": 1 } }); } “age”が30より⼤きく物を検索、結果を“name”の昇順でソート、最初の5つのドキュメントを返す 1000個のデータをfor⽂でループしながらInsertしていく “age”が指定した値より⼤きいドキュメントを検索する関数を定義。その関数を使⽤してクエリを実⾏（複雑なロジックをコードで⼊れることが可能） “items”コレクションの “name”が“kuwanoa”の各ドキュメントに“flag”フィールドが順に更新・追加され、その値が1に設定される

Slide 23

Slide 23 text

Slide 24

Slide 24 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon Aurora Amazon RDS Amazon DynamoDB Amazon DocumentDB Amazon Timestream Amazon Neptune Amazon ElastiCache Amazon QLDB Amazon Keyspaces リレーショナル参照整合性、 ACIDトランザクション、 schema-on- wirte キーバリュー⾼スループット、低レイテンシの read/write、制限のない拡張性ドキュメントドキュメントを格納し、クエリ利⽤により任意の属性に対して⾼速にアクセスインメモリキーを利⽤してマイクロ秒のレイテンシでクエリグラフ時系列時間経過に従って計測されるデータを収集、蓄積、処理台帳データ間の関係性を⾼速、容易に作成、探索ワイドカラム完全、不変かつ検証可能な、アプリケーションデータに対するすべての変更履歴従来のアプリケーション、ERP 、CRM、会計トラフィックの多いウェブアプリ、 eコマースシステム、リアルタイム⼊札コンテンツ管理、カタログ、ユーザープロファイルキャッシュ、セッション管理、ゲームのリーダーボード、地理空間アプリケーション不正検出、ソーシャルネットワーク、レコメンデーションエンジン IoTアプリケーション、イベントトラッキング記録システム、サプライチェーン、ヘルスケア、トランザクション AWS サービス主なユースケーススケーラブルで、可⽤性が⾼い、マネージドなApache Cassandra互換サービス低レイテンシなアプリケーションの構築、 Cassandra ベースのアプリケーションをクラウドに移⾏ Amazon MemoryD B for Redis AWS のマネージドデータベースサービス

Slide 25

Slide 25 text

Slide 26

Slide 26 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Amazon DocumentDB フルマネージドのネイティブ J S O N ドキュメントデータベース § コンピュートとストレージはそれぞれ独⽴でスケール § 数分で15のリードレプリカまでスケール、毎秒数百万読み込みリクエスト、ミリ秒のレイテンシー § Elastic Clustersは、毎秒数百万の読み込み、書き込みリクエスト、4PBのストレージまでスケールスケール § ハードウェアプロビジョニング不要、セットアップ簡単、⾃動バックアップ。データベース運⽤における、付加価値を⽣まない重労働から解放されるフルマネージド § MongoDB Community Edition 3.6/4.0/5.0との互換性 § 同⼀のMongoDB APIs、ドライバー、ツールが利⽤可能 MongoDB互換 § ⾼可⽤性、信頼性 § Global Clusters はリージョン全体の停⽌からのリカバリー、ローカルレイテンシーによるグローバルな読み込みを提供 § VPCのみ、AWS KMSによるストレージ暗号化、TLS通信暗号化 § AWSのセキュリティベストプラクティスの適⽤エンタープライズ

Slide 27

Slide 27 text

Slide 28

Slide 28 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 簡単にAPIを作ってみよう Rest APIは現在様々な場⾯で⼀般的ん使われるAPIですが、ドキュメントデータベースはRest APIを作るのに向いているデータベースとなります AWSのサービス群を使って簡単にRest APIを作ってみましょう︕ なんかAPI作っとこーって思ったときに数⼗分でAPIが作れるとなんか便利ですよね︖ つくりやすいぞ・・・︕︖

Slide 29

Slide 29 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 全体構成 AWS App Runner Amazon DocumentDB (with MongoDB compatibility) AWS Cloud Virtual private cloud (VPC) users API Access AWS Cloud Development Kit (AWS CDK) AWS Secrets Manager Amazon Elastic Container Registry (Amazon ECR) Developpers Docker Push

Slide 30

Slide 30 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS環境の作成 AWS App Runner Amazon DocumentDB (with MongoDB compatibility) AWS Cloud Virtual private cloud (VPC) users API Access AWS Cloud Development Kit (AWS CDK) AWS Secrets Manager Amazon Elastic Container Registry (Amazon ECR) IaCで各環境を作成していく Developpers Docker Push

Slide 31

Slide 31 text

Slide 32

Slide 32 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Docker ファイル作成 AWS App Runner Amazon DocumentDB (with MongoDB compatibility) AWS Cloud Virtual private cloud (VPC) Users API Access AWS Cloud Development Kit (AWS CDK) AWS Secrets Manager Amazon Elastic Container Registry (Amazon ECR) IaCで各環境を作成していく Developpers Docker Push Dockerファイルを作成しコンテナレジストリへPush

Slide 33

Slide 33 text

Slide 34

Slide 34 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. AWS App Ruunerへデプロイ AWS App Runner Amazon DocumentDB (with MongoDB compatibility) AWS Cloud Virtual private cloud (VPC) Users API Access AWS Cloud Development Kit (AWS CDK) AWS Secrets Manager Amazon Elastic Container Registry (Amazon ECR) IaCで各環境を作成していく Developpers Docker Push Dockerファイルを作成しコンテナレジストリ（ECR)へPush ECRにPushしたあとでAWS App Runnerへデプロイ

Slide 35

Slide 35 text

Slide 36

Slide 36 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. APIアクセス確認 AWS App Runner Amazon DocumentDB (with MongoDB compatibility) AWS Cloud Virtual private cloud (VPC) Users API Access AWS Cloud Development Kit (AWS CDK) AWS Secrets Manager Amazon Elastic Container Registry (Amazon ECR) IaCで各環境を作成していく Developpers Docker Push Dockerファイルを作成しコンテナレジストリ（ECR)へPush ECRにPushしたあとでAWS App Runnerへデプロイ UserからRest APIに対してアクセスができるかを確認

Slide 37

Slide 37 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. APIアクセス確認 # DocumentDB データ確認 rs0:PRIMARY> db.items.find().pretty() { "_id" : ObjectId("64858604ac886b5c35429771"), "Name" : "testman", "Age" : 100 } { "_id" : ObjectId("6485867276ed3f073a790cdb"), "Name" : "kuwanoa", "Age" : 45 } # API データ投⼊(curl) $ curl -X 'POST' 'https://apidemo.us-east-1.awsapprunner.com/items' -H 'accept: application/json' -H 'Content-Type: application/json' -d '{"Age": 45,"Name": "kuwanoa"}’ { "message": "Item added" } $curl -X 'POST' 'https://apidemo.us-east-1.awsapprunner.com/items' -H 'accept: application/json' -H 'Content-Type: application/json' -d '{"Age": 100,"Name": "testman"}' { "message": "Item added" } # API データ確認 (curl) $ curl https://apidemo.us-east-1.awsapprunner.com/items [ { "Age": 45, "Name": "kuwanoa" }, { "Age": 100, "Name": "testman" } ] findはSQLでいえばSELECT データがそのまま投⼊されていることがわかる

Slide 38

Slide 38 text

Slide 39

Slide 39 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. ユーザ/システムパラメータ管理⽤のAPI アプリケーションの設定情報をいれておくパラメータ管理のAPIを簡単に実装可能各アプリケーションの動作変更や、マルチテナントなど場合の設定情報など詳細な設定を柔軟に格納、操作、確認することが可能 API API API { _id: “API_A”, config_flag_a: 1, endpoints: [ “https://〜”, … ], descriptions: {” 説明…" }, }, { _id: “API_B”, config_flag_a: 0, (略) }, 共通の各種設定を格納 API

Slide 40

Slide 40 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. アンケート管理システムなどアンケート作成システムや、記事管理システムなどへの⾃由な要素追加を⾏なうこの例では⾃由な数のアンケート項⽬を⾃由に作成、JSONの配列をへ要素追加でアイテム追加が可能 { _id name: ” アンケートフォーム", surveyItems: [ { surveyType: “text”, text: “今⽇の感想をおしえてください”, maxChar: 1000, required: 0 }, { surveyType: “radio button”, text: “セッションはわかりやすかったですか︖”, itemCount: 5, required: 1 }, ] } 今⽇の感想をおしえてくださいセッションはわかりやすかったですか︖ わかりやすい<->わかりにくい 5 1 項⽬を配列にPushしていくだけで独⾃のアンケートが作られるモデルが作れる

Slide 41

Slide 41 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. 機械学習のデータストア機械学習の実⾏の際に扱われるデータはJSON で表現するのが便利なデータであったり、スキーマレスなデータが多い（特徴量、、、モデルパラメータ、、、推論結果など、、、) これらのデータをドキュメントデータベースに格納し推論APIや、モデル作成時に使⽤する { "userId": ”kuwanoa”, "features": { "favoriteCategory": ”Electronics”, "averageRating": 4.3, "numberOfRatings": 12, "categoryRatios": { "Electronics": 0.5, "Books": 0.3, "Movies": 0.2 } }, "itemFeatures": [ { "itemId": ”12345”, "averageRating": 4.2, "numberOfRatings": 100, "numberOfRaters": 80 }, { "itemId": ”67890”, "averageRating": 4.5, "numberOfRatings": 120, "numberOfRaters": 90 } // 以下省略 ] } API レコメンデーションしたい︕ Amazon SageMaker 特徴量作るよ

Slide 42

Slide 42 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. IoTデバイスの情報管理⽤ IoTデバイスから送信される多量のデータを受けるためのAPIを提供バケットパターンや、コンピューテッドパターンを使ってデータを効率よく格納する流量が多い場合はElastic Clustersを使ったマネージドシャーディングも活⽤可能 { node_id: 12345, start_date: ISODate("2023-06-21T10:00:00.000Z"), end_date: ISODate("2023-06-21T10:59:59.000Z"), measurements: [ { timestamp: ISODate("2023-06-21T10:00:00.000Z"), cpuUtil: 10 }, { timestamp: ISODate("2023-06-21T10:01:00.000Z"), cpuUtil: 15 }, … { timestamp: ISODate("2023-06-21T10:45:00.000Z"), cpuUtil: 80 } ], transaction_count: 45, avgCpuutil: 25, maxCpuutil: 80, minCpuutil: 5 } API IoTノード群 1データを1オブジェクトではなくある程度の塊にして保存するデザインパターン 1データを1オブジェクトではなくある程度の塊にして保存するデザインパターン

Slide 43

Slide 43 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. IoTデバイスの情報管理⽤ IoTデバイスから送信される多量のデータを受けるためのAPIを提供バケットパターンや、コンピューテッドパターンを使ってデータを効率よく格納する流量が多い場合はElastic Clustersを使ったマネージドシャーディングも活⽤可能 { node_id: 12345, start_date: ISODate("2023-06-21T10:00:00.000Z"), end_date: ISODate("2023-06-21T10:59:59.000Z"), measurements: [ { timestamp: ISODate("2023-06-21T10:00:00.000Z"), cpuUtil: 10 }, { timestamp: ISODate("2023-06-21T10:01:00.000Z"), cpuUtil: 15 }, … { timestamp: ISODate("2023-06-21T10:45:00.000Z"), cpuUtil: 80 } ], transaction_count: 45, avgCpuutil: 25, maxCpuutil: 80, minCpuutil: 5 } API IoTノード群 Amazon DocumentDB Elastic Clusters 最⼤32シャードのマネージドシャード

Slide 44

Slide 44 text

© 2023, Amazon Web Services, Inc. or its affiliates. All rights reserved. Todoアプリとかも余談ですがバケットパターンだとTodoアプリなんかに使っても効率よくデータを保管することができます 100万TODOがあったとして（普通そんなないですが）も時間的な偏りが少なければ⼀度に処理するオブジェクト数を削減することが可能です API // object 1 { "buckets": [ { "timestamp": "2023-06-20T00:00:00", "todos": [ { "_id": 1, "title": ”play Zelda", "status": ”ongoing" }, { "_id": 2, "title": "Finish homework", "status": ”pending" } ] } ] } // object 2 { "buckets": [ { "timestamp": "2023-06-20T01:00:00", "todos": [ { "_id": 3, "title": ”Play Pokeca", "status": ”ongoing" } ] } ] }