貴方のツールボックスにねじこみたい！ドキュメントデータベースのススメ

© 2023, Amazon Web Services, Inc. or its affiliates. All
rights reserved. D E V D AY

rights reserved. ⾃⼰紹介桑野章弘(くわのあきひろ) • ソリューションアーキテクト • Amazon DocumentDB担当をしております • 好きなAWSのサービス •Amazon Route53, Amazon S3, Amazon Aurora •Amazon DocumentDB

rights reserved. ⾃⼰紹介桑野章弘(くわのあきひろ) • ソリューションアーキテクト • Amazon DocumentDB担当をしております • 好きなAWSのサービス •カレーも好きです

rights reserved. 本セッションについて • 今⽇持ち帰っていただくこと • ドキュメントデータベースの使い所について学ぶ • ドキュメントデータベースのアプリ開発の例について学ぶ • 話さないこと • AWSサービスの細かい説明

rights reserved. ドキュメントデータベースとはドキュメントデータベースと開発ドキュメントデータベースとAWSサービス簡単にAPIを作ってみよう（DEMO) 例えばこんな使い道まとめ Agenda

rights reserved. ドキュメントデータベースとはドキュメントデータベース（ドキュメントストア）は、XML、JSONをはじめとした半構造化データ（＝ドキュメント情報）を保存、検索、管理するために設計されたデータベース RDBMSでいうと以下の対応 • データベース＝データベース • テーブル＝コレクション • レコード＝ドキュメント Database Collection Document 1 Document 2 { Key: Value, Key: Value } { Key: Value, Key: Value } ・・・

rights reserved. ドキュメントデータベースの利点柔軟かつ⾃然にデータを表現できるJSON ⼀般的なアプリケーションデータモデルとして利⽤できる JSON JSONデータをそのままデータベースに保存 JSONに対して柔軟なIndexを作成することも可能アドホック、集計クエリを実⾏ { name: ”kuwano", age: 44, email: ”[email protected]", memberDate: 2015-9-27, UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] }

rights reserved. ドキュメントデータベースと開発 • 前述の通りドキュメントデータベースにはJSONを格納しそのJSON に対して⾃由なクエリを実⾏できる • その利点を活⽤することで開発におけるメリットを享受できる • 開発スピードの⾼速化 • 変化に強い開発 • データの可視性の⾼さ • 柔軟なクエリ

rights reserved. 開発スピードの⾼速化開発全体におけるデータモデリングに必要な時間が多く占めており、特に RDBMSにおいては専⾨のエンジニアにお願いするパターンなどもあり⼀定の時間をかける必要があるドキュメントデータベースは⾃由なデータ形式を持つことでモデリングの時間を削減することが可能、要件定義のブラッシュアップなど、より重要な作業に時間を使うことができるつくりやすいぞ・・・︕︖

rights reserved. データモデリングの戦略 • 参照（正規化） • 埋め込み（⾮正規化） • ゲームスコアの共有サイトを例に ID ユーザ名年齢 email 登録⽇ 10001 kuwano 44 kuwano a@exam ple.com 2015-9- 27 ユーザーマスタ ID ハイスコアランク 10001 3185400 5139 ユーザスコア ID 称号 10001 Curry Lover 10001 New user 称号

rights reserved. データモデリングの戦略︓埋め込み • 1ドキュメントに埋め込む { name: ”kuwano", age: 44, email: ”[email protected]", memberDate: 2015-9-27, UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] }

rights reserved. データモデリングの戦略︓埋め込み • 1ドキュメントに埋め込む { name: ”kuwano", age: 44, email: ”[email protected]", memberDate: 2015-9-27, UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] } ユーザマスタユーザスコア称号

rights reserved. データモデリングの戦略︓参照 { _id: ”abcde”, name: ”kuwano", age: 44, email: ”[email protected]", memberDate: 2015-9-27 promotion: [10001, 10002], userScore: 1001 } { _id: ”1001”, name: ”kuwano", hi_score: 3185400, gamerank: 5139 } { _id: ”10001”, promotions: "new user" } ユーザーマスタ称号ユーザスコア { _id: ”10002”, promotions: ”curry lover" } 参照参照参照

rights reserved. データモデリングを考える実現したい内容から逆に考えて⾏ってモデルを作成する得たい結果からモデリングする参照か埋め込みか最初は埋め込みで考える埋め込みでは問題が出る場合に参照を考えるパフォーマンス vs シンプルさまずはシンプルさを⼤事に︕ データモデリング・・・

rights reserved. 変化に強い開発スキーマレスで柔軟なデータをもつことが可能、それによって様々な仕様の変化にも柔軟に対応可能 { name: ”kuwano", age: 45, email: ”[email protected]", memberDate: 2015-9-27, UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] } db. users.find({“name”: kuwano})

rights reserved. 変化に強い開発スキーマレスで柔軟なデータをもつことが可能、それによって様々な仕様の変化にも柔軟に対応可能 { name: ”kuwano", age: 45, email: ”[email protected]", memberDate: 2015-9-27, UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] } { name: ”kuwano", age: 45, email: ”[email protected]", memberDate: 2015-9-27, GameScores: [ { GameName: ”⽣き抜け︕Kuwano", UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] }, { GameName: ”スマッシュKuwanoブラザーズ", UserScore: { hi_score: 100, gamerank: 50001 }, promotions: [] } ] } New バージョン db. users.find({“name”: kuwano}) データ仕様は変わったがデータ取得⽅法は変わらない

rights reserved. データの可読性 JSONでデータを持つことができるため、データを⾒る際に何のデータがどうなっているか、などを把握しやすい⼈がデータを読んだ場合の可読性の⾼さはドキュメントデータベースのメリットとなる { name: ”kuwano", age: 45, email: ”[email protected]", memberDate: 2015-9-27, UserScore: { hi_score: 3185400, gamerank: 5139 }, promotions: ["new user", ”curry lover"] } ID ユーザ名年齢 email 登録⽇ 10001 kuwano 44 kuwanoa@exampl e.com 2015-9-27 ID ハイスコアランク 10001 3185400 5139 10002 1125420 2234 ユーザーマスタユーザスコア ID 称号 10001 Curry Lover 10001 New user 10002 Beta User 称号

rights reserved. 柔軟なクエリ JavaScriptベースのよりプログラマブルなクエリを実⾏することが可能あまりに複雑すぎるクエリは可読性を損なうので実⾏元のコードでロジック作成を⾏うほうが良い場合も多いが、適切に使えば⾼速なアプリ開発／運⽤に役⽴つバッチ処理や、⼀時的な運⽤クエリの投⼊、ダミーデータ投⼊など db.collection.find({ "age": { $gt: 30 } }).sort({ "name": 1 }).limit(5) function findUsersByAge(age) { return db.items.find({ "Age": { $gt: age } }); } let result = findUsersByAge(30); print(result) for(let i = 0; i < 1000; i++) { db.items.insert({ "id": i, "name": "item" + i }); } let cursor = db.items.find({ "name": "kuwanoa" }); while(cursor.hasNext()) { let doc = cursor.next(); db.items.updateOne({ "_id": doc._id }, { $set: { "flag": 1 } }); }

rights reserved. 柔軟なクエリ JavaScriptベースのよりプログラマブルなクエリを実⾏することが可能あまりに複雑すぎるクエリは可読性を損なうので実⾏元のコードでロジック作成を⾏うほうが良い場合も多いが、適切に使えば⾼速なアプリ開発／運⽤に役⽴つバッチ処理や、⼀時的な運⽤クエリの投⼊、ダミーデータ投⼊など db.collection.find({ "age": { $gt: 30 } }).sort({ "name": 1 }).limit(5) function findUsersByAge(age) { return db.items.find({ "Age": { $gt: age } }); } let result = findUsersByAge(30); print(result) for(let i = 0; i < 1000; i++) { db.items.insert({ "id": i, "name": "item" + i }); } let cursor = db.items.find({ "name": "kuwanoa" }); while(cursor.hasNext()) { let doc = cursor.next(); db.items.updateOne({ "_id": doc._id }, { $set: { "flag": 1 } }); } “age”が30より⼤きく物を検索、結果を“name”の昇順でソート、最初の5つのドキュメントを返す 1000個のデータをfor⽂でループしながらInsertしていく “age”が指定した値より⼤きいドキュメントを検索する関数を定義。その関数を使⽤してクエリを実⾏（複雑なロジックをコードで⼊れることが可能） “items”コレクションの “name”が“kuwanoa”の各ドキュメントに“flag”フィールドが順に更新・追加され、その値が1に設定される

rights reserved. Amazon Aurora Amazon RDS Amazon DynamoDB Amazon DocumentDB Amazon Timestream Amazon Neptune Amazon ElastiCache Amazon QLDB Amazon Keyspaces リレーショナル参照整合性、 ACIDトランザクション、 schema-on- wirte キーバリュー⾼スループット、低レイテンシの read/write、制限のない拡張性ドキュメントドキュメントを格納し、クエリ利⽤により任意の属性に対して⾼速にアクセスインメモリキーを利⽤してマイクロ秒のレイテンシでクエリグラフ時系列時間経過に従って計測されるデータを収集、蓄積、処理台帳データ間の関係性を⾼速、容易に作成、探索ワイドカラム完全、不変かつ検証可能な、アプリケーションデータに対するすべての変更履歴従来のアプリケーション、ERP 、CRM、会計トラフィックの多いウェブアプリ、 eコマースシステム、リアルタイム⼊札コンテンツ管理、カタログ、ユーザープロファイルキャッシュ、セッション管理、ゲームのリーダーボード、地理空間アプリケーション不正検出、ソーシャルネットワーク、レコメンデーションエンジン IoTアプリケーション、イベントトラッキング記録システム、サプライチェーン、ヘルスケア、トランザクション AWS サービス主なユースケーススケーラブルで、可⽤性が⾼い、マネージドなApache Cassandra互換サービス低レイテンシなアプリケーションの構築、 Cassandra ベースのアプリケーションをクラウドに移⾏ Amazon MemoryD B for Redis AWS のマネージドデータベースサービス

rights reserved. Amazon DocumentDB フルマネージドのネイティブ J S O N ドキュメントデータベース § コンピュートとストレージはそれぞれ独⽴でスケール § 数分で15のリードレプリカまでスケール、毎秒数百万読み込みリクエスト、ミリ秒のレイテンシー § Elastic Clustersは、毎秒数百万の読み込み、書き込みリクエスト、4PBのストレージまでスケールスケール § ハードウェアプロビジョニング不要、セットアップ簡単、⾃動バックアップ。データベース運⽤における、付加価値を⽣まない重労働から解放されるフルマネージド § MongoDB Community Edition 3.6/4.0/5.0との互換性 § 同⼀のMongoDB APIs、ドライバー、ツールが利⽤可能 MongoDB互換 § ⾼可⽤性、信頼性 § Global Clusters はリージョン全体の停⽌からのリカバリー、ローカルレイテンシーによるグローバルな読み込みを提供 § VPCのみ、AWS KMSによるストレージ暗号化、TLS通信暗号化 § AWSのセキュリティベストプラクティスの適⽤エンタープライズ

rights reserved. 簡単にAPIを作ってみよう Rest APIは現在様々な場⾯で⼀般的ん使われるAPIですが、ドキュメントデータベースはRest APIを作るのに向いているデータベースとなります AWSのサービス群を使って簡単にRest APIを作ってみましょう︕ なんかAPI作っとこーって思ったときに数⼗分でAPIが作れるとなんか便利ですよね︖ つくりやすいぞ・・・︕︖

rights reserved. 全体構成 AWS App Runner Amazon DocumentDB (with MongoDB compatibility) AWS Cloud Virtual private cloud (VPC) users API Access AWS Cloud Development Kit (AWS CDK) AWS Secrets Manager Amazon Elastic Container Registry (Amazon ECR) Developpers Docker Push

rights reserved. AWS環境の作成 AWS App Runner Amazon DocumentDB (with MongoDB compatibility) AWS Cloud Virtual private cloud (VPC) users API Access AWS Cloud Development Kit (AWS CDK) AWS Secrets Manager Amazon Elastic Container Registry (Amazon ECR) IaCで各環境を作成していく Developpers Docker Push

rights reserved. AWS環境の作成

rights reserved. Docker ファイル作成 AWS App Runner Amazon DocumentDB (with MongoDB compatibility) AWS Cloud Virtual private cloud (VPC) Users API Access AWS Cloud Development Kit (AWS CDK) AWS Secrets Manager Amazon Elastic Container Registry (Amazon ECR) IaCで各環境を作成していく Developpers Docker Push Dockerファイルを作成しコンテナレジストリへPush

rights reserved. Docker ファイル作成

rights reserved. AWS App Ruunerへデプロイ AWS App Runner Amazon DocumentDB (with MongoDB compatibility) AWS Cloud Virtual private cloud (VPC) Users API Access AWS Cloud Development Kit (AWS CDK) AWS Secrets Manager Amazon Elastic Container Registry (Amazon ECR) IaCで各環境を作成していく Developpers Docker Push Dockerファイルを作成しコンテナレジストリ（ECR)へPush ECRにPushしたあとでAWS App Runnerへデプロイ

rights reserved. AWS App Ruunerへデプロイ

rights reserved. APIアクセス確認 AWS App Runner Amazon DocumentDB (with MongoDB compatibility) AWS Cloud Virtual private cloud (VPC) Users API Access AWS Cloud Development Kit (AWS CDK) AWS Secrets Manager Amazon Elastic Container Registry (Amazon ECR) IaCで各環境を作成していく Developpers Docker Push Dockerファイルを作成しコンテナレジストリ（ECR)へPush ECRにPushしたあとでAWS App Runnerへデプロイ UserからRest APIに対してアクセスができるかを確認

rights reserved. APIアクセス確認 # DocumentDB データ確認 rs0:PRIMARY> db.items.find().pretty() { "_id" : ObjectId("64858604ac886b5c35429771"), "Name" : "testman", "Age" : 100 } { "_id" : ObjectId("6485867276ed3f073a790cdb"), "Name" : "kuwanoa", "Age" : 45 } # API データ投⼊(curl) $ curl -X 'POST' 'https://apidemo.us-east-1.awsapprunner.com/items' -H 'accept: application/json' -H 'Content-Type: application/json' -d '{"Age": 45,"Name": "kuwanoa"}’ { "message": "Item added" } $curl -X 'POST' 'https://apidemo.us-east-1.awsapprunner.com/items' -H 'accept: application/json' -H 'Content-Type: application/json' -d '{"Age": 100,"Name": "testman"}' { "message": "Item added" } # API データ確認 (curl) $ curl https://apidemo.us-east-1.awsapprunner.com/items [ { "Age": 45, "Name": "kuwanoa" }, { "Age": 100, "Name": "testman" } ] findはSQLでいえばSELECT データがそのまま投⼊されていることがわかる

rights reserved. ユーザ/システムパラメータ管理⽤のAPI アプリケーションの設定情報をいれておくパラメータ管理のAPIを簡単に実装可能各アプリケーションの動作変更や、マルチテナントなど場合の設定情報など詳細な設定を柔軟に格納、操作、確認することが可能 API API API { _id: “API_A”, config_flag_a: 1, endpoints: [ “https://〜”, … ], descriptions: {” 説明…" }, }, { _id: “API_B”, config_flag_a: 0, (略) }, 共通の各種設定を格納 API

rights reserved. アンケート管理システムなどアンケート作成システムや、記事管理システムなどへの⾃由な要素追加を⾏なうこの例では⾃由な数のアンケート項⽬を⾃由に作成、JSONの配列をへ要素追加でアイテム追加が可能 { _id name: ” アンケートフォーム", surveyItems: [ { surveyType: “text”, text: “今⽇の感想をおしえてください”, maxChar: 1000, required: 0 }, { surveyType: “radio button”, text: “セッションはわかりやすかったですか︖”, itemCount: 5, required: 1 }, ] } 今⽇の感想をおしえてくださいセッションはわかりやすかったですか︖ わかりやすい<->わかりにくい 5 1 項⽬を配列にPushしていくだけで独⾃のアンケートが作られるモデルが作れる

rights reserved. 機械学習のデータストア機械学習の実⾏の際に扱われるデータはJSON で表現するのが便利なデータであったり、スキーマレスなデータが多い（特徴量、、、モデルパラメータ、、、推論結果など、、、) これらのデータをドキュメントデータベースに格納し推論APIや、モデル作成時に使⽤する { "userId": ”kuwanoa”, "features": { "favoriteCategory": ”Electronics”, "averageRating": 4.3, "numberOfRatings": 12, "categoryRatios": { "Electronics": 0.5, "Books": 0.3, "Movies": 0.2 } }, "itemFeatures": [ { "itemId": ”12345”, "averageRating": 4.2, "numberOfRatings": 100, "numberOfRaters": 80 }, { "itemId": ”67890”, "averageRating": 4.5, "numberOfRatings": 120, "numberOfRaters": 90 } // 以下省略 ] } API レコメンデーションしたい︕ Amazon SageMaker 特徴量作るよ

rights reserved. IoTデバイスの情報管理⽤ IoTデバイスから送信される多量のデータを受けるためのAPIを提供バケットパターンや、コンピューテッドパターンを使ってデータを効率よく格納する流量が多い場合はElastic Clustersを使ったマネージドシャーディングも活⽤可能 { node_id: 12345, start_date: ISODate("2023-06-21T10:00:00.000Z"), end_date: ISODate("2023-06-21T10:59:59.000Z"), measurements: [ { timestamp: ISODate("2023-06-21T10:00:00.000Z"), cpuUtil: 10 }, { timestamp: ISODate("2023-06-21T10:01:00.000Z"), cpuUtil: 15 }, … { timestamp: ISODate("2023-06-21T10:45:00.000Z"), cpuUtil: 80 } ], transaction_count: 45, avgCpuutil: 25, maxCpuutil: 80, minCpuutil: 5 } API IoTノード群 1データを1オブジェクトではなくある程度の塊にして保存するデザインパターン 1データを1オブジェクトではなくある程度の塊にして保存するデザインパターン

rights reserved. IoTデバイスの情報管理⽤ IoTデバイスから送信される多量のデータを受けるためのAPIを提供バケットパターンや、コンピューテッドパターンを使ってデータを効率よく格納する流量が多い場合はElastic Clustersを使ったマネージドシャーディングも活⽤可能 { node_id: 12345, start_date: ISODate("2023-06-21T10:00:00.000Z"), end_date: ISODate("2023-06-21T10:59:59.000Z"), measurements: [ { timestamp: ISODate("2023-06-21T10:00:00.000Z"), cpuUtil: 10 }, { timestamp: ISODate("2023-06-21T10:01:00.000Z"), cpuUtil: 15 }, … { timestamp: ISODate("2023-06-21T10:45:00.000Z"), cpuUtil: 80 } ], transaction_count: 45, avgCpuutil: 25, maxCpuutil: 80, minCpuutil: 5 } API IoTノード群 Amazon DocumentDB Elastic Clusters 最⼤32シャードのマネージドシャード

rights reserved. Todoアプリとかも余談ですがバケットパターンだとTodoアプリなんかに使っても効率よくデータを保管することができます 100万TODOがあったとして（普通そんなないですが）も時間的な偏りが少なければ⼀度に処理するオブジェクト数を削減することが可能です API // object 1 { "buckets": [ { "timestamp": "2023-06-20T00:00:00", "todos": [ { "_id": 1, "title": ”play Zelda", "status": ”ongoing" }, { "_id": 2, "title": "Finish homework", "status": ”pending" } ] } ] } // object 2 { "buckets": [ { "timestamp": "2023-06-20T01:00:00", "todos": [ { "_id": 3, "title": ”Play Pokeca", "status": ”ongoing" } ] } ] }

rights reserved. まとめ • ドキュメントデータベースを使って開発スピード/サービスの成⻑スピードを上げていきましょう︕ • AWSサービス群と連携することで簡単にAPIを作ったりできます︕ • お気軽にAWSのソリューションアーキテクトまでお聞きください︕

貴方のツールボックスにねじこみたい！ドキュメントデータベースのススメ

貴方のツールボックスにねじこみたい！ドキュメントデータベースのススメ

More Decks by Akihiro Kuwano

Other Decks in Technology

Featured

Transcript