re:Invent現地の体験談とAurora Limitless Databaseについて

JAWS-UG 名古屋 2023年 AWS re:Inventの復習
https://jawsug-nagoya.doorkeeper.jp/events/165969
#jawsug_nagoya

Transcript

1. re:Invent現地の体験談と Aurora Limitless Databaseについて
2. #jawsug_nagoya 自己紹介 榊原慶太 @株式会社BeeX ・大阪のインフラエンジニア ・初re:Invent現地参加 会社ブログ 2
3. #jawsug_nagoya アジェンダ ・現地でこんなことしました ・セッション編 ・現地交流編 ・Aurora Limitless Databaseについて ・最後に 3
4. 現地でこんなことしました -セッション編-
5. #jawsug_nagoya 参加セッション(Keynoteを除く) 【11/27 月曜】 ・ENT208-R | Build an SAP data lake and drive new business insights [REPEAT] ・GHJ204 | AWS Jam: Generative AI (sponsored by SingleStore and Elastic) 【11/28 火曜】 ・GHJ302 | AWS GameDay Championship: Network Topology Titans (sponsored by Lacework) 【11/29 水曜】 ・ACT037 | AWS re:Invent 5K run ・GAM306 | Modernization of Nintendo eShop: Microservice and platform engineering 【11/30 木曜】 ・GHJ304 | AWS GameDay Championship: Building with Amazon Bedrock and PartyRock 5
6. #jawsug_nagoya GHJ204 | AWS Jam: Generative AI ・AWS Jamとは？ チームを組んでお題を解き、解決毎にポイントを稼いで順位を競うイベント ・チーム構成は？ 自分含む日本人2名と海外エンジニア2名 ・Generative AI（生成系AI）の知見は？ ない。知見が無くとも何とかなった。 6 執筆記事のQR
7. #jawsug_nagoya GHJ204 | AWS Jam: Generative AI 7 ・英語はどうだったか？ 何とかなった。課題が解けたら「Good job !」といってもらえてうれしかった！ ・反省 会話の深堀が難しい。 チーム写真を撮り忘れた。 もっと積極的に質問して多くの問題に触れるべきだった →問題に触れた分、多くの知識を持ち帰れる。優勝チームもたくさん質問していた。
8. #jawsug_nagoya AWS re:Invent 5K run 8 ・AWS 5K runとは？ 早朝にラスベガスの道路を貸し切り、5kmマラソンするイベント ・普段から走っているか？運動しているか？ 全くしていない（800人中700位で完走） ・ラスベガスまで来て走る必要は？ ない。完全に興味本位。でも参加して良かった。お土産ももらえた
9. 現地でこんなことしました -現地交流編- 今年・来年以降参加する方向け
10. #jawsug_nagoya 参加イベント・交流 【11/27 月曜夜】 ・Network-JAWS 勉強会 in Las Vegas 【11/28 火曜夜】 ・Japan Night 【11/29 水曜昼】 ・前職の上司、社員とランチ 10
11. #jawsug_nagoya Network-JAWS 勉強会 in Las Vegas NW-JAWSの現地勉強会。 ・スポンサーLT ・Monday Night Liveのライブ中継を一緒に視聴 ・AWS社員のMonday Night Live解説 11
12. #jawsug_nagoya Network-JAWS 勉強会 in Las Vegas ここで知り合った方とGameDayや5Kに参加！ありがとうございました！ 12 発表当日写真有
13. #jawsug_nagoya Japan Night 近畿日本ツーリスト様主催の日本人向けパーティ。 あまり写真は撮れていないが、こんなことがあった。 現地の日本の方との会話で…。 僕）気になったサービスは何ですか？ 相手） 13
14. #jawsug_nagoya Japan Night 近畿日本ツーリスト様主催の日本人向けパーティ。 あまり写真は撮れていないが、こんなことがあった。 現地の日本の方との会話で…。 僕）気になったサービスは何ですか？ 相手）Aurora Limitless Databaseですね！ 14
15. #jawsug_nagoya Japan Night そこからは自分以外の3人で、活発な議論が始まりついていけず… 15 裏ではTimeSyncが 動いていて… シャーディング実装の手間が 省けるのは大きいですね
16. #jawsug_nagoya Japan Night 思い切って質問 16 DBをあまり知らないのですが、 実際何がすごいんですか？？
17. #jawsug_nagoya Japan Night 解説いただけたが、前提知識が足りず消化不良… 。 その場でセッション名や単語をメモして、帰国後勉強。ということで… 17
18. Aurora Limiteless Database とは 初学者向け
19. #jawsug_nagoya 公式によると Aurora Limitless Database では、データやクエリを複数の Amazon Aurora Serverless インスタンスに自動的に分散するサーバーレスエンドポ イントを提供することで、1 つのデータベースのトランザクションの一貫性を維 持しながら、リレーショナルデータベースのワークロードを簡単にスケールできま す。Aurora Limitless Database には分散型のクエリ計画やトランザク ション管理などの機能が備わっているため、スケーリングのためにカスタムソ リューションを作成したり、複数のデータベースを管理したりする必要はありませ ん。 19 参考URL: https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-aurora-limitless-database/
20. #jawsug_nagoya 公式によると Aurora Limitless Database では、データやクエリを複数の Amazon Aurora Serverless インスタンスに自動的に分散するサーバーレスエンドポ イントを提供することで、1 つのデータベースのトランザクションの一貫性を維 持しながら、リレーショナルデータベースのワークロードを簡単にスケールできま す。Aurora Limitless Database には分散型のクエリ計画やトランザク ション管理などの機能が備わっているため、スケーリングのためにカスタムソ リューションを作成したり、複数のデータベースを管理したりする必要はありませ ん。 20 参考URL: https://aws.amazon.com/jp/about-aws/whats-new/2023/11/amazon-aurora-limitless-database/ 初学者には ハードルが高い…
21. #jawsug_nagoya 端的に言うと… DBのシャーディングを、 マネージドサービスとして提供しているのが Aurora Limitless Database。 まだ「？」だと思うので、順に解説。 21
22. #jawsug_nagoya DBのスケーリングの話 22 アプリ DB 何かアプリをリリースしたと仮定。 ざっくり以下のようなやり取りがある。
23. #jawsug_nagoya DBのスケーリングの話 23 アプリ DB ユーザが増えたら、将来的にリソースの拡張が必要。 このときDBのスケーリングはどう行うか？
24. #jawsug_nagoya DBのスケーリングの話 24 DBの性能を上げることで可能。 読み込み性能の向上であればリードレプリカを使ってもOK。 アプリ DB （高性能）
25. #jawsug_nagoya DBのスケーリングの話 25 一方書き込み処理はどうか？ 読み込み処理と異なり、DBのデータが書き変わるので、 複数ユーザの同時書き込みによる不整合や、 障害等で変更が反映されないと大変です。
26. #jawsug_nagoya DBのスケーリングの話 26 そこで登場したのが シャーディング ！
27. #jawsug_nagoya シャーディングとは 27 1つのDBにアプリの情報を全て詰めると、時間経過でデータサイズが増えたり、 Write処理も重くなる。1つのDBの性能上げるだけでは限度がある。 アプリ DB （高性能）
28. #jawsug_nagoya シャーディングとは 28 そこで、アプリが使う情報を複数DBに分散。これでデータアクセスや書き込み 時間が短縮され、冗長性も上がる。 これがシャーディング。 アプリ DB DB DB DB
29. #jawsug_nagoya シャーディングとは 29 また、DBごとに性能も変えられるので、 1つだけのDBの性能をひたすら上げるよりもスケーリングしやすい。 アプリ DB DB DB DB
30. #jawsug_nagoya 複数DBに処理分散させるのがシャーディング 30 しかし懸念点もある…
31. #jawsug_nagoya シャーディングの懸念点 31 １．適切なクエリ処理が必要 ２．DBサーバ同士でデータの一貫性が保証されない ３．メンテナンスが複雑化しやすい シャーディングは便利だが、 実装が非常に大変！
32. #jawsug_nagoya ここでようやく… 32 Aurora Limitless Databaseが登場！ 【再掲】 DBのシャーディングを、 マネージドサービスとして提供しているのが Aurora Limitless Database。
33. #jawsug_nagoya Aurora Limitless Databaseとは 33 ・トランザクションの一貫性を保持 ・1秒単位で数100万のトランザクションに拡大可 ・ペタバイト単位のデータを単一Auroraクラスタ内で処理可能 ・提供されているIFが1つだけなので、単一DBのごとく使用可能 ・分散アーキテクチャを利用して拡張 ・サーバレス
34. #jawsug_nagoya Aurora Limitless Databaseの構造 34 従来のAurora構造と見比べる。 従来のAurora構造 Aurora Limitless Databaseの構造
35. #jawsug_nagoya Aurora Limitless Databaseの構造 35 シャードグループが加わっている！ 従来のAurora構造 Aurora Limitless Databaseの構造
36. #jawsug_nagoya Aurora Limitless Databaseの構造 36 ユーザもシャードグループとやり取りしている 従来のAurora構造 Aurora Limitless Databaseの構造
37. #jawsug_nagoya シャードグループとは 37 下の2つから成り立つ。 １．トランザクションルータ ・SQLコマンドを解析して、シャードに送信 ・負荷に基づき、水平、垂直にスケーリング ・トランザクションに時間を割り当て ２．複数のシャード ・データの書き込みを行う部分 ・シャード間はTime Sync Serviceで時刻同期
38. #jawsug_nagoya シャードグループとは 38 細かい説明は省くが、処理の流れは １．クライアントからSQLコマンドが来る ２．トランザクションルータでトラフィックを割り当て ３．シャードグループにデータを書き込み ４．トランザクションルータが結果をまとめる ５．クライアントに結果を返す
39. #jawsug_nagoya もっと詳しく知りたい方は 39 ▪AWS re:Invent 2023 - [LAUNCH] Achieving scale with Amazon Aurora Limitless Database (DAT344) ▪データベースシャーディングとは何ですか? ▪Join the preview of Amazon Aurora Limitless Database ▪AWS re:Invent 2023 - Monday Night Live Keynote with Peter DeSantis ※特に一番上の動画は技術的にかなり詳しく解説されている。
40. 最後に
41. #jawsug_nagoya 最後に ・自分がどれだけ動いたかで質が変わる（積極的に自分から） →セッション参加、参加時の姿勢、現地交流、アウトプット etc. →体験、繋がり、知識、莫大なモチベ等様々なものが持ち帰れる ・英語はリスニング最優先！聞き取れなければそもそも会話できない リーディングは自動翻訳で何とかなる ・SWAG、お土産勢は大きめのスーツケース！ 41