サーバレスなDBと向き合う

Transcript

1. JAWS-UG Sapporo ~僕は、ただアップデートしたいだけ~ サーバレスなDBと向き合う Kunioku, Hironobu Hokkaido Gas Co., Ltd. 2025/8/22
2. 2 國奥　広伸
 経歴: 2017年　北海道ガス株式会社入社
 仕事: 発電所建設／維持管理, エネルギーサービス、
 業務用EMS開発／運用
 専門: 固体触媒化学（IT専門ではない）
 最近: 流しそうめんを竹から作る
 Kunioku Hironobu, Ph.D. 自己紹介

3. 3
 Serverless アプリケーション利用 
 スケーラビリティ
 可用性
 ミドルウェアのメンテ
 ミドルウェアの導入
 OSのメンテ
 OSの導入
 サーバーのメンテ
 ハードウェ導入管理
 電源・ネットワーク
 アプリケーション利用 
 スケーラビリティ
 可用性
 ミドルウェアのメンテ
 ミドルウェアの導入
 OSのメンテ
 OSの導入
 サーバーのメンテ
 ハードウェ導入管理
 電源・ネットワーク
 アプリケーション利用 
 スケーラビリティ
 可用性
 ミドルウェアのメンテ
 ミドルウェアの導入
 OSのメンテ
 OSの導入
 サーバーのメンテ
 ハードウェ導入管理
 電源・ネットワーク
 オンプレミス
 仮想サーバー
 Amazon EC2
 サーバレス
 AWS Lambda等
 ユーザー対応 AWS側対応
4. 当社で使うサーバレス 
 AWS IoT Core AWS Lambda Amazon DynamoDB Amazon S3 Amazon Aurora Serverless v2 AWS Amplify Amazon API Gateway AWS Fargate IoTデバイス連携
 データベース
 データレイク
 データ処理
 コンテナ
 Webアプリケーション
 API
 AWS Step Functions ワークフロー
 認証認可
 Amazon Cognito
5. データの見える化 遠隔制御 当社の使い所 
 保存
 収集・処理
 ネットワーク 
 機器接続
 AWS IoT Core AWS Lambda Amazon DynamoDB IoTゲートウェイ 
 4G/LTE
 SORACOM Beam
 AWS Cloud 詳細は（株）エナジーソリューションHP https://energy-solution.co.jp/service/mys3/
6. Serverless × IoT SORACOM公式ブログより引用 https://blog.soracom.com/ja-jp/2023/11/02/iot-tech-meetup-06-serverless-iot/
7. VPC
 Public subnet
 Private subnet
 Amazon Aurora Serverless v2 IGW Application Load Balencer ECS 当社の使い所 
 IoTデバイスのデータ可視化や 分析等にFargate上でGrafana をホスティング
8. Amazon Auroraでもサーバレス 
 db.xxx.large DBインスタンスクラスを設定 Aurora (Provisioned) ACU ACU ワークロードに応じてCPUと メモリを自動的にスケーリング ※ACU : Aurora Capacity Units Aurora Serveless v2
9. 9 Aurora Serverless v2のアップデート 
 - サーバレスという名前だが、普通にメジャーバージョンアップグレードが必要 - マイナーバージョンは自動アップデートが可能 https://docs.aws.amazon.com/ja_jp/AmazonRDS/latest/AuroraPostgreSQLReleaseNotes/aurorapostgresql-release-calendar.html#aur orapostgresql.major.versions.supported
10. どうしてサーバーレスなのにアッ プグレードしないといけないんで すか？

11. 11 Auroraサーバレスでもアップグレード？？ 
 - そう。私はDBをよく知らない。アップグレードも実はよく知らない。
 - Aurora Serveless v2のPostgreSQL13系をずっと使ってたけど、標準サポート終了 が迫っていることから、アップグレード作業を決意。
 - 当チームではAWS CDKを使いAWSを構築している。
 調べたところ、ダウンタイムが許容できるなら、CDKでAuroraのバージョン設定を 変えてデプロイすることでうまくできそう。
 （インプレースアップグレード）
 今回、DB初心者の私がAuroraのアップグレードにトライしました

12. 12 コンソール上でのアップグレードを試す 
 v13.17→ v14.19に上げようとしたとこ ろ、エラー発生。
 VPC
 Public subnet
 Private subnet
 Amazon Aurora Serverless v2 ECS 過去にコンソール上で作成したECS、Auroraの 環境があったため、コンソール上でアップグ レードをテスト
 Database cluster is in a state that cannot be upgraded: Postgres cluster is in a state where pg_upgrade can not be completed successfully
13. 13 コンソール上でのアップグレードを試す 
 DB初心者には難しい → Amazon Qにサポートしてもらおう！ ・サポートされていないデータ型の特定 ・無効なインデックスまたは制約の確認 ・長時間実行中のトランザクションの確認 ・ストレージとリソースの確認 - 十分な空きストレージ容量 - 最大容量が少なくとも2 ACUに設定され ていること あっ！！！　ACU足りていない！！
14. 14 コンソール上でのアップグレードを試す 
 そこまでアクセスがないので最大容量を1ACUにしていたのが原因
 アップグレードするなら、たくさん処理するか ら当然インスタンスは大きくしていないと失 敗しそうだよね
 （それがあまりわかっていなかった）
 ACUを上げ直しアップグレードができることを確認

15. 15 AWS CDKを使ったアップグレード 
 じゃあ、CDKでアップデートするときも、 あらかじめ、ACUあげておけばOKね。 VER_13_8から VER_14_8へ Resource handler returned message: "Cannot upgrade aurora-postgresql from 13.18 to 14.8 (Service: Rds, Status Code: 400, Request ID: xxxxxxxxxxxxx) しかし、アップグレード失敗 （あとから思うとこのとき、しっかりエラー内容を見ておけば そこまで沼に入らずに済んだ）
16. 16 AWS CDKを使ったアップグレードの落とし穴 
 AWS CDK上では13.8はいつの間にかDeprecatedになっていた。 →そのため、CDK上で13.8から14系に上げようとしても機能してくれなかった
17. 17 AWS CDKを使ったアップグレード 
 - AWS CDK L2コンストラクトで設定したAuroraは自動でマイナーバージョン アップデートが走る。実際のAuroraは新しいバージョンで稼働していた
 
 - AWS CDKで設定しているバージョンはv13.8で古いままであり差分があるも のの、この状態でCDK delpoyを走らせてもDBのバージョンダウンは勝手に 動かないようになっている
 
 →その結果、CDK側のAuroraのマイナーバージョンがdepricatedになってい ることに気づかず、今回あたふたしてしまった
 なぜ今まで不都合がなかったのか？？

18. 18 真のサーバレスを求めて・・・ 
 アップグレードって大変。DBの運用って大変。 

19. 19 真のサーバレスを求めて・・・ 
 “Amazon Aurora DSQL は、事実上無制限の スケール、最高の可用性を備え、インフラストラ クチャ管理が不要なサーバーレス分散 SQL データベースです。（中略）
 Aurora DSQL は PostgreSQL と互換性 があ り、使いやすいデベロッパーエクスペリエンスを 提供します。”
 https://aws.amazon.com/jp/rds/aurora/dsql/ Aurora DSQLをDBとして使えないだろうか？？
20. Aurora DSQLをGrafanaのDBにできないか？ 
 Grafanaの環境設定にAurora DSQLの情 報を設定
 VPC
 Public subnet
 Private subnet
 Amazon Aurora Serverless v2 ECS Amazon Aurora DSQL ×
 Endpoints
 (VPC Endpoint)
 IAM認証だけではなく、トークンの取得が 必要でうまくいかず。
 →15分でトークンが切れるため、
 結果としてはうまくいかず。。。
 （サイドカー等で定期的にトークンを取得 する仕組みが必要かも）

21. 21 まとめ
 - Aurora Seveless v2のメジャーバージョンアップグレードは、適切な ACUを設定することが大事
 
 - AWS CDKにてAuroraをデプロイする際は、バージョンの指定に注意が 必要
 （Depricatedのバージョンからはアップグレードできない）
 
 - Auroraの仕組みを学びAurora DSQLも触ることができたので、少しだ けDB運用の自信がついた