GoでDynamoDBのCLI(便利) を作った shuntaka 2022/06/11 Kyoto.go remote #32 LT会

自己紹介 kyoto.go初参加です！宜しくお願いします😌 埼玉からお送りしています！ GitHub: https://github.com/shuntaka9576 Twitter: @shuntaka_jp blog: https://shuntaka.dev 仕事: AWS,IoT,サーバサイド,TypeScript,Pythonなど Go歴: 仕事ではほぼなく、ときどき趣味で書きます、、 趣味: 原神

https://github.com/shuntaka9576/ddbrew DynamoDBのCLI(便利)を作りました https://zenn.dev/shuntaka/articles/68072c0 0f54700

そもそもDynamoDB RDBのような複雑なクエリ/トランザクションを犠牲に、引き換えにスケーラビリティ や安定したレイテンシーを実現

DynamoDBのR/Wの制約 読み込みリクエスト1回 : ペイロードサイズ4MB 書き込みリクエスト1回 : 最大 25レコード(1レコード400KB) etc..

テーブルのバックアップが柔軟にできない(個人的) アカウントA アカウントB 準備するサービス多い ... コンソールポチ数が多い ..

BatchRequestを作るのが面倒 { "RequestItems" : RequestItems } RequestItems { "TableName1" : [ Request, Request, ... ], "TableName2" : [ Request, Request, ... ], ... } Request ::= PutRequest | DeleteRequest PutRequest ::={ "PutRequest" : { "Item" : { "Attribute-Name1" : Attribute-Value, "Attribute-Name2" : Attribute-Value, ... } } }

GoでCLIを作る Goバイナリ Goバイナリ バックアップ リストア jsonl jsonl ① ② ③ ① ③ RU抑制機能 WU抑制機能 ②

https://asciinema.org/a/500437 リストアのデモ DynamoDB(オンデマンド)で約8366くらい。DynamoDBがスケール状態で変化するのであくまで参考まで

リストア仕組み worker Pool worker worker worker worker Batch Writer jsonl ① 必要レコード分要 求(default: 25) BatchReq generator ② file.Seek, file.Read で必要な行数取得 ③取得OK ④ ・取りすぎた場合は捨てる ・次読出位置を覚える ・BatchWirteRequestへ変換 ⑤ 返却 ⑥ 書き込み

for { select { case <-ctx.Done(): break LOOP case <-ticker.C: limit := *b.LimitUnit for { reqUnitSize := DEFAULT_UNIT_SIZE if limit < reqUnitSize { reqUnitSize = limit } batchReq, err := generator.generate(reqUnitSize) if err != nil { if batchReq.Number() == 0 && err == ErrBatchEOF { close(b.Done) break LOOP } } reqs <- batchReq atomic.AddInt64(b.RemainCount, 1) limit -= batchReq.totalWU if limit == 0 { break } } } } 秒間書き込み制御 1秒に1回イベント受け取る 書き込みリクエスト数を算出 リクエスト生成 リクエストをワーカーへ送信

主なライブラリ aws-sdk-go-v2 github.com/alecthomas/kong github.com/pkg/errors(メンテモードですが、枯れているっぽいので利用)

github.com/alecthomas/kong var CLI struct { Globals Backup struct { TableName string `arg:"" name:"tableName" help:"Specify table name to backup."` File string `short:"f" name:"file" help:"Specify the file path to output (default backup_tableName_yyyymmdd-HHMMSS.jsonl)."` Limit int `short:"l" help:"Limit the number of reads per second to the specified number (units are automatically determined as RCUs for provisioned tables and RRUs for on-demand tables)."` } `cmd:"" help:"Backup DynamoDB table."` ...

今後のはなし デグレしないようにUnit/E2Eを拡充したい E2Eは、litestreamのintegrationディレクトリ を参考に実装している

ご静聴頂きありがとうございます。 (運営者様) 機会を頂きありがとうございます。

参考文献 ・DynamoDB関連 　・AWS re:Invent 2020: Data modeling with Amazon DynamoDB

以上