Slide 1

Slide 1 text

© 2022, Amazon Web Services, Inc. or its Affiliates. Yasuhiro Araki パブリックセクター技術統括本部 シニアマネージャ Amazon Web Services Japan Oct, 2022 2022.01から09までに葬った AWSアンチパターン⼤紹介

Slide 2

Slide 2 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 荒⽊靖宏 です。どうぞよろしく JAWS-UGがきっかけでAWSのSAになりました 2011年からAWSのソリューションアーキテクトです AWS DirectConnect と EC2 Spot 推し 現在パブリックセクターむけのスペシャリストSA チームです

Slide 3

Slide 3 text

© 2022, Amazon Web Services, Inc. or its Affiliates. アンチパターン アンチパターンはリファクタリング方法が存在する 3つの避けるべき、タイミング別のメタアンチパターン 机上の空論アンチパターン 塩漬けアンチパターン TCO無視アンチパターン 全32パターンはこちらに https://qiita.com/ar1/items/84a69bb700f2695d9a68 今回はここから 10個厳選紹介

Slide 4

Slide 4 text

© 2022, Amazon Web Services, Inc. or its Affiliates. Storage

Slide 5

Slide 5 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 1. EBS Snapshotが任意の組み合わせで可能に • 2019 年から、ひとつの EC2 インスタンスにアタッチされた「全ての」EBS ボリュームについて整合性のあるスナップショットを取得することはできた。 これを「任意の組み合わせ」で可能に。(2022-08) 全てのVolume Before root raid volumes 必要なVolume After root raid volumes

Slide 6

Slide 6 text

© 2022, Amazon Web Services, Inc. or its Affiliates. BEX Serverless BEX = Builders Experience

Slide 7

Slide 7 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 2. CodeGuru Reviewerでスキャン対象絞れるように • CodeGuru Reviewerが新たに、ファイルやフォルダ単位の指摘抑制が可能に なりました。従来はリポジトリ内の全てのファイルやフォルダをスキャンして いましたが、スキャン対象外とする(指摘を抑制する)ものを指定できるよう になりました。リポジトリ全体のスキャンを避けるにはわざわざコピーをして いた (2022-05) Amazon CodeGuru version: 1.0 excludeFiles: - 'resources/*ʼ - ʻsamples/*' aws-codeguru-reviewer.yml

Slide 8

Slide 8 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 3. Lambdaのストレージサイズが拡⼤ • Lambdaが10GBのエフェメラルストレージサポート。これまでコンテナや EC2を使って多くのデータの一時的なキャッシュをしていた場合に有用。機械 学習の推論やメディア処理などデータ集約型アプリケーションで特に便利。 (2022-03) Before After /tmp 512MB /tmp 10GB ⾜りない分はEFS利⽤ EFS不要に

Slide 9

Slide 9 text

© 2022, Amazon Web Services, Inc. or its Affiliates. Database

Slide 10

Slide 10 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 4. DynamoDB で S3 からの⼀括データインポートが可能に • S3からのバルクインポートで新規DynamoDB Table作成できるようになっ た。ETLツール等でWCU消費しながら書き込んでたものが不要に。(2022- 08) Before After GetObject BatchWriteItem ImportTable ETL tool

Slide 11

Slide 11 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 5. Aurora Serverless v2 • Aurora Serverless v2のリリース。Auroraの持つ Multi-AZ や Global Database、リードレプリカといった機能がほしくてServerlessをえらべな かったことがあったのが解消 (2022-04) Before After

Slide 12

Slide 12 text

© 2022, Amazon Web Services, Inc. or its Affiliates. Analytics

Slide 13

Slide 13 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 6. Redshift のシステムログが7⽇間保持 • Redshiftシステムログの耐久性が強化され、最大7日間のシステムログデータ にアクセス可能になり、クラスタを一時停止してもシステムログが保持され るようになり、障害追跡のためのクラスタ動作不要に。(2022-09) Before After

Slide 14

Slide 14 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 7. EMR Serverless EMR on EC2でのクラスタ起動には8分前後かかっていた。EMR Serverlessに よりオンデマンド利用可能に。(2022-06) Before After on Amazon EC2 Submit jobs on Amazon EMR Serverless start stop Create cluster Terminate clusters Submit jobs start stop

Slide 15

Slide 15 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 8. Redshift Serverless • Redshift serverlessにより、需要を予測したクラスタサイズ変更などの管理 が不要に。(2022-07) キャパシティプランニング (ノード数・タイプ) チューニング (WLM, CS) プログラミング&デプロイ 監視設定 分析と洞察 監視&リサイズ&再チューニング プログラミング&デプロイ 分析と洞察 ⾃動化により分析と洞察に⾄る 多くのハードルが⼤幅に減少 Before After

Slide 16

Slide 16 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 9. Glue Flex • Glue Sparkジョブに新しいクラス “Flex” が登場。主に開発中など、レイテ ンシー要件の緩いワークロード向けに最大34%のコスト削減。(2022-08) Standard execution class マイクロバッチの実現 レイテンシーに敏感なワークロード Flex execution class 最⼤34%のコスト削減 Before After 10倍速い ジョブ開始時間 予測可能なジョブレイテンシー ⼀度にデータロードする ワークロード向け

Slide 17

Slide 17 text

© 2022, Amazon Web Services, Inc. or its Affiliates. 10. Glue Auto Scaling • GlueでAuto Scalingが使えるようになった。ワークロードにあわせた自前で のクラスタサイズ調整 が不要に(2022-04) コスト = f(compute) t1 t2 t3 t4 t5 t6 t7 t8 t9 t10 t11 ジョブの時間経過 データパーティションの 不均等な分布 コスト下げの 余地 Before After

Slide 18

Slide 18 text

© 2022, Amazon Web Services, Inc. or its Affiliates. アンチパターン アンチパターンはリファクタリング方法が存在する 3つの避けるべき、タイミング別のメタアンチパターン 机上の空論アンチパターン 塩漬けアンチパターン TCO無視アンチパターン 全32パターンはこちらに https://qiita.com/ar1/items/84a69bb700f2695d9a68 今回はここから 10個厳選紹介