Upgrade to Pro — share decks privately, control downloads, hide ads and more …

S3Gateway型エンドポイントのありがたさに気づいた話

 S3Gateway型エンドポイントのありがたさに気づいた話

kumamatsu

August 17, 2022
Tweet

More Decks by kumamatsu

Other Decks in Technology

Transcript

  1. 札幌オフィス 〒060-0004 北海道札幌市中央区北4条西6-1 毎日札幌会館9F ベトナムオフィス 7th Floor, Mercury Building, No.444

    Hoang Hoa Tham Street, Thuy Khue ward, Tay Ho District, Hanoi city 西日本オフィス 〒530-0001 大阪府大阪市北区梅田2-2-2 ヒルトンプラザウエストオフィスタワー19F シリコンバレーインキュベーションセンター 3350 Scott Blvd. #29 Santa Clara, CA 95054 東京オフィス(本社) 〒108-0073 東京都港区三田3-13-16 三田43MTビル12F 株式会社ビッグツリーテクノロジー&コンサルティング エンジニアの失敗学LT会vol2 ~S3ゲートウェイエンドポイントのありがたさに気づいた話~ 2022年8月17日
  2. 2 Copyright © 2022 BTC Corporation All Rights Reserved. 自己紹介

    クマ松 名前 株式会社ビッグツリーテクノロジー&コンサルティング 所属 • Cloud CoE(2021年1月~) 登山、ハロプロ(今年は8回現場入り) 趣味 業務 • AWSを使ったインフラ基盤構築 • 複数のお客様内でCloud CoE設立、PMO業務 • AWS Top Engineer(2021年/2022年)、AWS Ambassador(2022年)
  3. 3 Copyright © 2022 BTC Corporation All Rights Reserved. NAT

    GatewayとVPCエンドポイントを 上手く組み合わせよう 結論
  4. 4 Copyright © 2022 BTC Corporation All Rights Reserved. 弊社のとあるプロジェクトの事例

    あるAWSアカウントでデータ変換処理を実施した日のコストを確認したところ、想像以上に跳ね上 がっていて、中でもNAT Gateway(EC2その他に分類)が高くなっていたことを検知しました。 ※弊社のクラウドブログから引用 「NAT Gatewayのコスト分析で、S3ゲートウェイエンドポイントのありがたさに気づいた」, DX事業部 宮國,2022/06/01 https://cloud.bigtreetc.com/column/Gateway-endpoint/ ブログには他にも有益なクラウド情報が盛りだくさん! 是非チェックしてください 原因 VPC内に構築したLambdaから、S3に転送するデータ量が多く、 それらのデータを全てNAT Gatewayを経由してS3に転送していたため
  5. 6 Copyright © 2022 BTC Corporation All Rights Reserved. Public

    subnet VPC VPC内のAWSサービスからVPC外のサービスへアクセスする4つのルート Internet Gateway ① Internet Gateway Public subnet VPC Internet Gateway ② NAT Gateway +Internet Gateway Private subnet Public subnet VPC Internet Gateway ③ VPC Endpoint (Gateway型) Private subnet Public subnet VPC Internet Gateway ④ VPC Endpoint (Interface型) Private subnet AWS PrivateLink 今回の話 参考:「EC2からS3へアクセスする4つのルートとコスト」,NRI Netcom BLOG,佐々木拓郎,2021/09-24 https://tech.nri- net.com/entry/access_routes_from_EC2_to_S3
  6. 8 Copyright © 2022 BTC Corporation All Rights Reserved. VPC

    エンドポイントとは? ✓ VPC内のコンピューティングサービス(EC2・Fargate・Lambda等)がVPCの外のAWSサービス にアクセスする際に利用するAWSのネットワークコンポーネント ✓ Internet Gatewayに接続することなく、プライベートな接続でAWSサービスに接続可能 Public subnet VPC ③ VPC Endpoint (Gateway型) Private subnet Public subnet VPC ④ VPC Endpoint (Interface型) Private subnet CloudWatch Logsに ログを出力 DynamoDB にデータを登録 S3 にオブジェクトを登録 SESでメールを送信 ※サブネット内にENIが作成され、プライベー トIPを使って外部にアクセス ※グローバルIPを持つエンドポイントで外部にアクセス
  7. 9 Copyright © 2022 BTC Corporation All Rights Reserved. VPC

    エンドポイントをサポートしているAWSサービス https://docs.aws.amazon.com/ja_jp/vpc/latest/privatelink/integrated-services-vpce-list.html ✓ Gateway型のエンドポイントはS3とDynamoDBのみ対応 ✓ Interface型のエンドポイントは150種類以上のサービスで対応
  8. 10 Copyright © 2022 BTC Corporation All Rights Reserved. NAT

    GatewayとVPC Endpoint、どう使い分けるの? その他インターネット上に 公開されているサービス VPCエンドポイントを使わない パターン VPCエンドポイントと NAT Gatewayを併用する パターン ✓ NAT Gatewayを設定するだけで、AWSサー ビスを含むインターネット上のサービスにア クセス可能 ✓ VPCエンドポイントを利用することで、NAT Gatewayを通過するデータ通信量が削減され る⇒NAT Gatewayの利用料金が下がる ✓ VPCエンドポイントを使うことでインター ネットを経由せず、プライベート接続で通信 可能 ✓ NAT Gatewayを通過するデータの通信量が多 ければ多いほど、通信料金が嵩む ✓ 全てのデータがインターネットを経由する ✓ AWSサービスごとにVPCエンドポイントの利 用是非を検討したり、設定をする必要がある ✓ 有料のVPCエンドポイントを多数利用すると 料金が嵩む VPC その他 Public subnet VPC Private subnet Public subnet Private subnet
  9. 11 Copyright © 2022 BTC Corporation All Rights Reserved. NAT

    GatewayとVPCエンドポイントの料金 NAT Gatewayの料金 1台あたりの料金 $0.062/時(固定) 処理データあたりの料金 $0.062/GB 処理データ増=利用料金増 VPC Endpointの料金 Gateway型 Interface型 利用料金が無料! 処理データあたりの料金 $0.01/GB NAT Gatewayは1台あたりの利用料金+処理データの量に応じた従量課金の合算 VPC EndpointのGateway型は利用料金が無料 使わない手はない ※VPC EndpointのGateway型で接続できるAWSサービスはS3とDynamoDBのみ
  10. 12 Copyright © 2022 BTC Corporation All Rights Reserved. Private

    subnet NAT Gatewayと S3用のVPCエンドポイント Gateway型 を併用 冒頭のトラブルの解消方法 VPC その他 Public subnet VPC Private subnet Public subnet Before After その他 無料!
  11. 13 Copyright © 2022 BTC Corporation All Rights Reserved. NAT

    GatewayとVPCエンドポイントを 上手く組み合わせよう 結論 S3とDynamoDBのゲートウェイ型エンドポイントは利用する前提で検討 NAT Gatewayを利用しつつ、インターフェース型エンドポイントは セキュリティやデータ処理量を加味して利用を検討
  12. 14 Copyright © 2022 BTC Corporation All Rights Reserved. Thank

    You! 弊社のブログも是非チェックしてください! クラウド:https://cloud.bigtreetc.com/column/ その他(AI・RPA等):https://www.bigtreetc.com/column/