Slide 1

Slide 1 text

“AWSからOCIへの移⾏事例" - Oracle Cloud ウェビナー -

Slide 2

Slide 2 text

2 Copyright © 2019 Atomitech Inc. All rights reserved. 1 2 3 Introduction 事例紹介 まとめ Agenda

Slide 3

Slide 3 text

3 Copyright © 2019 Atomitech Inc. All rights reserved. ⼤森 信哉 @shinpy 株式会社アトミテック クラウドサービス事業である (クラウディ)を担当 福島県会津若松市 在住(フル・リモート) インフラエンジニア兼エバンジェリスト クラウドはAWSを趣味で触るところから →OCI(Oracle Cloud Infrastructure)に関わり始めて2年!! 好きなサービス: OCI = Autonomous Databaseシリーズ

Slide 4

Slide 4 text

4 Copyright © 2019 Atomitech Inc. All rights reserved. OCIjpはOCIエキスパートによるユーザーコミュニティです。 毎⽉第3⽕曜⽇ごろに開催しています。 ⼤規模な構築事例や初⼼者向けハンズオンなど OCIに関わることなら何でも取り上げます! OCI初⼼者歓迎!! 毎⽉第3⽕曜⽇ イベント実施 twitter connpass

Slide 5

Slide 5 text

5 Copyright © 2019 Atomitech Inc. All rights reserved. HINEMOS Solution Div. Service Delivery Div.

Slide 6

Slide 6 text

6 Copyright © 2019 Atomitech Inc. All rights reserved. @Cloudii_jp https://cloudii.jp/ ※近⽇リニューアル予定!! ハッシュタグ #Cloudii Cloudii Blog

Slide 7

Slide 7 text

7 Copyright © 2019 Atomitech Inc. All rights reserved. Cloudii Cloud Managerとは uクラウドサービス管理を統合したWebアプリケーション ステータス 可視化 コスト分析 マルチクラウド 対応 ガバナンス • Oracle Cloud • AWS • Microsoft Azure ...etc • インスタンス稼働状況 • OS情報 • 各構成管理 ...etc • 部署毎 • コンパートメント毎 • タグ毎 ...etc • イベントログ ※操作ログ等 • アラート通知 ...etc

Slide 8

Slide 8 text

8 Copyright © 2019 Atomitech Inc. All rights reserved. 「AWSからOCIへの移⾏」 事例紹介

Slide 9

Slide 9 text

9 Copyright © 2019 Atomitech Inc. All rights reserved. • ⼀般公開している地図サービス • 静的コンテンツデータ:約15TB • 静的コンテンツ更新は毎週数回(⾼頻度) • 地図検索機能等のAPI:別接続 • ⼤量のログ解析(Amazom EMR) API SV (本番) AWS Cloud CDN Amazon CloudFront Docker コンテナ API SV (テスト) インターネット Docker コンテナ コンテンツを アップロード Dockerイメージを デプロイ VPC オフィス等 EMR EC2 EC2 S3 AWS構成

Slide 10

Slide 10 text

10 Copyright © 2019 Atomitech Inc. All rights reserved. API SV (本番) OCI VPC Compute Compute CDN Fastly Docker コンテナ API SV (テスト) インターネット Object Storage Docker コンテナ Internet Gateway オフィス等 Dockerイメージを デプロイ コンテンツを アップロード • CDN(CloudFront)→ Fastly • S3 → Object Storage • EC2 → Compute • ログ解析(EMR) → Fastlyでログ出⼒時点でカスタマイズ → 解析:シェル OCI構成

Slide 11

Slide 11 text

11 Copyright © 2019 Atomitech Inc. All rights reserved. • APIサーバもCDN(Fastly)配下にし全てのログを集約 • コンテンツ更新時にCLIによる⾃動キャッシュパージの実装 • カスタムログ:予めログ解析で必⽤な項⽬のみに絞って出⼒ (Object Storageに出⼒) • Object Storageは静的ウェブサイトのホスティング機能が不 ⾜しているため、⾜りないところをFastlyで補完 <URLのリライト例> ・「Object Storage」で発⾏されるURL →https://objectstorage.**d.com/*/n**c/*/バケット名/o/ファイル名等 ・「Fastly」でリライト →https://cloudii.jp/バケット名/**** • Object Storageへのアクセスログを保存するサービスが無い →9/10位に「ロギング・サービス」がリリース予定 ※LA評価中→Cloudiiブログでも記載:LA_Loggingサービスについて https://cloudii.atomitech.jp/entry/20191126/1574730560 API SV (本番) OCI VPC Compute Compute CDN Fastly Docker コンテナ API SV (テスト) インターネット Object Storage Docker コンテナ Internet Gateway オフィス等 Dockerイメージを デプロイ コンテンツを アップロード OCI構成

Slide 12

Slide 12 text

12 Copyright © 2019 Atomitech Inc. All rights reserved. 参考| Fastly

Slide 13

Slide 13 text

13 Copyright © 2019 Atomitech Inc. All rights reserved. 移⾏:苦労したところ ・データ容量:15TB ・膨⼤なファイル数(数億ファイル) ・1ヶ⽉で移⾏(コピー) ↓ S3コマンドやCLIで考えていたが、1ヶ⽉以上かかてしまうことが発覚... ファイルが細かすぎて時間がかかる!! S3 Object Storage

Slide 14

Slide 14 text

14 Copyright © 2019 Atomitech Inc. All rights reserved. 移⾏:苦労したところ 分散して対応 S3 Object Storage Compute … ・中間サーバ(Compute)を複数デプロイ ※⾃社環境 ・「rclone」コマンドでコピー → 期⽇までに完了!! → 想定外のCompute分のコストが発⽣ → ComputeからObject Storageへの転送も10TBオーバーしたためコストが発⽣

Slide 15

Slide 15 text

15 Copyright © 2019 Atomitech Inc. All rights reserved. 移⾏:注意点 今回のコピー⽅法を採⽤する際の注意点があります。 → 詳細はCloudiiブログを参照 【タイトル】 ※2020/8/21記事 Oracle Cloud Infrastructure(OCI)のObjectStorageでマルチパートアップロードされたオブ ジェクトのMD5ハッシュを得ようとしたら躓いたはなし https://cloudii.atomitech.jp/entry/object_storage/issue/md5_hash

Slide 16

Slide 16 text

16 Copyright © 2019 Atomitech Inc. All rights reserved. OCI VPC CDN Fastly API SV (本番) Compute Docker コンテナ インターネット Object Storage Compute API SV (テスト) Docker コンテナ Internet Gateway オフィス等 Dockerイメージを デプロイ コンテンツを アップロード API SV (本番) Compute Docker コンテナ API SV (本番) Compute Docker コンテナ LB ・・・ 今後の展望(案) ・API SVを複製し「ロード・バランサ」で負荷分散 ・オートスケールの実装も検討可能

Slide 17

Slide 17 text

17 Copyright © 2019 Atomitech Inc. All rights reserved. OCI VPC CDN Fastly API SV (本番) Compute Docker コンテナ インターネット Object Storage Compute API SV (テスト) Docker コンテナ Internet Gateway オフィス等 Dockerイメージを デプロイ コンテンツを アップロード API SV (本番) Compute Docker コンテナ API SV (本番) Compute Docker コンテナ LB ・・・ Autonomous Data Warehouse Oracle Analytics ログ解析/分析 今後の展望(案) ・ADW、Analyticsでのログ解析/分析できないか!? or OMC or 3rdパーティ・サービス OMC ・・・・・・・・・・ ログ解析/分析

Slide 18

Slide 18 text

18 Copyright © 2019 Atomitech Inc. All rights reserved. Oracle Cloud Infrastructure Registry (OCIR) API SV (本番) API SV (テスト) API SV (本番) OCI VPC Compute Compute CDN Fastly Docker コンテナ API SV (テスト) インターネット Object Storage Docker コンテナ Internet Gateway オフィス等 Dockerイメージを メンテナンス Dockerイメージ コンテンツを アップロード 今後の展望(案) • Dockerイメージのアップデートを⼿動デプロイしている → OCIRでイメージ管理できないか!?

Slide 19

Slide 19 text

19 Copyright © 2019 Atomitech Inc. All rights reserved. Oracle Cloud Infrastructure Registry (OCIR) API SV (本番) API SV (テスト) OCI VPC Compute Compute CDN Fastly pod#1 API SV (本番) インターネット Object Storage Internet Gateway オフィス等 Dockerイメージを メンテナンス Dockerイメージ コンテンツを アップロード pod#2 API SV (テスト) LB Oracle Container Engine for Kubernetes LB 今後の展望(案) • OKE(K8s)環境にしてクラウドネイティブDevOpsを 実現できないか!?

Slide 20

Slide 20 text

20 Copyright © 2019 Atomitech Inc. All rights reserved. まとめ ・全体的なコストはOCIが安価(AWSのオンデマンド料⾦⽐較) ※AWSでもリザーブド等の契約をすれば安くなるがOCIはデフォルトで安価 ※各クラウドでも提供しているサービス、していないサービスがあるため価格だけで決定するのは危険 ・1ヶ⽉で、設計〜構築〜移⾏はとても⼤変 ・⼤容量のデータをコピーするときは、注意点も考慮しながらしっかり検討する ※Data Transferは⽇本では未提供 ・OCIの⾜りない機能はサードパーティで補完(今回はFastly) ・今回のような案件:Object Storageの⾒積は使⽤容量だけではなく、リクエスト数の考慮必須

Slide 21

Slide 21 text

Copyright © 2019 Atomitech Inc. All rights reserved. 21 We Are Hiring!! [email protected] 宛先:⼈事担当