$30 off During Our Annual Pro Sale. View Details »

AWSからOCIへの移行事例

Shinya Omori
September 09, 2020

 AWSからOCIへの移行事例

Shinya Omori

September 09, 2020
Tweet

More Decks by Shinya Omori

Other Decks in Technology

Transcript

  1. “AWSからOCIへの移⾏事例"
    - Oracle Cloud ウェビナー -

    View Slide

  2. 2
    Copyright © 2019 Atomitech Inc. All rights reserved.
    1 2 3
    Introduction
    事例紹介 まとめ
    Agenda

    View Slide

  3. 3
    Copyright © 2019 Atomitech Inc. All rights reserved.
    ⼤森 信哉 @shinpy
    株式会社アトミテック
    クラウドサービス事業である (クラウディ)を担当
    福島県会津若松市 在住(フル・リモート)
    インフラエンジニア兼エバンジェリスト
    クラウドはAWSを趣味で触るところから
    →OCI(Oracle Cloud Infrastructure)に関わり始めて2年!!
    好きなサービス: OCI = Autonomous Databaseシリーズ

    View Slide

  4. 4
    Copyright © 2019 Atomitech Inc. All rights reserved.
    OCIjpはOCIエキスパートによるユーザーコミュニティです。
    毎⽉第3⽕曜⽇ごろに開催しています。
    ⼤規模な構築事例や初⼼者向けハンズオンなど
    OCIに関わることなら何でも取り上げます!
    OCI初⼼者歓迎!!
    毎⽉第3⽕曜⽇ イベント実施
    twitter
    connpass

    View Slide

  5. 5
    Copyright © 2019 Atomitech Inc. All rights reserved.
    HINEMOS
    Solution
    Div.
    Service
    Delivery
    Div.

    View Slide

  6. 6
    Copyright © 2019 Atomitech Inc. All rights reserved.
    @Cloudii_jp
    https://cloudii.jp/
    ※近⽇リニューアル予定!!
    ハッシュタグ #Cloudii
    Cloudii Blog

    View Slide

  7. 7
    Copyright © 2019 Atomitech Inc. All rights reserved.
    Cloudii Cloud Managerとは
    uクラウドサービス管理を統合したWebアプリケーション
    ステータス
    可視化
    コスト分析
    マルチクラウド
    対応
    ガバナンス
    • Oracle Cloud
    • AWS
    • Microsoft Azure
    ...etc
    • インスタンス稼働状況
    • OS情報
    • 各構成管理
    ...etc
    • 部署毎
    • コンパートメント毎
    • タグ毎
    ...etc
    • イベントログ
    ※操作ログ等
    • アラート通知
    ...etc

    View Slide

  8. 8
    Copyright © 2019 Atomitech Inc. All rights reserved.
    「AWSからOCIへの移⾏」
    事例紹介

    View Slide

  9. 9 Copyright © 2019 Atomitech Inc. All rights reserved.
    • ⼀般公開している地図サービス
    • 静的コンテンツデータ:約15TB
    • 静的コンテンツ更新は毎週数回(⾼頻度)
    • 地図検索機能等のAPI:別接続
    • ⼤量のログ解析(Amazom EMR)
    API SV
    (本番)
    AWS Cloud
    CDN
    Amazon CloudFront
    Docker
    コンテナ
    API SV
    (テスト)
    インターネット
    Docker
    コンテナ
    コンテンツを
    アップロード
    Dockerイメージを
    デプロイ
    VPC
    オフィス等
    EMR
    EC2 EC2
    S3
    AWS構成

    View Slide

  10. 10 Copyright © 2019 Atomitech Inc. All rights reserved.
    API SV
    (本番)
    OCI
    VPC
    Compute Compute
    CDN
    Fastly
    Docker
    コンテナ
    API SV
    (テスト)
    インターネット
    Object
    Storage
    Docker
    コンテナ
    Internet
    Gateway
    オフィス等
    Dockerイメージを
    デプロイ
    コンテンツを
    アップロード
    • CDN(CloudFront)→ Fastly
    • S3 → Object Storage
    • EC2 → Compute
    • ログ解析(EMR)
    → Fastlyでログ出⼒時点でカスタマイズ
    → 解析:シェル
    OCI構成

    View Slide

  11. 11 Copyright © 2019 Atomitech Inc. All rights reserved.
    • APIサーバもCDN(Fastly)配下にし全てのログを集約
    • コンテンツ更新時にCLIによる⾃動キャッシュパージの実装
    • カスタムログ:予めログ解析で必⽤な項⽬のみに絞って出⼒
    (Object Storageに出⼒)
    • Object Storageは静的ウェブサイトのホスティング機能が不
    ⾜しているため、⾜りないところをFastlyで補完
    <URLのリライト例>
    ・「Object Storage」で発⾏されるURL
    →https://objectstorage.**d.com/*/n**c/*/バケット名/o/ファイル名等
    ・「Fastly」でリライト
    →https://cloudii.jp/バケット名/****
    • Object Storageへのアクセスログを保存するサービスが無い
    →9/10位に「ロギング・サービス」がリリース予定
    ※LA評価中→Cloudiiブログでも記載:LA_Loggingサービスについて
    https://cloudii.atomitech.jp/entry/20191126/1574730560
    API SV
    (本番)
    OCI
    VPC
    Compute Compute
    CDN
    Fastly
    Docker
    コンテナ
    API SV
    (テスト)
    インターネット
    Object
    Storage
    Docker
    コンテナ
    Internet
    Gateway
    オフィス等
    Dockerイメージを
    デプロイ
    コンテンツを
    アップロード
    OCI構成

    View Slide

  12. 12 Copyright © 2019 Atomitech Inc. All rights reserved.
    参考| Fastly

    View Slide

  13. 13
    Copyright © 2019 Atomitech Inc. All rights reserved.
    移⾏:苦労したところ
    ・データ容量:15TB
    ・膨⼤なファイル数(数億ファイル)
    ・1ヶ⽉で移⾏(コピー)

    S3コマンドやCLIで考えていたが、1ヶ⽉以上かかてしまうことが発覚...
    ファイルが細かすぎて時間がかかる!!
    S3 Object
    Storage

    View Slide

  14. 14
    Copyright © 2019 Atomitech Inc. All rights reserved.
    移⾏:苦労したところ
    分散して対応
    S3 Object
    Storage
    Compute

    ・中間サーバ(Compute)を複数デプロイ ※⾃社環境
    ・「rclone」コマンドでコピー
    → 期⽇までに完了!!
    → 想定外のCompute分のコストが発⽣
    → ComputeからObject Storageへの転送も10TBオーバーしたためコストが発⽣

    View Slide

  15. 15
    Copyright © 2019 Atomitech Inc. All rights reserved.
    移⾏:注意点
    今回のコピー⽅法を採⽤する際の注意点があります。
    → 詳細はCloudiiブログを参照
    【タイトル】 ※2020/8/21記事
    Oracle Cloud Infrastructure(OCI)のObjectStorageでマルチパートアップロードされたオブ
    ジェクトのMD5ハッシュを得ようとしたら躓いたはなし
    https://cloudii.atomitech.jp/entry/object_storage/issue/md5_hash

    View Slide

  16. 16 Copyright © 2019 Atomitech Inc. All rights reserved.
    OCI
    VPC
    CDN
    Fastly
    API SV
    (本番)
    Compute
    Docker
    コンテナ
    インターネット
    Object
    Storage
    Compute
    API SV
    (テスト)
    Docker
    コンテナ
    Internet
    Gateway
    オフィス等
    Dockerイメージを
    デプロイ
    コンテンツを
    アップロード
    API SV
    (本番)
    Compute
    Docker
    コンテナ
    API SV
    (本番)
    Compute
    Docker
    コンテナ
    LB
    ・・・
    今後の展望(案)
    ・API SVを複製し「ロード・バランサ」で負荷分散
    ・オートスケールの実装も検討可能

    View Slide

  17. 17 Copyright © 2019 Atomitech Inc. All rights reserved.
    OCI
    VPC
    CDN
    Fastly
    API SV
    (本番)
    Compute
    Docker
    コンテナ
    インターネット
    Object
    Storage
    Compute
    API SV
    (テスト)
    Docker
    コンテナ
    Internet
    Gateway
    オフィス等
    Dockerイメージを
    デプロイ
    コンテンツを
    アップロード
    API SV
    (本番)
    Compute
    Docker
    コンテナ
    API SV
    (本番)
    Compute
    Docker
    コンテナ
    LB
    ・・・
    Autonomous
    Data
    Warehouse
    Oracle Analytics
    ログ解析/分析
    今後の展望(案)
    ・ADW、Analyticsでのログ解析/分析できないか!?
    or OMC or 3rdパーティ・サービス
    OMC
    ・・・・・・・・・・ ログ解析/分析

    View Slide

  18. 18 Copyright © 2019 Atomitech Inc. All rights reserved.
    Oracle Cloud Infrastructure Registry
    (OCIR)
    API SV (本番)
    API SV (テスト)
    API SV
    (本番)
    OCI
    VPC
    Compute Compute
    CDN
    Fastly
    Docker
    コンテナ
    API SV
    (テスト)
    インターネット
    Object
    Storage
    Docker
    コンテナ
    Internet
    Gateway
    オフィス等
    Dockerイメージを
    メンテナンス
    Dockerイメージ
    コンテンツを
    アップロード
    今後の展望(案)
    • Dockerイメージのアップデートを⼿動デプロイしている
    → OCIRでイメージ管理できないか!?

    View Slide

  19. 19 Copyright © 2019 Atomitech Inc. All rights reserved.
    Oracle Cloud Infrastructure Registry
    (OCIR)
    API SV (本番)
    API SV (テスト)
    OCI
    VPC
    Compute Compute
    CDN
    Fastly
    pod#1
    API SV
    (本番)
    インターネット
    Object
    Storage
    Internet
    Gateway
    オフィス等
    Dockerイメージを
    メンテナンス
    Dockerイメージ
    コンテンツを
    アップロード
    pod#2
    API SV
    (テスト)
    LB
    Oracle Container Engine
    for Kubernetes
    LB
    今後の展望(案)
    • OKE(K8s)環境にしてクラウドネイティブDevOpsを
    実現できないか!?

    View Slide

  20. 20
    Copyright © 2019 Atomitech Inc. All rights reserved.
    まとめ
    ・全体的なコストはOCIが安価(AWSのオンデマンド料⾦⽐較)
    ※AWSでもリザーブド等の契約をすれば安くなるがOCIはデフォルトで安価
    ※各クラウドでも提供しているサービス、していないサービスがあるため価格だけで決定するのは危険
    ・1ヶ⽉で、設計〜構築〜移⾏はとても⼤変
    ・⼤容量のデータをコピーするときは、注意点も考慮しながらしっかり検討する
    ※Data Transferは⽇本では未提供
    ・OCIの⾜りない機能はサードパーティで補完(今回はFastly)
    ・今回のような案件:Object Storageの⾒積は使⽤容量だけではなく、リクエスト数の考慮必須

    View Slide

  21. Copyright © 2019 Atomitech Inc. All rights reserved. 21
    We Are Hiring!!
    [email protected]
    宛先:⼈事担当

    View Slide