Upgrade to Pro — share decks privately, control downloads, hide ads and more …

マルチクラウドを使い倒すスタートアップの管理とサービス開発の裏側

D93f14959b00d8c8a7f1a3650c25504f?s=47 k.harada
February 25, 2021

 マルチクラウドを使い倒すスタートアップの管理とサービス開発の裏側

AWS Startup Tech Meetup Online#2 LT資料

D93f14959b00d8c8a7f1a3650c25504f?s=128

k.harada

February 25, 2021
Tweet

Transcript

  1. マルチクラウドを使い倒すスタートアップの AWS管理とサービス開発の裏側 株式会社DATAFLUCT 原⽥ ⼀樹

  2. 2 原⽥ ⼀樹 • (株)DATAFLUCT ‒ CTO 兼 PO/PdM ◦

    インフラ・アプリ・データ分析をカバーする アーキテクト ◦ マルチクラウドAutoMLサービスのプロダク ト責任者とDX案件のテクニカルリードを兼任 • 経歴 ◦ AWS インテグレーター ◦ IBM Bluemix Community Leader ◦ Microsoft Apps Consultant ◦ Azure Technical Trainer
  3. 3 会社概要 沿⾰ ձ໊ࣾ גࣜձࣾ%"5"'-6$5 ʢσʔλϑϥΫτʣ ࢿຊۚ  ສԁ ઃཱ೔

    ೥݄೔ ॅॴ ˟౦ژ౎ઍ୅ా۠߿ொ '-*'6--)6#಺ ೥݄ %"5"'-6$5ϓϩδΣΫτ։࢝ ೥݄ %"5"'-6$5૑ۀ ೥݄ +"9" ϕϯνϟʔೝఆ ೥݄ ૿ࢿɺऔక໾$'0ʹࡉాࢯ͕ब೚ ೥݄ ΤϯδΣϧϥ΢ϯυͰສԁௐୡ ೥݄ σοτͱΤΫΠςΟͰ໿ສԁͷ௥Ճௐୡ
  4. DATAFLUCTとは 4 データサイエンス事業開発集団 Vertical SaaS SaaS開発 Platfrom Vertical Data Data

    Platform
  5. DATAFLUCTとは 5 創業2年で⾃社プロダクトを21本保有(未ローンチ分含む) 商圏分析 フードロス需 要予測 ⾃動発注 プライシング 顧客導線 解析

    サイネージ 広告最適化 コンパクトシ ティ 収穫予測 衛星画像解析 ルート最適化 ダイナミック マップ CO2排出 不動産投資 ⾷品 MD⽀援 にぎわう 街づくり 移動販売 SNS広告 最適化 企業業績予測 再⽣ エネルギー ハザード AutoML PaaS 脳波と⽣産性 new new new new new 開発中 開発中 開発中 開発中 開発中 開発中 開発中
  6. マルチクラウドAutoML 6 マルチクラウドAutoMLで⾼精度なモデル構築を 低コスト・迅速に実現する機械学習プラットフォーム

  7. マルチクラウドを使い倒すスタートアップの AWS管理とサービス開発の裏側 − 統合認証環境とセキュリティ −

  8. プロダクト共通のデータ基盤 8 【脅威 1】なりすまし SIEM * による リスクイベント分析 【脅威 2】改ざん

    【脅威 3】否認 【脅威 4】情報漏洩 【脅威 6】特権の昇格 【脅威 5】サービス拒否 通信・蓄積データ暗号化 厳密なアクセス制御 ログの改ざんの防⽌ 厳密なアクセスログ管理 多層防御による不正防⽌ 運営メンバーの権限制御 DDoS 攻撃への対策 APIの流量制限 * Security Information and Event Management 特権ID管理 最⼩権限の徹底による 被害の局地化 外部からの攻撃防⽌だけでなく、内部の不正利⽤を仕組みで制御する ゼロ・トラストセキュリティ設計を推奨
  9. ゼロ・トラストの実現に必要な要素 9 ID管理・権限制御 ・認証・認可により、権限を与えた「個⼈」を特定した上で許可を与える ・1 User・1 ID になるように運⽤することで「誰が・何を・いつ⾏ったのか」を特定 ・許可を与えていない悪意のある社員・外部からの不正アクセス者の操作を制限する デバイス・サーバー管理

    ・マルウェア対策による既知の攻撃対策 ・未知の攻撃に対しては SIEM (Security Information and Event Management) を利⽤し た収集したログからのふるまい検知で対策 ログ収集・監査 ・すべての通信ログを収集し、不正の発⽣を検知して即座に対策(SIEM) ・監査ログとして⻑期保存しておくことで、不正アクセス者の「否認」を防⽌
  10. IDのベースをどこにするか? 10 Azure Active Directory Google Cloud Identity メインで利⽤するコミュニケーションツール⽤のIDをベースに 統合ID認証環境を⽤意することで複数のID管理から解放される

    ≒ 誰がどこにアクセスしているのかを識別しやすくなる
  11. IDのベースをどこにするか? - DATAFLUCTの例 11 Azure Active Directory Google Cloud Identity

    DATAFLUCT メンバー ID同期 Platform ⽤ アカウント Organizations Microsoft Azure Platform ⽤ サブスクリプション Product xx ⽤ サブスクリプション Google Cloud Platform Platform ⽤ プロジェクト Product xx ⽤ プロジェクト Product xx ⽤ アカウント AWS SSO Azure Portal にアクセスする際は、Google Cloud Identity のユーザー ID / PW でサインイン Google Cloud Console にアクセスする際は、Google Cloud Identity のユーザー ID / PW でサインイン AWS SSO ポータルに Google Cloud Identity のユーザー ID と 独⾃管理PW でサインイン ※ Azure AD から AWS SSO への ID 同期は可能だが、AWS SSO → Azure AD → Google Cloud Identity という⼆重 フェデレーション構成となりエラーとなるため、ID 同期の構成は実施しない サインイン サインイン サインイン Amazon Web Services Google Cloud Identityからの ID同期機能は未 サポート (サポート後に 実装検討) Federation
  12. IDのベースをどこにするか? - 参考リソース 12 ・AWS 公式:G Suite アカウントを用いた AWS へのシングルサインオン

    ・AWS 公式:AWS Single Sign-On の ID ソースとしての Azure AD の接続 ・GCP 公式:GCP と Azure Active Directory の連携 ・Azure 公式:Azure Active Directory と Google Cloud Connector の統合
  13. AWS環境での脅威検知 13 GuardDuty Amazon Macie CloudWatch Logs Amazon S3 (DataLake)

    CloudTrail VPC Flow logs CloudWatch Insights / Alarm オブジェクトレベルの アクセスログの記録 機密情報の 検出・分類・保護 AWSアカウント内 の脅威検知 GuardDuty データソース CloudTrailのログを モニタリング アクセスログの 分析・可視化・アラート AWS Config CloudWatch Events AWS Security Hub 構成情報の 変更を監視 AWS環境のセキュリティと コンプライアンス状態を⼀元表⽰ 脅威イベント・ 変更イベント通知 • GuardDuty : 複数のAWS アカウント内の脅 威を検知・対応 • AWS Config: プラットフォームの設定変更 を検知 • Amazon Macie:データレイクに蓄積して いる機密情報の検出・保護
  14. マルチクラウドを使い倒すスタートアップの AWS管理とサービス開発の裏側 − クロスアカウントアクセス −

  15. 複数のAWSアカウントから利⽤するデータ基盤 15 Datalake Platformアカウント プロダクトアカウント データ 投入 社内共通 Rawデータバケット 社内共通

    構造化データバケット Crawling ETL Data Catalog登録 データ 投入 プロダクト Rawデータバケット プロダクト 構造化データバケット Crawling ETL Data Catalog登録 クロスアカウント SQL実行 SQL実行結果 保持バケット • AWSアカウントは予算管理単位やプロジェクト単位で分割する • データレイクなど複数のAWSアカウントから利⽤できるように共通化 • クロスアカウントアクセス⽤にGlue Data Catalogを⾃動⽣成する [クロスアカウント⽤変換処理例] ① S3にデータを投⼊ ② S3PUTをトリガーにLambda実⾏ ③ LambdaがETL Jobを実⾏ ④ ETL JobがS3のデータをベースに ⑤ データを変換して別のS3に保存し ⑥ Glue DataCatalogに登録 / 更新 ① ① ② ③ ⑤ ④ ⑥
  16. まとめ • マルチクラウドはいきなり⼿を出すと⼤変 • 世の中にはたくさんのSaaSがあるため、ID統合認証環境 を⽤意すると管理者もユーザーも幸せに • エンジニアには技術選択の⾃由と説明責任を。 ただし ⾃由すぎるとAWSアカウント乱⽴するため、最低限のポ

    リシーと共通ルールを設けて楽しいAWSライフを!
  17. ⼈材募集中! https://www.wantedly.com/companies/datafluct DATAFLUCT Wantedly