Amazon S3の紹介

社内勉強会で使ったスライドです。

Transcript

1. AMAZON S3の紹介 橋本 淳一 2017/04/07 1
2. このセッションのゴール S3の概要を知ってもらうこと AWSでビッグデータを扱う場合のS3の役割を知ってもらうこと 2
3. アジェンダ 用語 前回のセッションについてのQ&A S3の説明 AWSでビッグデータを扱う場合のS3の役割 まとめ 3
4. 用語 前回のセッションについてのQ&A S3の説明 AWSでビッグデータを扱う場合のS3の役割 まとめ 4
5. 用語（前回のおさらい） インフラ “ITインフラとは、パソコンやサーバー、プリンタなどの各種ハー ドウェア、インターネットやLANなどのネットワーク、さらには データベースやOSのことを指します。” ITインフラの基礎知識 | 株 式会社プレオン 5
6. オンプレミス “オンプレミス ( 英語: on-premises（オン・プレミシズ）)[注 1] と は、 情報システムを使用者（通常は企業）自身が管理する設備内 に導入、設置して運用することをいう。” オンプレミス - Wikipedia 6
7. クラウド “実際に処理が実行されるコンピュータおよびコンピュータ間のネ ットワークは、サービスを提供する事業者側に設置されており、 それらのコンピュータ本体およびネットワークの購入・管理運営 費用や蓄積されるデータの管理の手間は軽減される。このような 出来合いのサーバ群をクラウドと呼ぶ” クラウドコンピューティ ング - Wikipedia 7
8. AWS Amazonのクラウドサービスです。 Azure Microsoftのクラウドサービスです。 8
9. 仮想サーバー “サーバ仮想化とは、1台のサーバ（物理サーバ）を複数台の仮想 的なサーバ（仮想サーバ）に分割して利用する仕組みです。それ ぞれの仮想サーバではOSやアプリケーションを実行させることが でき、あたかも独立したコンピュータのように使用することがで きます。” サーバ仮想化とは: サーバ仮想化／統合ソリューション | NEC 9
10. アーキテクチャ “コンピュータ・アーキテクチャ（英: computer architecture） は、コンピュータ（特にハードウェア）における基本設計や設計 思想などを意味する。” https://ja.wikipedia.org/wiki/コンピュー タ・アーキテクチャ 10
11. 用語 前回のセッションについてのQ&A S3の説明 AWSでビッグデータを扱う場合のS3の役割 まとめ 11
12. Q. 仮想マシンで使うソフトウェアのライセンス料はどうなるのか？ 12
13. AWS Black Belt Online Seminar Amazon EC2 13
14. Q. この例だとクラウドが良いとか、この例だとオンプレミスが良い など、具体的な例があれば教えて欲しいです。 A. クラウドに慣れている場合は、クラウドを選択すると楽ができま す。 オンプレミスでは実現不可能ということはないと思います。ただ し、短納期・技術面での困難などクラウドサービスを使わないと 現実的に無理というケースはあると思います。 オンプレミスでないと実現できない要件もあります。 顧客情報をクラウドに保管したくない イントラネット 14
15. Q. オンプレミスからクラウドへ乗せ換える場合のリプレイスのお話 が聞きたいと思います。 どのような作業が必要か どのくらいの期間で可能か 15
16. A. ２種類の考え方があると思います。 1. オンプレミスのシステムを単純にクラウドに持っていく 2. クラウドのサービスを使ったアーキテクチャに作り替える 16
17. 1. オンプレミスのシステムを単純にクラウド に持っていく オンプレミスのシステムの構成要素をクラウドに置き換えるだけで 済みます。 物理サーバー → EC2 Oracle → Amazon RDS for Oracle メリット リプレイスのコストを抑えられる。 デメリット クラウドの機能を十分に生かせない。 17
18. 2. クラウドのサービスを使ったアーキテクチ ャに作り替える アーキテクチャ設計のコストがかかります。 ソースコードの書き換えが必要な場合は、既存のソースコードを解 析して書き換えるコストがかかります。 例：オンプレミスのSQL ServerをRedshiftに置き換えたいが、 Redshiftではストアドが使えないので、SQL Serverのストアドを 解析して書き直す必要がある。 メリット クラウドの機能を十分に生かせる。 デメリット コストが大きくなる。 18
19. どのくらいの期間で可能か？ 1. 2. のどちらのやり方を選択するかで、大きく変わります。 2.の場合は、既存のソースコードの保守性により大きく変わりま す。 もちろん、システムの規模によっても変わります。 19
20. こんなサービスもあります http://d21p9jh34rzlgg.cloudfront.net/doc/reinvent2016-digest/tokyo/2_server-migration.pdf#page=4 20
21. Q. IaaS/PaaS/SaaSの使い分けの具体例などがあれば、聞いてみたい です。(どういう例ではどれを使う方が利点があって、実際にはどれ を使った結果どうなった…のような) A. 例としてCRMを導入するケースを上げてみます。 Salesforce（SaaS）で要件を満たせるなら、自分でCRMを立ち上 げずに済みます。 自分でCRMを立ち上げて管理する場合は、IaaS/PaaSを選択しま す。 IaaSを使って仮想サーバーを起動し、CRMをデプロイします。 PaaS（RDSなど）も併用すると、コストを下げることができま す。 21
22. Q. AWSとAzureの国内シェア比率や、使用料金価格等。多分AWSの 方がシェアが多いと思うけど、なぜか? 22
23. 世界シェア比率 クラウド界の絶対王者「AWS」独走の秘密：日経ビジネスオンライン 23
24. 使用料金価格 AWSでもAzureでも従量課金であることは変わりません。 課金の単位は、サービスにより変わるので（使用時間、仮想マシン のスペック、リクエスト数、データ転送量など）、AWSとAzureの どちらが安いかはシステム構成により変わります。 料金見積もりツールで、コストを比較できます。 AWS: Azure: Amazon Web Services Simple Monthly Calculator 料金計算ツール | Microsoft Azure 24
25. 多分AWSの方がシェアが多いと思うけど、なぜ か? “IT業界では、デファクト（事実上の標準）を握った企業が圧倒的に優 位となる。“勝ち馬”に乗ろうと多くの技術者が集まることで、ソフト 開発が一層加速するからだ。「新技術が真っ先に採用されるため、優 秀なエンジニアほどAWSを使いたがる」” クラウド界の絶対王者「AWS」独走の秘密：日経ビジネスオンライン 25
26. Q. オンプレとの違いによる失敗談 A. まだプロジェクトが始まったばかりなので、失敗談はないのです が、クラウドでの開発は慣れが必要なので、初めての場合は、技術 検証・アーキテクチャ設計の工数を多めに確保しないとつらくなる と思います。 26
27. Q. AWSのサービスの種類、特徴 どんなシーンで使われるのかを知 りたいです。 AWSは、Amazonウェブサイトのサーバ ーインフラを実現している仕組みをサー ビスとして公開するところから始まった ので、インフラよりのサービスが多いで す。 少しずつ開発者向けのサービスも出てき ています。 CodeDeploy CodeCommit CodePipeline https://codezine.jp/article/detail/8895 27
28. 用語 前回のセッションについてのQ&A S3の説明 AWSでビッグデータを扱う場合のS3の役割 まとめ 28
29. S3（AMAZON SIMPLE STORAGE SERVICE）とは AWS Blackbelt 2015シリーズ Amazon Storage Service (S3) 29
30. 特徴 AWS Blackbelt 2015シリーズ Amazon Storage Service (S3) 30
31. デモ 31
32. 利用用途 AWS Blackbelt 2015シリーズ Amazon Storage Service (S3) 32
33. 利用用途 Amazon S3を中心とするデータ分析のベストプラクティス 33
34. 用語 前回のセッションについてのQ&A S3の説明 AWSでビッグデータを扱う場合のS3の役割 まとめ 34
35. データレイクとは “データレイクはビッグデータを扱うためのストレージ(ファイル置 き場)です。” “データレイクの背後にあるコンセプトは、すべてのデータを生のフ ォーマットで安全に貯めておき、利用する際にスキーマを付与する というシンプルなものです。データマートが「ろ過・パッケージン グされ簡単に消費できる状態になった、ボトル入りミネラルウォー ターのケース」に例えられるのに対して、データレイクは「大量の 生水」と表現されたりもします。” データレイクはビッグデータのストレージ：データウ ェアハウス(DWH)やデータマートへの取込口です | GiXo Ltd. AWS Solutions Architect ブログ: AWS上のデータレイクソリューション入門 36
36. データレイクのメリット 先に要件を検討しなくてよい 生データはすべてデータレイクにある データのサイロ化（どこにどのデータがあるかわからない）がな くなる データレイクにあるものを正とすればよい ストレージと計算処理をするサーバーの分離 37
37. S3をデータレイクとして使うメリット 容量無制限 高い堅牢性 99.999999999% バックアップやデータ消失の心配をしなくてよい 使った分だけの支払い データはS3にあるので、仮想サーバーと独立できます。 バッチ処理の開始時に仮想サーバーを作成し、処理が終わったら 破棄できる→従量課金のメリット データ量に応じて、仮想サーバーを増やして処理能力を増強する ことができます。 S3をデータの中継点として、AWSのサービスを疎結合にできます。 38
38. データ量に応じて、仮想サーバーを増やす ビッグデータサービス群のおさらい & AWS Data Pipeline 39
39. データ量に応じて、仮想サーバーを増やす ビッグデータサービス群のおさらい & AWS Data Pipeline 40
40. S3をデータレイクとして使うメリット 他のAWSのサービスとの連携が容易 AWS Blackbelt 2015シリーズ Amazon Storage Service (S3) 41
41. AWSを使った分析システムの標準的なアーキテ クチャ Big Data Use Cases – Amazon Web Services (AWS) 42
42. 生データも構造化されたデータもすべてS3にあります バックアップやデータ消失のリスクを考える必要はありません。 43
43. S3以外はすべて消せます EMRのインスタンスは必要なときだけ生成すればOK クラスタの増強も自在です。 Redshiftのクラスタを誤って消しても問題ありません 44
44. 疎結合 EMRとRedshiftはお互いのことを知りません。 S3をデータの中継点として、AWSのサービスは部品化されていま す。 45
45. 用語 前回のセッションについてのQ&A S3の説明 ビッグデータを扱う場合のS3の役割 まとめ 46
46. まとめ S3はAWSのオンラインストレージサービスです。 S3に保存しておけば、バックアップ、データ消失の心配をする必 要がなくなります。 S3にデータを保存しておくと、他のAWSのサービスと容易に連携 することができます。 AWSでビッグデータを扱う場合は、S3をデータレイクとして使い、 処理をする仮想サーバーとストレージを分けることができます。 仮想サーバーを使い捨てにでき、従量課金のメリットを生かすこ とができます。 データ量に応じて、仮想サーバーを増やして処理能力を増強する ことができます。 47
47. ご清聴ありがとうございました 48