Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
Amazon S3の紹介
Search
jhashimoto
April 07, 2017
Programming
0
220
Amazon S3の紹介
社内勉強会で使ったスライドです。
jhashimoto
April 07, 2017
Tweet
Share
More Decks by jhashimoto
See All by jhashimoto
初めてのAWS / The first AWS
jhashimoto
0
190
AWS Data Pipelineを本番投入してみた話
jhashimoto
1
1k
AWS Lambdaで始めるサーバーレスアーキテクチャ
jhashimoto
0
180
クラウド最初の一歩
jhashimoto
0
340
Other Decks in Programming
See All in Programming
[スクリプト] Swiftの型推論を学ぼう
omochi
0
120
Prepare for Jakarta EE 11 - Performance and Developer Productivity
ivargrimstad
0
510
「コンパイル時のユニットテスト」導入するとユニットテストを 書かなくてよくなるのか?
tomohisa
9
2.2k
Crafting a Own PHP - ウキウキ手作りミニマリストPHP
uzulla
4
1.1k
イベントストーミングによるオブジェクトモデリング・オブジェクト指向プログラミングの適用・開発プロセスの変遷・アーキテクチャの変革 / Object modeling with Event Storming.
nrslib
12
3.1k
コミュニティに参加したことで起きた変化
ohmori_yusuke
3
130
15分間でふんわり理解するDocker @ Matsuriba MAX
ukwhatn
PRO
1
340
生成 AI の中身を覗いてみよう〜基礎から医療現場での応用まで〜
soh9834
2
770
ファイル先頭の use の意味、説明できますか? 〜PHP の namespace と autoloading の関係を正しく理解しよう〜 / namespace and autoloading in php
okashoi
2
470
フロントエンドパフォーマンス 入門
shouta2
7
1.5k
AppDeveloperCon 2024 EU: Building polyglot developer experiences in 2024
salaboy
0
380
DocC Tutorial と TCA におけるテスト機能の紹介
kalupas226
1
330
Featured
See All Featured
Mobile First: as difficult as doing things right
swwweet
215
8.5k
GraphQLとの向き合い方2022年版
quramy
28
12k
The World Runs on Bad Software
bkeepers
PRO
60
6.6k
4 Signs Your Business is Dying
shpigford
174
21k
Clear Off the Table
cherdarchuk
82
310k
Building Effective Engineering Teams - LeadDev
addyosmani
25
1.8k
The Invisible Customer
myddelton
114
12k
A better future with KSS
kneath
230
16k
Web Components: a chance to create the future
zenorocha
304
41k
Creatively Recalculating Your Daily Design Routine
revolveconf
209
11k
Visualizing Your Data: Incorporating Mongo into Loggly Infrastructure
mongodb
34
8.8k
Designing for humans not robots
tammielis
247
25k
Transcript
AMAZON S3の紹介 橋本 淳一 2017/04/07 1
このセッションのゴール S3の概要を知ってもらうこと AWSでビッグデータを扱う場合のS3の役割を知ってもらうこと 2
アジェンダ 用語 前回のセッションについてのQ&A S3の説明 AWSでビッグデータを扱う場合のS3の役割 まとめ 3
用語 前回のセッションについてのQ&A S3の説明 AWSでビッグデータを扱う場合のS3の役割 まとめ 4
用語(前回のおさらい) インフラ “ITインフラとは、パソコンやサーバー、プリンタなどの各種ハー ドウェア、インターネットやLANなどのネットワーク、さらには データベースやOSのことを指します。” ITインフラの基礎知識 | 株 式会社プレオン 5
オンプレミス “オンプレミス ( 英語: on-premises(オン・プレミシズ))[注 1] と は、 情報システムを使用者(通常は企業)自身が管理する設備内 に導入、設置して運用することをいう。”
オンプレミス - Wikipedia 6
クラウド “実際に処理が実行されるコンピュータおよびコンピュータ間のネ ットワークは、サービスを提供する事業者側に設置されており、 それらのコンピュータ本体およびネットワークの購入・管理運営 費用や蓄積されるデータの管理の手間は軽減される。このような 出来合いのサーバ群をクラウドと呼ぶ” クラウドコンピューティ ング - Wikipedia
7
AWS Amazonのクラウドサービスです。 Azure Microsoftのクラウドサービスです。 8
仮想サーバー “サーバ仮想化とは、1台のサーバ(物理サーバ)を複数台の仮想 的なサーバ(仮想サーバ)に分割して利用する仕組みです。それ ぞれの仮想サーバではOSやアプリケーションを実行させることが でき、あたかも独立したコンピュータのように使用することがで きます。” サーバ仮想化とは: サーバ仮想化/統合ソリューション | NEC
9
アーキテクチャ “コンピュータ・アーキテクチャ(英: computer architecture) は、コンピュータ(特にハードウェア)における基本設計や設計 思想などを意味する。” https://ja.wikipedia.org/wiki/コンピュー タ・アーキテクチャ 10
用語 前回のセッションについてのQ&A S3の説明 AWSでビッグデータを扱う場合のS3の役割 まとめ 11
Q. 仮想マシンで使うソフトウェアのライセンス料はどうなるのか? 12
AWS Black Belt Online Seminar Amazon EC2 13
Q. この例だとクラウドが良いとか、この例だとオンプレミスが良い など、具体的な例があれば教えて欲しいです。 A. クラウドに慣れている場合は、クラウドを選択すると楽ができま す。 オンプレミスでは実現不可能ということはないと思います。ただ し、短納期・技術面での困難などクラウドサービスを使わないと 現実的に無理というケースはあると思います。 オンプレミスでないと実現できない要件もあります。
顧客情報をクラウドに保管したくない イントラネット 14
Q. オンプレミスからクラウドへ乗せ換える場合のリプレイスのお話 が聞きたいと思います。 どのような作業が必要か どのくらいの期間で可能か 15
A. 2種類の考え方があると思います。 1. オンプレミスのシステムを単純にクラウドに持っていく 2. クラウドのサービスを使ったアーキテクチャに作り替える 16
1. オンプレミスのシステムを単純にクラウド に持っていく オンプレミスのシステムの構成要素をクラウドに置き換えるだけで 済みます。 物理サーバー → EC2 Oracle →
Amazon RDS for Oracle メリット リプレイスのコストを抑えられる。 デメリット クラウドの機能を十分に生かせない。 17
2. クラウドのサービスを使ったアーキテクチ ャに作り替える アーキテクチャ設計のコストがかかります。 ソースコードの書き換えが必要な場合は、既存のソースコードを解 析して書き換えるコストがかかります。 例:オンプレミスのSQL ServerをRedshiftに置き換えたいが、 Redshiftではストアドが使えないので、SQL Serverのストアドを
解析して書き直す必要がある。 メリット クラウドの機能を十分に生かせる。 デメリット コストが大きくなる。 18
どのくらいの期間で可能か? 1. 2. のどちらのやり方を選択するかで、大きく変わります。 2.の場合は、既存のソースコードの保守性により大きく変わりま す。 もちろん、システムの規模によっても変わります。 19
こんなサービスもあります http://d21p9jh34rzlgg.cloudfront.net/doc/reinvent2016-digest/tokyo/2_server-migration.pdf#page=4 20
Q. IaaS/PaaS/SaaSの使い分けの具体例などがあれば、聞いてみたい です。(どういう例ではどれを使う方が利点があって、実際にはどれ を使った結果どうなった…のような) A. 例としてCRMを導入するケースを上げてみます。 Salesforce(SaaS)で要件を満たせるなら、自分でCRMを立ち上 げずに済みます。 自分でCRMを立ち上げて管理する場合は、IaaS/PaaSを選択しま す。
IaaSを使って仮想サーバーを起動し、CRMをデプロイします。 PaaS(RDSなど)も併用すると、コストを下げることができま す。 21
Q. AWSとAzureの国内シェア比率や、使用料金価格等。多分AWSの 方がシェアが多いと思うけど、なぜか? 22
世界シェア比率 クラウド界の絶対王者「AWS」独走の秘密:日経ビジネスオンライン 23
使用料金価格 AWSでもAzureでも従量課金であることは変わりません。 課金の単位は、サービスにより変わるので(使用時間、仮想マシン のスペック、リクエスト数、データ転送量など)、AWSとAzureの どちらが安いかはシステム構成により変わります。 料金見積もりツールで、コストを比較できます。 AWS: Azure: Amazon Web
Services Simple Monthly Calculator 料金計算ツール | Microsoft Azure 24
多分AWSの方がシェアが多いと思うけど、なぜ か? “IT業界では、デファクト(事実上の標準)を握った企業が圧倒的に優 位となる。“勝ち馬”に乗ろうと多くの技術者が集まることで、ソフト 開発が一層加速するからだ。「新技術が真っ先に採用されるため、優 秀なエンジニアほどAWSを使いたがる」” クラウド界の絶対王者「AWS」独走の秘密:日経ビジネスオンライン 25
Q. オンプレとの違いによる失敗談 A. まだプロジェクトが始まったばかりなので、失敗談はないのです が、クラウドでの開発は慣れが必要なので、初めての場合は、技術 検証・アーキテクチャ設計の工数を多めに確保しないとつらくなる と思います。 26
Q. AWSのサービスの種類、特徴 どんなシーンで使われるのかを知 りたいです。 AWSは、Amazonウェブサイトのサーバ ーインフラを実現している仕組みをサー ビスとして公開するところから始まった ので、インフラよりのサービスが多いで す。 少しずつ開発者向けのサービスも出てき
ています。 CodeDeploy CodeCommit CodePipeline https://codezine.jp/article/detail/8895 27
用語 前回のセッションについてのQ&A S3の説明 AWSでビッグデータを扱う場合のS3の役割 まとめ 28
S3(AMAZON SIMPLE STORAGE SERVICE)とは AWS Blackbelt 2015シリーズ Amazon Storage Service
(S3) 29
特徴 AWS Blackbelt 2015シリーズ Amazon Storage Service (S3) 30
デモ 31
利用用途 AWS Blackbelt 2015シリーズ Amazon Storage Service (S3) 32
利用用途 Amazon S3を中心とするデータ分析のベストプラクティス 33
用語 前回のセッションについてのQ&A S3の説明 AWSでビッグデータを扱う場合のS3の役割 まとめ 34
データレイクとは “データレイクはビッグデータを扱うためのストレージ(ファイル置 き場)です。” “データレイクの背後にあるコンセプトは、すべてのデータを生のフ ォーマットで安全に貯めておき、利用する際にスキーマを付与する というシンプルなものです。データマートが「ろ過・パッケージン グされ簡単に消費できる状態になった、ボトル入りミネラルウォー ターのケース」に例えられるのに対して、データレイクは「大量の 生水」と表現されたりもします。” データレイクはビッグデータのストレージ:データウ
ェアハウス(DWH)やデータマートへの取込口です | GiXo Ltd. AWS Solutions Architect ブログ: AWS上のデータレイクソリューション入門 36
データレイクのメリット 先に要件を検討しなくてよい 生データはすべてデータレイクにある データのサイロ化(どこにどのデータがあるかわからない)がな くなる データレイクにあるものを正とすればよい ストレージと計算処理をするサーバーの分離 37
S3をデータレイクとして使うメリット 容量無制限 高い堅牢性 99.999999999% バックアップやデータ消失の心配をしなくてよい 使った分だけの支払い データはS3にあるので、仮想サーバーと独立できます。 バッチ処理の開始時に仮想サーバーを作成し、処理が終わったら 破棄できる→従量課金のメリット データ量に応じて、仮想サーバーを増やして処理能力を増強する
ことができます。 S3をデータの中継点として、AWSのサービスを疎結合にできます。 38
データ量に応じて、仮想サーバーを増やす ビッグデータサービス群のおさらい & AWS Data Pipeline 39
データ量に応じて、仮想サーバーを増やす ビッグデータサービス群のおさらい & AWS Data Pipeline 40
S3をデータレイクとして使うメリット 他のAWSのサービスとの連携が容易 AWS Blackbelt 2015シリーズ Amazon Storage Service (S3) 41
AWSを使った分析システムの標準的なアーキテ クチャ Big Data Use Cases – Amazon Web Services
(AWS) 42
生データも構造化されたデータもすべてS3にあります バックアップやデータ消失のリスクを考える必要はありません。 43
S3以外はすべて消せます EMRのインスタンスは必要なときだけ生成すればOK クラスタの増強も自在です。 Redshiftのクラスタを誤って消しても問題ありません 44
疎結合 EMRとRedshiftはお互いのことを知りません。 S3をデータの中継点として、AWSのサービスは部品化されていま す。 45
用語 前回のセッションについてのQ&A S3の説明 ビッグデータを扱う場合のS3の役割 まとめ 46
まとめ S3はAWSのオンラインストレージサービスです。 S3に保存しておけば、バックアップ、データ消失の心配をする必 要がなくなります。 S3にデータを保存しておくと、他のAWSのサービスと容易に連携 することができます。 AWSでビッグデータを扱う場合は、S3をデータレイクとして使い、 処理をする仮想サーバーとストレージを分けることができます。 仮想サーバーを使い捨てにでき、従量課金のメリットを生かすこ とができます。
データ量に応じて、仮想サーバーを増やして処理能力を増強する ことができます。 47
ご清聴ありがとうございました 48