Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG情シス支部#13/efs
Search
Ichiro Nishiuma
August 27, 2018
Technology
1
580
JAWS-UG情シス支部#13/efs
Amazon EFSについて。JAWS-UG情シス支部 勉強会「チョコっとEFSのI/O性能を計測してみました」
Ichiro Nishiuma
August 27, 2018
Tweet
Share
More Decks by Ichiro Nishiuma
See All by Ichiro Nishiuma
技術イベントはなんとかひねり出す 日経の技術広報の取り組み/techpr3
nishiuma
0
320
日経におけるエンジニア組織づくりで直面した課題と施策/engineerorganization #nikkei_tech_talk
nishiuma
0
210
日経におけるクラウド人材育成と 技術コミュニティ/human-resource-dev
nishiuma
0
28
日経電子版から広がった内製化と現在地/insourcing #nikkei_tech_talk
nishiuma
0
220
2024年の抱負はアウトプット1割増/GWD-Tokyo
nishiuma
1
200
AWS re:Inventと日経とJAWSコミュニティ/reinvent2023recap
nishiuma
0
350
日経のデジタル関連部門におけるSlack活用事例/slack202312
nishiuma
0
79
継続的なコツコツ技術広報とブランディング磨き込みの過程と課題/engineering-brand
nishiuma
0
350
エンジニア向け学びの施策や会社の魅力を洗い出すのに唸った話/ #chiyoda_tech
nishiuma
1
750
Other Decks in Technology
See All in Technology
Building Dashboards as a Hobby
egmc
0
360
R3のコードから見る実践LINQ実装最適化・コンカレントプログラミング実例
neuecc
3
2.2k
Android Target SDK 35 (Android 15) 対応の概要
akkie76
0
150
アクセス制御にまつわる改善 / Improving access control
itkq
0
590
どうするコスト最適化のトレードオフ
tetsuyaooooo
1
710
ゼロから始めるVue.jsコミュニティ貢献 / first-vuejs-community-contribution-link-and-motivation
lmi
1
150
KubeConにproposalを送りたい人へのアドバイス
sat
PRO
3
270
生産性向上チームの紹介
cybozuinsideout
PRO
1
910
Cloud Service Mesh に触れ合う
phaya72
1
160
本当のAWS基礎
toru_kubota
1
620
MLOpsの「壁」を乗り越える、LINEヤフーの Data Quality as Code
lycorptech_jp
PRO
8
620
One engineer company with Ruby on Rails
rstankov
2
420
Featured
See All Featured
A Tale of Four Properties
chriscoyier
152
22k
RailsConf 2023
tenderlove
8
550
Bootstrapping a Software Product
garrettdimon
PRO
302
110k
Atom: Resistance is Futile
akmur
260
25k
Visualization
eitanlees
137
14k
From Idea to $5000 a Month in 5 Months
shpigford
378
45k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
358
22k
Fireside Chat
paigeccino
22
2.6k
How to Create Impact in a Changing Tech Landscape [PerfNow 2023]
tammyeverts
19
1.6k
The Psychology of Web Performance [Beyond Tellerrand 2023]
tammyeverts
12
1.5k
Art, The Web, and Tiny UX
lynnandtonic
290
19k
Java REST API Framework Comparison - PWX 2021
mraible
PRO
19
6.9k
Transcript
チョコっとEFSのI/O性能を 計測してみました JAWS-UG 情シス支部 第13回 2018/08/27(月) 日本経済新聞社 デジタル事業 BtoCユニット 西馬一郎
きょうお話したいこと (エンタープライズ的に)既存のものをそのま まEFSに置き換えようとしましたが、扱う ファイルサイズにより性能が違うので気をつ けましょう 対象 • ファイルサイズ100KB以下、Web配信 • プロビジョンド
IOPSは測定していない • 計測対象は書き込み
自己紹介 • 西馬 一郎(にしうま いちろう) – 西からきた馬ヅラのオトコ • 電子版インフラエンジニア –
2010年、電子版創刊 – 2015年、電子版AWS移行 – 2017年、電子版完全https化対応 – 直近は、API開発や認証システム • Backlog(JBUG)のコミュニティ活動 • サウナが大好き
日経電子版、日経の紹介 • 2018年に有料会員60万人 • 技術ブログ https://hack.nikkei.com/blog • レガシーな会社がテクノロジーメディア • デジタルファーストで電子版サービスの利
便性、品質向上
5 速さに磨きをかける 最新ニュースを お客様に早く届け る速報性 応答時間の向上
検討したEFSの用途 • 本番公開前のプレビュー用環境 • 記事に付随する画像の配置場所 • Webサーバで共有 • 設定ファイルの配置場所 •
バッチ処理でメール本文の作成 • 全体で150GB • https://docs.aws.amazon.com/ja_jp/efs/latest/ug/pe rformance.html > ファイルシステムが大きくなるに従って Amazon EFS によってスループットが拡張
EC2構成とEFSの構成 7 Web サーバ Web サーバ Web サーバ Web サーバ
NFSマウント 業務 サーバ 業務 サーバ CMS サーバ NFSマウント NFSマウント NFSマウント EC2 NFS サーバ EFS コンテンツファイル転送 ※きょうのプレゼ ンで、オンプレの 名残でNASサー バと呼んだり、 NFSサーバと呼ん だりします NFSクライアント はLinux系 8台程度
めちゃくちゃ簡単にEFSが作れた 大船に乗った気分でいた EFSのファイルシステムを作成するのは 約5分。NFSクライアントからマウントも すぐできた。「めっちゃ簡単やん」 mountのオプションもいい具合。 あとは、ファイルをrsyncコピーするだけ。 150GBのファイル転送で1週間要した (EFS File
Syncは使っていない)
EFSでのIO性能を測定してみた EC2のNFS (t2.micro) ↓ EFSに大容量 ダミーファイル を作り、ファイ ルシステム全 体を1TB、2TB にしても変わら
ず →バースト性 能でると思っ たが EC2のNFS (t2.micro) ↓ ddコマンド ブロック単位 でコピー dd if=/dev/zero of=/share/tmp/1000M bs=1K count=1000
画像ファイルサイズの分布 10
処理時間の比較で検証 • 日経電子版の朝刊紙面イメージデータ – 毎日深夜、3500画像ファイルのFTP転送 • EC2NASの場合 2分30秒 • EFSの場合
5分53秒 • 日経電子版のメール作成処理 • EC2NASの場合 約1時間 • EFSの場合 約2時間
日経電子版で扱う ファイルサイズの特性 • 平均的なファイルサイズ – 100KB以下のファイルが8割を占める • なぜ速さが重要か – 編集者が操作したものを即時反映
– 現行の書き込み速度から落とせない
まとめ • オンプレNFSサーバやEC2のNFSサーバから EFSに置き換える時、特に性能に注意 – 100KB以下の小さいファイルの場合、特にファイ ル数が多い場合は性能がでないのかも知れない • 用途や扱うファイルサイズに左右されると思 われる
以上おしまいです