Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
JAWS-UG情シス支部#13/efs
Search
Ichiro Nishiuma
August 27, 2018
Technology
1
640
JAWS-UG情シス支部#13/efs
Amazon EFSについて。JAWS-UG情シス支部 勉強会「チョコっとEFSのI/O性能を計測してみました」
Ichiro Nishiuma
August 27, 2018
Tweet
Share
More Decks by Ichiro Nishiuma
See All by Ichiro Nishiuma
エンジニア採用から始まる技術広報と組織づくり/202506lt
nishiuma
8
2k
新卒エンジニア研修の試行錯誤と工夫/nikkei-tech-talk-31
nishiuma
0
570
エンジニア採用と 技術広報の実践/acaricsummit2025
nishiuma
1
260
2025年の挑戦 コーポレートエンジニアの技術広報/techpr5
nishiuma
0
310
社外コミュニティで学び社内に活かす共に学ぶプロジェクトの実践/backlogworld2024
nishiuma
0
440
社内の学びの場・コミュニティ形成とエンジニア同士のリレーションシップ構築/devreljapan2024
nishiuma
4
440
日経電子版から始まった内製開発の現在地と向き合っている課題/inhouse
nishiuma
0
560
エンジニア採用を起点に取り組む組織の改善活動と課題、中長期のタスク管理/ #HRmethod
nishiuma
4
4.1k
みんなで盛り上げ築くリレーション、日経の新卒エンジニア研修 #chiyoda_tech
nishiuma
1
360
Other Decks in Technology
See All in Technology
Node-RED × MCP 勉強会 vol.1
1ftseabass
PRO
0
180
事業成長の裏側:エンジニア組織と開発生産性の進化 / 20250703 Rinto Ikenoue
shift_evolve
PRO
1
390
整頓のジレンマとの戦い〜Tidy First?で振り返る事業とキャリアの歩み〜/Fighting the tidiness dilemma〜Business and Career Milestones Reflected on in Tidy First?〜
bitkey
0
380
PHPでWebブラウザのレンダリングエンジンを実装する
dip_tech
PRO
0
220
Fabric + Databricks 2025.6 の最新情報ピックアップ
ryomaru0825
1
160
Yamla: Rustでつくるリアルタイム性を追求した機械学習基盤 / Yamla: A Rust-Based Machine Learning Platform Pursuing Real-Time Capabilities
lycorptech_jp
PRO
4
170
B2C&B2B&社内向けサービスを抱える開発組織におけるサービス価値を最大化するイニシアチブ管理
belongadmin
0
170
asken AI勉強会(Android)
tadashi_sato
0
140
さくらのIaaS基盤のモニタリングとOpenTelemetry/OSC Hokkaido 2025
fujiwara3
2
250
【5分でわかる】セーフィー エンジニア向け会社紹介
safie_recruit
0
26k
生成AI活用の組織格差を解消する 〜ビジネス職のCursor導入が開発効率に与えた好循環〜 / Closing the Organizational Gap in AI Adoption
upamune
5
4.6k
KubeCon + CloudNativeCon Japan 2025 に行ってきた! & containerd の新機能紹介
honahuku
0
120
Featured
See All Featured
The Cost Of JavaScript in 2023
addyosmani
51
8.5k
Optimising Largest Contentful Paint
csswizardry
37
3.3k
Unsuck your backbone
ammeep
671
58k
Faster Mobile Websites
deanohume
307
31k
Building a Modern Day E-commerce SEO Strategy
aleyda
42
7.4k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
130
19k
[RailsConf 2023] Rails as a piece of cake
palkan
55
5.6k
RailsConf 2023
tenderlove
30
1.1k
How GitHub (no longer) Works
holman
314
140k
Distributed Sagas: A Protocol for Coordinating Microservices
caitiem20
331
22k
4 Signs Your Business is Dying
shpigford
184
22k
Site-Speed That Sticks
csswizardry
10
670
Transcript
チョコっとEFSのI/O性能を 計測してみました JAWS-UG 情シス支部 第13回 2018/08/27(月) 日本経済新聞社 デジタル事業 BtoCユニット 西馬一郎
きょうお話したいこと (エンタープライズ的に)既存のものをそのま まEFSに置き換えようとしましたが、扱う ファイルサイズにより性能が違うので気をつ けましょう 対象 • ファイルサイズ100KB以下、Web配信 • プロビジョンド
IOPSは測定していない • 計測対象は書き込み
自己紹介 • 西馬 一郎(にしうま いちろう) – 西からきた馬ヅラのオトコ • 電子版インフラエンジニア –
2010年、電子版創刊 – 2015年、電子版AWS移行 – 2017年、電子版完全https化対応 – 直近は、API開発や認証システム • Backlog(JBUG)のコミュニティ活動 • サウナが大好き
日経電子版、日経の紹介 • 2018年に有料会員60万人 • 技術ブログ https://hack.nikkei.com/blog • レガシーな会社がテクノロジーメディア • デジタルファーストで電子版サービスの利
便性、品質向上
5 速さに磨きをかける 最新ニュースを お客様に早く届け る速報性 応答時間の向上
検討したEFSの用途 • 本番公開前のプレビュー用環境 • 記事に付随する画像の配置場所 • Webサーバで共有 • 設定ファイルの配置場所 •
バッチ処理でメール本文の作成 • 全体で150GB • https://docs.aws.amazon.com/ja_jp/efs/latest/ug/pe rformance.html > ファイルシステムが大きくなるに従って Amazon EFS によってスループットが拡張
EC2構成とEFSの構成 7 Web サーバ Web サーバ Web サーバ Web サーバ
NFSマウント 業務 サーバ 業務 サーバ CMS サーバ NFSマウント NFSマウント NFSマウント EC2 NFS サーバ EFS コンテンツファイル転送 ※きょうのプレゼ ンで、オンプレの 名残でNASサー バと呼んだり、 NFSサーバと呼ん だりします NFSクライアント はLinux系 8台程度
めちゃくちゃ簡単にEFSが作れた 大船に乗った気分でいた EFSのファイルシステムを作成するのは 約5分。NFSクライアントからマウントも すぐできた。「めっちゃ簡単やん」 mountのオプションもいい具合。 あとは、ファイルをrsyncコピーするだけ。 150GBのファイル転送で1週間要した (EFS File
Syncは使っていない)
EFSでのIO性能を測定してみた EC2のNFS (t2.micro) ↓ EFSに大容量 ダミーファイル を作り、ファイ ルシステム全 体を1TB、2TB にしても変わら
ず →バースト性 能でると思っ たが EC2のNFS (t2.micro) ↓ ddコマンド ブロック単位 でコピー dd if=/dev/zero of=/share/tmp/1000M bs=1K count=1000
画像ファイルサイズの分布 10
処理時間の比較で検証 • 日経電子版の朝刊紙面イメージデータ – 毎日深夜、3500画像ファイルのFTP転送 • EC2NASの場合 2分30秒 • EFSの場合
5分53秒 • 日経電子版のメール作成処理 • EC2NASの場合 約1時間 • EFSの場合 約2時間
日経電子版で扱う ファイルサイズの特性 • 平均的なファイルサイズ – 100KB以下のファイルが8割を占める • なぜ速さが重要か – 編集者が操作したものを即時反映
– 現行の書き込み速度から落とせない
まとめ • オンプレNFSサーバやEC2のNFSサーバから EFSに置き換える時、特に性能に注意 – 100KB以下の小さいファイルの場合、特にファイ ル数が多い場合は性能がでないのかも知れない • 用途や扱うファイルサイズに左右されると思 われる
以上おしまいです