そのアクセス層の変更本当にお得ですか？

第二回のJAZUG Shizuokaにて登壇した内容です。
https://jazug.connpass.com/event/350922/

Transcript

1. © SIOS Technology Inc. All rights Reserved. Azure Blob Storage そのアクセス層の変更 本当にお得ですか？ 佐藤 陽 サイオステクノロジー株式会社
2. © SIOS Technology Inc. All rights Reserved. 自己紹介 2 佐藤 陽 / Sato Akira サイオステクノロジー株式会社 Professional Service SL in 静岡 仕事 Azureクラウド構築 生成AIを活用したアプリ開発 ブログ執筆 / 外部登壇 趣味 運動(ロードバイク/ランニング) 音楽(FUJI ROCK FESTIVAL) 読書(森博嗣/有栖川有栖) @satodayo1115
3. © SIOS Technology Inc. All rights Reserved. 自己紹介 3 「RAGアプリケーション 評価・改善の極意」 「ツール・ド・Azure」 YouTubeにて配信中
4. © SIOS Technology Inc. All rights Reserved. 今日のテーマ 4
5. © SIOS Technology Inc. All rights Reserved. 今日のテーマ 5 Azure Blob Storage テキスト データやバイナリ データなどの 大量の非構造化データを格納するために 最適化されています。 使用方法に応じて最もコスト効率の高い 方法で BLOB データを保存できるように 複数のアクセス層が用意されています。
6. © SIOS Technology Inc. All rights Reserved. ▪ どのアクセス層を利用するのがお得？ ▪ ホット/クール/コールド/アーカイブ ▪ どういったライフサイクルの設定がお得？ ▪ そのアクセス層の変更にもお金かかりますよ！ 6 今日のテーマ
7. © SIOS Technology Inc. All rights Reserved. アクセス層 7
8. © SIOS Technology Inc. All rights Reserved. アクセス層 8 ホット層 頻繁にアクセス または変更するデータの 保存に最適な オンライン層 コールド層 めったにアクセスされない が高速に取得できなければならない データを格納するための オンライン層 クール層 アーカイブ層 めったにアクセスせず、 数時間規模の待機時間の 変動を許容できる データ保存に最適な オフライン層 アクセスおよび変更の 頻度が低いデータの 保存に最適な オンライン層
9. © SIOS Technology Inc. All rights Reserved. アクセス層 9 ストレージコスト Hot Cool Cold Archive (東日本リージョン/LRS)
10. © SIOS Technology Inc. All rights Reserved. アクセス層 10 操作コスト (東日本リージョン/LRS) Hot Cool Cold Archive
11. © SIOS Technology Inc. All rights Reserved. 例えば… 合計データ容量10GB, 総読み取り操作数 10,000回/月 ▪ ストレージコスト 2.8974 [円/GB/月] × 10[GB] ≒ 28.9 [円/月] ▪ 読み取りコスト 0.72 [円/ 10,000操作] × 10,000 [操作/月] ≒ 0.72[円/月] 合計 約 29.6[円/月] 11 コスト (東日本リージョン/LRS) Hot
12. © SIOS Technology Inc. All rights Reserved. 12 コスト (東日本リージョン/LRS) ホット クール コールド アーカイブ ストレージコスト [円/月] 28.9 15.9 6.5 2.9 読み取りコスト [円/月] 0.7 1.8 18.8 ---(※) 合計 29.6[円/月] 17.7 [円/月] 25.3 [円/月] --- [円/月] 合計データ容量10GB, 総読み取り操作数 30,000回/月 Hot Cool Cold Archive ※Archive層の読み取りは一度Hot/Cool/Coldへ移動させる必要あり
13. © SIOS Technology Inc. All rights Reserved. アクセス層 データに対するアクセス頻度を考えて 最適なアクセス層を選択することが重要！ 13
14. © SIOS Technology Inc. All rights Reserved. ライフサイクル 14
15. © SIOS Technology Inc. All rights Reserved. ▪ Blob Storageが提供する一機能 ▪ 指定した条件に基づきアクセス層を自動切換え 例)最終アクセスから30日経過したらクール層へ移動 15 ライフサイクル Hot Cool unagi.png 最終アクセスから 30日経過 unagi.png
16. © SIOS Technology Inc. All rights Reserved. あまり深く考えず 「x日アクセスが無かったら 冷たい方向への層へ順々に移動させよう」 と、ライフサイクル組んでいませんか？？ 16 ライフサイクル
17. © SIOS Technology Inc. All rights Reserved. 気を付けるポイント 1. アクセス層移動時のコスト 2. 早期削除のペナルティ 3. Archive層へのデータアクセス 17
18. © SIOS Technology Inc. All rights Reserved. アクセス層移動時のコスト アクセス層の移動時にもコストが発生 ▪ 温度が下がる層の移動 ▪ 移動先への層への書き込み操作分が課金 Ex. Hot→Cool：Cool層への書き込み操作料金が発生 ▪ 温度が上がる層への移動 ▪ 移動元の層からの読み取り操作分が課金 Ex. Cool→Hot : Cool層への読み込み料金が発生 18
19. © SIOS Technology Inc. All rights Reserved. 早期削除のペナルティ 層に必要な最小日数が経過する前に 削除,上書き,層の移動がされた場合にはペナルティが発生 19 Hot Cool Cold Archive なし 30日 90日 120日 Hot Cool Cold Archive Ex. Cold層への移動後、10日でCool層へ移動させた場合 • (90日 – 10日)分のCold層での保存料金がペナルティとして発生 • もちろんCool層での保存料金も並行して発生 最小日数
20. © SIOS Technology Inc. All rights Reserved. 20 想定外のコスト Hot Cold Hot 1日経過 遷移コスト (書き込み) 遷移コスト (読み込み) 100MB × 10,000件 Hot 100MB × 10,000件 33.8円 ペナルティ(89日分) 18.8円 1,934円
21. © SIOS Technology Inc. All rights Reserved. Archive層へのデータアクセス Archive層の扱いは他の層に比べて若干特殊 ▪ Archive層のBlobは読み取り不可 ▪ 読み取るためにはHot/Cool/Cold層への移動が必要 ▪ 最大15時間を要する ▪ 前述したとおり移動時にもコスト発生 ▪ 保存の最小日数も120日と長い →Archive層への移動は慎重に！ 21
22. © SIOS Technology Inc. All rights Reserved. ライフサイクル機能 ▪ ライフサイクルの設定で完璧に管理できるほど データに対するアクセスは規則的ではないのが現実 ▪ Cold層, Archive層への移動はそれなりにコストが発生する Cold層, Archive層への移動の設定を迷うようなケースは ライフサイクルを使わず、人力での移動でもいいのでは？ (※明らかなバックアップデータなどを除く) 22
23. © SIOS Technology Inc. All rights Reserved. まとめ ▪ データに合わせた適切なアクセス層の選択が必要 ▪ ライフサイクルを利用することで柔軟な運用が可能 ▪ アクセス層の移動にかかるコストも意識して運用す ることが重要 23
24. © SIOS Technology Inc. All rights Reserved. ぜひ無駄のないストレージ運用を！ 24 おしまい