Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIデータはどうためる、テープアーカイブの復権
Search
kkojima
November 12, 2020
0
150
AIデータはどうためる、テープアーカイブの復権
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 3」
2020.11.12
テープアーカイブについての俯瞰的なおはなし
kkojima
November 12, 2020
Tweet
Share
More Decks by kkojima
See All by kkojima
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 4」カスタムAIモデルの作成からモデルのデプロイまで
kkojima
0
220
最終回、オープンソースの話します
kkojima
1
210
AIに必要なデータをどう送るか、ネットワークを考える
kkojima
0
310
x86 CPUで動くAIアプリ作成で知っていると便利な基礎知識
kkojima
0
730
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 3」事前準備
kkojima
0
260
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 2」インテルがチューンしたPythonとTensorFlow
kkojima
0
1.4k
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 2」環境構築手順
kkojima
0
370
AVXって何だ?
kkojima
1
770
Featured
See All Featured
Templates, Plugins, & Blocks: Oh My! Creating the theme that thinks of everything
marktimemedia
30
2.3k
No one is an island. Learnings from fostering a developers community.
thoeni
21
3.2k
Documentation Writing (for coders)
carmenintech
68
4.6k
CSS Pre-Processors: Stylus, Less & Sass
bermonpainter
356
29k
Become a Pro
speakerdeck
PRO
26
5.2k
Embracing the Ebb and Flow
colly
84
4.6k
Facilitating Awesome Meetings
lara
53
6.3k
GitHub's CSS Performance
jonrohan
1030
460k
It's Worth the Effort
3n
184
28k
Dealing with People You Can't Stand - Big Design 2015
cassininazir
366
25k
Design and Strategy: How to Deal with People Who Don’t "Get" Design
morganepeng
129
19k
Building an army of robots
kneath
303
45k
Transcript
GPUなしでもここまでできるAI構築シリーズ 2020.11.12 「AIデータはどうためる、テープアーカイブの復権」
ネットワーク ゲートウェイ サーバ AI(学習) データ保存 データ 解析・保存 Camera など 5G,
LTE または 有線接続サービス 現地機器 AI(推論) データ保存 ハードウェアの配置 この辺にテープ アーカイブ
どれくらいのデータ転送が必要なのか スマホ⾼画質: 800万画素 30フレーム/秒 製造ラインでの要求: 500万画素 30フレーム/秒 24時間稼働だと⽉に 15-30 TB
程度か 5G通信の規格は 10 Gbps 以上
なんで5G通信が必要? TCP/IP の限界 平均: 9.9 G bit/秒 3.0 PB/⽉ 平均:
16 M bit/秒 0.0046 PB/⽉ 平均: 1.5 G bit/秒 0.5 PB/⽉ 10Gbps 0 2秒 レイテンシ 170ms レイテンシ170ms + パケットロス0.5% 10Gbps 2秒 10Gbps 2秒 0 0 構内接続に類似 遠距離接続に類似 インターネットに類似 レイテンシが⼤きい環境ではデータが思ったように送られない しかもパケットロスがあると壊滅的になる レイテンシ 1ms以下 10 Gbps で測ってみた!
かつてない⼤量データの保管 データ容量単価が1-2桁変わる IBM TS1160 ネイティブ・データ速度: 400 MB/s テープ1巻あたり最⼤20TB ハードウェア圧縮と LTFS
をつかうと もうなしでは仕事ができない LTFSとは: テープをUSBメモリのようにマウントできる ようにした標準規格
テープの中⾝
テープの磁性体 バリウムフェライト • 均質かつ密度の⾼いテープを作る材料 • LTO 6 以降で登場 バリウムフェライトの形状
AI 利⽤で増え続ける画像の保管にテープ https://home.jeita.or.jp/cgi-bin/about/detail.cgi?ca=1&ca2=292 JEITAテープストレージ専⾨委員会 「各種テープ規格のロードマップ -2019年版-」より抜粋
IBM TS3500 Shuttle Complex
None
100 PB / 40 Gbit x 6 80 TB /
100 Gbit バルク転送課題: AWSの解決策例
やっぱりネットワーク経由がいい IBM Cloud AS 36351 NTT Docomo NTT AS 9605
AS 9598 AS 3635 1 AS 3635 1 インターネットや閉域の経路はASというルータがつなぐ それぞれのAS保有者どおしが通⾏料⾦を決めている AS管理者の仲が良ければ通⾏料無料も でもご注意 ! 通⾏料⾦が意外と⾼いことは知られていない クラウドのテープアーカイブサービスの盲点
PeeringDBとIRRで リアルなASと経路情 報はわかる 経路には既得権益の せめぎ合いがある IRR: internet routing registry 経路って何?
参考動画 IBM TS3500 設置⾵景 https://youtu.be/1yUZ81dCqBg Oracle StorageTek SL8500 イメージビデオ https://www.youtube.com/watch?v=tZwl7zSfxCI
テープアーカイブ復権まとめ • クラウドでのデータの持ち出しはネットワーク費⽤に注意 • ⾼級ハードディスク屋にかっこ悪いと狙い撃ちされた (その会社はもうないけど) • クラウドプロバイダーは必ず利⽤している(ユーザにみえない) • AI、ディープラーニングにうまく応⽤したものが天下をとる
おしまい 次回は 12⽉10⽇ 14:00から