Upgrade to Pro
— share decks privately, control downloads, hide ads and more …
Speaker Deck
Features
Speaker Deck
PRO
Sign in
Sign up for free
Search
Search
AIデータはどうためる、テープアーカイブの復権
Search
kkojima
November 12, 2020
0
140
AIデータはどうためる、テープアーカイブの復権
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 3」
2020.11.12
テープアーカイブについての俯瞰的なおはなし
kkojima
November 12, 2020
Tweet
Share
More Decks by kkojima
See All by kkojima
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 4」カスタムAIモデルの作成からモデルのデプロイまで
kkojima
0
180
最終回、オープンソースの話します
kkojima
1
170
AIに必要なデータをどう送るか、ネットワークを考える
kkojima
0
270
x86 CPUで動くAIアプリ作成で知っていると便利な基礎知識
kkojima
0
560
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 3」事前準備
kkojima
0
250
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 2」インテルがチューンしたPythonとTensorFlow
kkojima
0
1.3k
Dojo ++ 「GPUなしでもここまでできるAI構築シリーズ Part 2」環境構築手順
kkojima
0
350
AVXって何だ?
kkojima
1
600
Featured
See All Featured
Practical Orchestrator
shlominoach
182
9.7k
Scaling GitHub
holman
457
140k
How To Stay Up To Date on Web Technology
chriscoyier
782
250k
Put a Button on it: Removing Barriers to Going Fast.
kastner
58
3.1k
[Rails World 2023 - Day 1 Closing Keynote] - The Magic of Rails
eileencodes
2
1.3k
I Don’t Have Time: Getting Over the Fear to Launch Your Podcast
jcasabona
21
1.6k
Designing Dashboards & Data Visualisations in Web Apps
destraynor
226
51k
Designing Experiences People Love
moore
136
23k
Web development in the modern age
philhawksworth
202
10k
Easily Structure & Communicate Ideas using Wireframe
afnizarnur
187
16k
How to name files
jennybc
65
93k
It's Worth the Effort
3n
180
27k
Transcript
GPUなしでもここまでできるAI構築シリーズ 2020.11.12 「AIデータはどうためる、テープアーカイブの復権」
ネットワーク ゲートウェイ サーバ AI(学習) データ保存 データ 解析・保存 Camera など 5G,
LTE または 有線接続サービス 現地機器 AI(推論) データ保存 ハードウェアの配置 この辺にテープ アーカイブ
どれくらいのデータ転送が必要なのか スマホ⾼画質: 800万画素 30フレーム/秒 製造ラインでの要求: 500万画素 30フレーム/秒 24時間稼働だと⽉に 15-30 TB
程度か 5G通信の規格は 10 Gbps 以上
なんで5G通信が必要? TCP/IP の限界 平均: 9.9 G bit/秒 3.0 PB/⽉ 平均:
16 M bit/秒 0.0046 PB/⽉ 平均: 1.5 G bit/秒 0.5 PB/⽉ 10Gbps 0 2秒 レイテンシ 170ms レイテンシ170ms + パケットロス0.5% 10Gbps 2秒 10Gbps 2秒 0 0 構内接続に類似 遠距離接続に類似 インターネットに類似 レイテンシが⼤きい環境ではデータが思ったように送られない しかもパケットロスがあると壊滅的になる レイテンシ 1ms以下 10 Gbps で測ってみた!
かつてない⼤量データの保管 データ容量単価が1-2桁変わる IBM TS1160 ネイティブ・データ速度: 400 MB/s テープ1巻あたり最⼤20TB ハードウェア圧縮と LTFS
をつかうと もうなしでは仕事ができない LTFSとは: テープをUSBメモリのようにマウントできる ようにした標準規格
テープの中⾝
テープの磁性体 バリウムフェライト • 均質かつ密度の⾼いテープを作る材料 • LTO 6 以降で登場 バリウムフェライトの形状
AI 利⽤で増え続ける画像の保管にテープ https://home.jeita.or.jp/cgi-bin/about/detail.cgi?ca=1&ca2=292 JEITAテープストレージ専⾨委員会 「各種テープ規格のロードマップ -2019年版-」より抜粋
IBM TS3500 Shuttle Complex
None
100 PB / 40 Gbit x 6 80 TB /
100 Gbit バルク転送課題: AWSの解決策例
やっぱりネットワーク経由がいい IBM Cloud AS 36351 NTT Docomo NTT AS 9605
AS 9598 AS 3635 1 AS 3635 1 インターネットや閉域の経路はASというルータがつなぐ それぞれのAS保有者どおしが通⾏料⾦を決めている AS管理者の仲が良ければ通⾏料無料も でもご注意 ! 通⾏料⾦が意外と⾼いことは知られていない クラウドのテープアーカイブサービスの盲点
PeeringDBとIRRで リアルなASと経路情 報はわかる 経路には既得権益の せめぎ合いがある IRR: internet routing registry 経路って何?
参考動画 IBM TS3500 設置⾵景 https://youtu.be/1yUZ81dCqBg Oracle StorageTek SL8500 イメージビデオ https://www.youtube.com/watch?v=tZwl7zSfxCI
テープアーカイブ復権まとめ • クラウドでのデータの持ち出しはネットワーク費⽤に注意 • ⾼級ハードディスク屋にかっこ悪いと狙い撃ちされた (その会社はもうないけど) • クラウドプロバイダーは必ず利⽤している(ユーザにみえない) • AI、ディープラーニングにうまく応⽤したものが天下をとる
おしまい 次回は 12⽉10⽇ 14:00から