OLM R&D祭 2020 11/24 社内ITインフラ・ 運用の工夫を紹介します / matsuri2020-IT

オー・エル・エム・デジタルではアニメ・FullCG・実写の制作のため多くのハードウェア・ソフトウェアを活用しています。ここではSIチーム（ITシステム）による社内インフラ紹介を致します。（中辛）

Transcript

1. 社内ITインフラ・ 運用の工夫を紹介します 石井 裕気 深谷 祐太 四倉 達夫 © OLM Digital, Inc. 1
2. アジェンダ • SIチームミッション • 以前のR&D祭からの変化 • 社内インフラ紹介 – PCスペック – 基幹システム – ソフトウェア • 運用の工夫 – Google Workspace活用 – Deadlineログの可視化 © OLM Digital, Inc. 2
3. SIチーム（ITシステム）のミッション • スタッフのみなさんからの相談や新しい技術の調査、提案（企画） • 必要となる機材、ソフトウェアの選定、運用方法の策定（設計） • 機材の設置やソフトウェアのインストール、テスト（構築） • 機材やソフトウェア、ライセンスの管理（運用） • 困った時のサポート、修理対応（保守） © OLM Digital, Inc. 3
4. 方針 Keep It Simple, Stupid! © OLM Digital, Inc. 4 自分たちが使いこなせるハードウェアを買って設計・運用
5. 前回のR&D祭2016から・・・ • 2016年 – サーバールーム移設 12F→B1 + みかみビル増床 12F – IMAGICA GROUP入り、IT監査開始 • 2018年 – OLM Asiaスタートアップ • 2019年 – みかみビル増床 9F + 拠点を統合 • 2020年 – リモートワークサポート（これは後ほど） © OLM Digital, Inc. 5
6. 2012、2016のR&D祭に比べて・・・ © OLM Digital, Inc. 6 • 2012年 （Netflix向け FULL CG作品制作開始） – Storage : 250TB – Rendering server CPUコア ： 1800 – スタッフ数 ： 約250名（OLM+OLMD） – SIスタッフ数 ： 4名 • 2016年 – Storage : 750TB – Rendering server CPUコア ： 4500+ – スタッフ数 ： 約500名（OLM+OLMD） – SIスタッフ数 ： 5名 • 2020年 – Storage : 1200TB – Rendering server CPUコア ： 8000+ – スタッフ数 ： 約600名（OLM+OLMD） – SIスタッフ数 ： 5名（Asia出向1名を含む） 旧サーバールーム
7. サーバールーム : 2016年まで © OLM Digital, Inc. 7
8. サーバールーム : 2016年 • サーバールームを12FからB1Fに移設 – 事務所スペースの不足により移設が必要に – 機材移設期間 ： 7月～8月の1か月 – 自分たちで機材を移設 • 新しいサーバールーム – 地下倉庫を活用 – ラック ： 42U 34本 – 空調 ： 20馬力床置き型エアコン 4台 – 電力 ： 電灯200V 1250A © OLM Digital, Inc. 8
9. © OLM Digital, Inc. 9 新サーバールーム サーバールーム : 2020年
10. 社内インフラ紹介 : PCスペック © OLM Digital, Inc. 10
11. PCスペック : 3Dデザイナー © OLM Digital, Inc. 11 導入年 2018 2019 2020 モデル Dell Precision Tower 3430 Dell Precision Tower 3431 Dell Precision Tower 3630 Dell Precision Tower 3440 Dell Precision Tower 3640 モニタ Dell U2415 x2 Dell U2415 x2 Dell U2415 x2 解像度 1920x1200、デュアル 1920x1200、デュアル 1920x1200、デュアル OS Windows 10 Pro for Workstations Windows 10 Pro for Workstations Windows 10 Pro for Workstations CPU Intel Xeon E-2146G (6コア/12スレッド) Intel Xeon E-2246G (6コア/12スレッド) Intel Xeon W-1270 (8コア/16スレッド) メモリ 32GB 32GB 64GB ストレージ M.2 NVNe SSD 512GB M.2 NVMe SSD 512GB M.2 NVMe SSD 512GB GPU NVIDIA Quadro P1000 NVIDIA Quadro P1000 / NVIDIA Geforce GTX1080 NVIDIA Quadro P1000 / NVIDIA Quadro RTX4000
12. PCスペック : 3Dデザイナー • 最近のトピック – Nuke向け、Localization用にNVMe SSDを導入 • Compositeの素材データは全てNAS上に存在 • データをローカルストレージに同期して作業を安定・高速化する仕組み • ローカル-NAS間のファイル管理が不要 • NASにデータが同期されるのでレンダリングサーバを効率的に使える © OLM Digital, Inc. 12 NAS ローカルストレージ (NVMe SSD 2TB) レンダリング サーバ Localization レンダリング
13. PCスペック : デジタル作画 © OLM Digital, Inc. 13 導入年 2016 2020 モデル Dell Precision Tower 3420 Dell Precision Tower 3431 モニタ Dell U2415 + Wacom Cintiq 16 Dell U2415 + Wacom Cintiq 16 解像度 1920x1200 + 1920x1080 1920x1200 + 1920x1080 OS Windows 10 Pro Windows 10 Pro for Workstations CPU Intel Xeon E3-1240v5 (4コア/8スレッド) Intel Xeon E-2236 (6コア/12スレッド) メモリ 32GB 32GB ストレージ 2.5inch SATA SSD 256GB M.2 NVMe SSD 512GB GPU NVIDIA Quadro K1200 NVIDIA Quadro P1000
14. PCスペック : デジタル作画 • 最近のトピック – 液晶タブレットのサイズアップ • 13インチ（Cintiq 13HD）→16インチ（Cintiq 16）にリプレース • ドットピッチの拡大により、拡大率を下げて広く使える • Cintiq Proは価格が… © OLM Digital, Inc. 14 Cintiq 13HD Cintiq 16
15. PCスペック : 制作進行、作画(紙) © OLM Digital, Inc. 15 導入年 2018 2019 2020 モデル Dell Latitude 7390 Dell Latitude 5590 Dell Latitude 5300 Dell Latitude 5500 Dell Latitude 5300 Dell Latitude 5500 モニタ 7390：13.3インチ 5590：15.6インチ 5300：13.3インチ 5500：15.6インチ 5300：13.3インチ 5500：15.6インチ 解像度 1920 x 1080 1920 x 1080 1920 x 1080 OS Windows 10 Pro Windows 10 Pro Windows 10 Pro CPU Intel Core i3-8130U Intel Core i3-8145U Intel Core i5-8265U メモリ 8GB 16GB 16GB ストレージ M.2 SATA SSD 256GB M.2 NVMe SSD 256GB M.2 NVMe SSD 256GB 無線LAN Intel Wireless-AC 8265 Intel Wireless-AC 9560 Intel Wireless-AC 9560
16. PCスペック : 制作進行、作画(紙) • 最近のトピック – デジタル作画への対応 • 紙との並行使用 • 液晶タブレットを接続してデジタルの作業もできるように – 年々スペックを強化 • 2015年までは… ‐ 解像度1366x768/Core i3/メモリ4GB/HDDといった悲しいスペック… • 限られた予算内で徐々に増強 ‐ 今では1920x1080/Core i5/メモリ16GB/NVMe SSDに！ © OLM Digital, Inc. 16
17. 社内インフラ紹介 : 基幹システム © OLM Digital, Inc. 17
18. 基幹システム : ネットワーク • 前回のR&D祭2016からの変化 – 2017年 ： 基幹ネットワークの更新 • コア ： Juniper QFX5100-48S Virtual Chassis • ネットワークOS「Junos」が運用しやすい • ファイバーの配線に苦労 – 2018年 ： 無線LANの更新 • ArubaからAerohiveに変更 • クラウド上での接続ログ分析が優秀 • プライベートPSK運用（デバイスごとに異なるパスワード） • Extreme Networksに買収されて先行きが怪しい… © OLM Digital, Inc. 18
19. 基幹システム : ストレージ • 前回のR&D祭2016からの変化 – 2017年 ： PowerScale（Isilon） Gen5を導入 • NL410 5ノード （Rawサイズ 1400TB） • 以前と比べてSMBの性能がかなり向上 – 2018年 ： PowerScale Gen6を導入 • H500 6ノード （Rawサイズ 720TB） • レンダリング速度の向上 PowerScaleの導入でパフォーマンスや安定性が解決 © OLM Digital, Inc. 19
20. 基幹システム : その他 • 前回のR&D祭2016からの変化 – 仮想化環境 • 2018年： VxRail E560を導入 • FirmwareやOSのアップデートの手間が大きく軽減 – ファイル転送システム • 2019年 ： RaySyncを導入 • 海外のような遅延が大きいネットワークでも速い – レンダリングサーバ • 2017年 26台、 2018年 48台、 2019年 22台増設で計301台に • 2018年からメモリ容量は64GB→128GBに © OLM Digital, Inc. 20 https://www.raysync.io/
21. 社内インフラ紹介 : ソフトウェア © OLM Digital, Inc. 21
22. 商用ソフトウェア(1) 列挙すると結構あります。。。 • Autodesk Maya（88） M&E（61） • Adobe Substance Suite（ETLA 15） • Adobe After Effects （160） • The Foundry Nuke/Nuke Studio/Nuke Render • SideFX Houdini FX/Engine • Golaem [群衆] • Marvelous Designer [服] • Avid Media Composer • Blackmagic Design DaVinci Resolve Studio • Adobe Photoshop（185）・Affinity Photo（210） • Adobe Illustrator（10）・Affinity Designer（10） • AWS/Thinkbox Deadline（330） • Autodesk Shotgun （215） • ToonBoom Harmony/Storyboard Pro • CELSYS CLIPSTUDIO PAIHNT EX （100） • Unreal Engine 4 – non-game Enterprise © OLM Digital, Inc. 22
23. 商用ソフトウェア(1) 最近の傾向 • Autodesk Maya（88） M&E（61） • Adobe Substance Suite（ETLA 15） • Adobe After Effects （ETLA 160） • The Foundry Nuke/Nuke Studio/Nuke Render • SideFX Houdini FX/Engine • Golaem [群衆] • Marvelous Designer [服] • Avid Media Composer • Blackmagic Design DaVinci Resolve Studio • Adobe Photoshop（ETLA 185）・Affinity Photo（210） • Adobe Illustrator（ETLA 10）・Affinity Designer（10） • AWS/Thinkbox Deadline（330） • Autodesk Shotgun （215） • ToonBoom Harmony/Storyboard Pro • CELSYS CLIPSTUDIO PAIHNT EX （100） • Unreal Engine 4 – non-game Enterprise © OLM Digital, Inc. 23 • Subscription化、ユーザライセンス化 – Autodesk、Adobe 他 • 使えるVersionの制限 – After Effects：2020~CC2018 – Maya：過去5バージョン • SubstanceがAdobeファミリーに • Affinity Photo/Designer • 利用料無償のソフトウェアの台頭 – Blender – DaVinci Resolve – Unreal Engine – ProRender
24. 商用ソフトウェア(2) 事務系 その他 • Microsoft Office – Microsoft 365の契約は少ない – MS OfficeはVolume Licenseがほとんど • PDF – Acrobat Pro DC ： 契約書類向け – PDF-Xchange Editor : 互換 • 便利系 – 画面キャプチャー Screenpresso – 再生プレイヤー Keyframe Pro （注釈OK） – 画像ビューアー XnView – ファイルリネーマー ReNamer Pro • 開発用 – Visual Studio Professional © OLM Digital, Inc. 24 http://zurbrigg.com/keyframe-pro https://www.xnview.com/
25. 運用の工夫 © OLM Digital, Inc. 25
26. いろいろと工夫しています • ソフトウェア・ハードウェアを運用するだけではなく工夫も – 例えば • 作業の効率化・自動化 • ログの分析 – これらをスクリプト等使って実現 • ここでは2つの例を紹介 – Google Workspace活用 – Deadline （Job管理ソフト） © OLM Digital, Inc. 26
27. 運用の工夫 : Google Workspace活用 新卒入社1年目の冬 Google Workspace(G Suite)の管理を引き継ぐ事に… 管理コンソールでの状況把握は、熾烈を極めた。 • 何が「現状を維持できている状態」なのか分からない • 管理コンソールのフィルタ機能が要件と合わない、癖がある • 細かい情報は各ユーザページを開かなければ見えない → 様々な条件から状況を知りたい、課題を洗い出したい © OLM Digital, Inc. 27
28. 運用の工夫 : Google Workspace活用 • Admin SDKのDirectory APIを使用し アカウントやグループの情報をスプレッドシートへ抽出・結合 → フィルタ機能を使用し、様々な条件で閲覧可能に © OLM Digital, Inc. 28
29. 運用の工夫 : Google Workspace活用 • Google アカウント/Google グループの発行自動化 → 申請受付～発行・通知までGoogle Workspace上で完結。 © OLM Digital, Inc. 29 アカウント毎に異なるステータス管理に対応 メールテンプレートはドキュメントを使用
30. 運用の工夫 : Google Workspace活用 • 2018年 : Active Directory 旧ドメインから新ドメインへの移行 – 旧ドメインは.Localドメイン問題が存在 (mDNS非準拠問題) – AD環境を整理したい！ – 移行コストを抑えるため自分たちで移行作業 • Google Workspaceを活用 © OLM Digital, Inc. 30
31. 運用の工夫 : Google Workspace活用（AD移行） © OLM Digital, Inc. 31 CSVの「GUI編集ツール」としてスプレッドシートを活用 • 引き継ぐ情報の精査 (88項目→20項目) • 登録時期による表記揺れの統一など CSVDEコマンドにて CSV形式で全件エクスポート 取り込み処理をPythonで実装 ・アカウントの作成 ・RFC2307属性を中心に引き継ぎ ・移行前と同様のグループへの参加 ・パスワードの設定 CSV >_ CSV 旧ドメイン.local 新ドメイン.jp
32. 運用の工夫 : Google Workspace活用（AD移行） © OLM Digital, Inc. 32 PythonでCSVデータを直接処理せず、 スプレッドシートと言う人間が触りやすい状態を挟むことで… 新ドメインで取り込むべき「理想の状態」とは何かを洗い出し 負の遺産と向き合い改善できた。 Pythonでデータ加工を行わない代わりに 取り込み部分の開発に注力できた。 >_ 旧ドメイン.local 新ドメイン.jp CSV
33. 運用の工夫 : Deadlineログの可視化 • Deadline（レンダリングサーバー Job管理システム）で必要な機能 – どの作品がどの割合を使用しているのか？ – 誰がどの程度使っているのか？ – どのJobがどの程度使っているのか？ • Deadline APIを使ってログ収集＋可視化を目標 – 時系列データを格納するのが得意な InfluxDB で5分ごとの利用率を獲得 – かっこよい可視化ツール Grafana で可視化Webを構築 © OLM Digital, Inc. 33
34. 運用の工夫 : Deadlineログの可視化 © OLM Digital, Inc. 34
35. 運用の工夫 : Deadlineログの可視化 • Deadlineのログを抽出することで・・・ • 将来を見据えて – 現在オンプレのレンダリングサーバーが将来クラウド化 – クラウド化 ＝ 使ったら使っただけ払う – 各作品毎の使用率を算出 • 構築興味がありましたら是非お声がけ下さい © OLM Digital, Inc. 35
36. まとめ © OLM Digital, Inc. 36
37. まとめ • OLMで使っているもの・IT管理を紹介 – 年々変化、新機能、トレンド、運用方法 – 特に今年は大きな変化が・・・ この後のプレゼンで – 常に情報収集・情報共有（社内・社外も）が大切 • 工夫・やりくり – 機器の導入 – 運用 • ITエンジニアの人数が少なすぎる！！ – 新卒・中途の方 大歓迎！！ – OLM Webページから お申し込みを！ © OLM Digital, Inc. 37
38. 聴講いただきありがとうございました Q&A © OLM Digital, Inc. 38