Upgrade to Pro — share decks privately, control downloads, hide ads and more …

OLM R&D祭 2020 11/24 社内ITインフラ・ 運用の工夫を紹介します / matsuri2020-IT

OLM R&D祭 2020 11/24 社内ITインフラ・ 運用の工夫を紹介します / matsuri2020-IT

オー・エル・エム・デジタルではアニメ・FullCG・実写の制作のため多くのハードウェア・ソフトウェアを活用しています。ここではSIチーム(ITシステム)による社内インフラ紹介を致します。(中辛)

OLM Digital R&D

December 08, 2020
Tweet

More Decks by OLM Digital R&D

Other Decks in Technology

Transcript

  1. 社内ITインフラ・
    運用の工夫を紹介します
    石井 裕気
    深谷 祐太
    四倉 達夫
    © OLM Digital, Inc. 1

    View full-size slide

  2. アジェンダ
    • SIチームミッション
    • 以前のR&D祭からの変化
    • 社内インフラ紹介
    – PCスペック
    – 基幹システム
    – ソフトウェア
    • 運用の工夫
    – Google Workspace活用
    – Deadlineログの可視化
    © OLM Digital, Inc. 2

    View full-size slide

  3. SIチーム(ITシステム)のミッション
    • スタッフのみなさんからの相談や新しい技術の調査、提案(企画)
    • 必要となる機材、ソフトウェアの選定、運用方法の策定(設計)
    • 機材の設置やソフトウェアのインストール、テスト(構築)
    • 機材やソフトウェア、ライセンスの管理(運用)
    • 困った時のサポート、修理対応(保守)
    © OLM Digital, Inc. 3

    View full-size slide

  4. 方針
    Keep It Simple, Stupid!
    © OLM Digital, Inc. 4
    自分たちが使いこなせるハードウェアを買って設計・運用

    View full-size slide

  5. 前回のR&D祭2016から・・・
    • 2016年
    – サーバールーム移設 12F→B1 + みかみビル増床 12F
    – IMAGICA GROUP入り、IT監査開始
    • 2018年
    – OLM Asiaスタートアップ
    • 2019年
    – みかみビル増床 9F + 拠点を統合
    • 2020年
    – リモートワークサポート(これは後ほど)
    © OLM Digital, Inc. 5

    View full-size slide

  6. 2012、2016のR&D祭に比べて・・・
    © OLM Digital, Inc. 6
    • 2012年 (Netflix向け FULL CG作品制作開始)
    – Storage : 250TB
    – Rendering server CPUコア : 1800
    – スタッフ数 : 約250名(OLM+OLMD)
    – SIスタッフ数 : 4名
    • 2016年
    – Storage : 750TB
    – Rendering server CPUコア : 4500+
    – スタッフ数 : 約500名(OLM+OLMD)
    – SIスタッフ数 : 5名
    • 2020年
    – Storage : 1200TB
    – Rendering server CPUコア : 8000+
    – スタッフ数 : 約600名(OLM+OLMD)
    – SIスタッフ数 : 5名(Asia出向1名を含む) 旧サーバールーム

    View full-size slide

  7. サーバールーム : 2016年まで
    © OLM Digital, Inc. 7

    View full-size slide

  8. サーバールーム : 2016年
    • サーバールームを12FからB1Fに移設
    – 事務所スペースの不足により移設が必要に
    – 機材移設期間 : 7月~8月の1か月
    – 自分たちで機材を移設
    • 新しいサーバールーム
    – 地下倉庫を活用
    – ラック : 42U 34本
    – 空調 : 20馬力床置き型エアコン 4台
    – 電力 : 電灯200V 1250A
    © OLM Digital, Inc. 8

    View full-size slide

  9. © OLM Digital, Inc. 9
    新サーバールーム
    サーバールーム : 2020年

    View full-size slide

  10. 社内インフラ紹介 : PCスペック
    © OLM Digital, Inc. 10

    View full-size slide

  11. PCスペック : 3Dデザイナー
    © OLM Digital, Inc. 11
    導入年 2018 2019 2020
    モデル Dell Precision Tower 3430
    Dell Precision Tower 3431
    Dell Precision Tower 3630
    Dell Precision Tower 3440
    Dell Precision Tower 3640
    モニタ Dell U2415 x2 Dell U2415 x2 Dell U2415 x2
    解像度 1920x1200、デュアル 1920x1200、デュアル 1920x1200、デュアル
    OS
    Windows 10 Pro for
    Workstations
    Windows 10 Pro for
    Workstations
    Windows 10 Pro for
    Workstations
    CPU
    Intel Xeon E-2146G
    (6コア/12スレッド)
    Intel Xeon E-2246G
    (6コア/12スレッド)
    Intel Xeon W-1270
    (8コア/16スレッド)
    メモリ 32GB 32GB 64GB
    ストレージ M.2 NVNe SSD 512GB M.2 NVMe SSD 512GB M.2 NVMe SSD 512GB
    GPU NVIDIA Quadro P1000
    NVIDIA Quadro P1000 /
    NVIDIA Geforce GTX1080
    NVIDIA Quadro P1000 /
    NVIDIA Quadro RTX4000

    View full-size slide

  12. PCスペック : 3Dデザイナー
    • 最近のトピック
    – Nuke向け、Localization用にNVMe SSDを導入
    • Compositeの素材データは全てNAS上に存在
    • データをローカルストレージに同期して作業を安定・高速化する仕組み
    • ローカル-NAS間のファイル管理が不要
    • NASにデータが同期されるのでレンダリングサーバを効率的に使える
    © OLM Digital, Inc. 12
    NAS
    ローカルストレージ
    (NVMe SSD 2TB)
    レンダリング
    サーバ
    Localization レンダリング

    View full-size slide

  13. PCスペック : デジタル作画
    © OLM Digital, Inc. 13
    導入年 2016 2020
    モデル Dell Precision Tower 3420 Dell Precision Tower 3431
    モニタ Dell U2415 + Wacom Cintiq 16 Dell U2415 + Wacom Cintiq 16
    解像度 1920x1200 + 1920x1080 1920x1200 + 1920x1080
    OS Windows 10 Pro Windows 10 Pro for Workstations
    CPU
    Intel Xeon E3-1240v5
    (4コア/8スレッド)
    Intel Xeon E-2236
    (6コア/12スレッド)
    メモリ 32GB 32GB
    ストレージ 2.5inch SATA SSD 256GB M.2 NVMe SSD 512GB
    GPU NVIDIA Quadro K1200 NVIDIA Quadro P1000

    View full-size slide

  14. PCスペック : デジタル作画
    • 最近のトピック
    – 液晶タブレットのサイズアップ
    • 13インチ(Cintiq 13HD)→16インチ(Cintiq 16)にリプレース
    • ドットピッチの拡大により、拡大率を下げて広く使える
    • Cintiq Proは価格が…
    © OLM Digital, Inc. 14
    Cintiq 13HD Cintiq 16

    View full-size slide

  15. PCスペック : 制作進行、作画(紙)
    © OLM Digital, Inc. 15
    導入年 2018 2019 2020
    モデル
    Dell Latitude 7390
    Dell Latitude 5590
    Dell Latitude 5300
    Dell Latitude 5500
    Dell Latitude 5300
    Dell Latitude 5500
    モニタ
    7390:13.3インチ
    5590:15.6インチ
    5300:13.3インチ
    5500:15.6インチ
    5300:13.3インチ
    5500:15.6インチ
    解像度 1920 x 1080 1920 x 1080 1920 x 1080
    OS Windows 10 Pro Windows 10 Pro Windows 10 Pro
    CPU Intel Core i3-8130U Intel Core i3-8145U Intel Core i5-8265U
    メモリ 8GB 16GB 16GB
    ストレージ M.2 SATA SSD 256GB M.2 NVMe SSD 256GB M.2 NVMe SSD 256GB
    無線LAN Intel Wireless-AC 8265 Intel Wireless-AC 9560 Intel Wireless-AC 9560

    View full-size slide

  16. PCスペック : 制作進行、作画(紙)
    • 最近のトピック
    – デジタル作画への対応
    • 紙との並行使用
    • 液晶タブレットを接続してデジタルの作業もできるように
    – 年々スペックを強化
    • 2015年までは…
    ‐ 解像度1366x768/Core i3/メモリ4GB/HDDといった悲しいスペック…
    • 限られた予算内で徐々に増強
    ‐ 今では1920x1080/Core i5/メモリ16GB/NVMe SSDに!
    © OLM Digital, Inc. 16

    View full-size slide

  17. 社内インフラ紹介 : 基幹システム
    © OLM Digital, Inc. 17

    View full-size slide

  18. 基幹システム : ネットワーク
    • 前回のR&D祭2016からの変化
    – 2017年 : 基幹ネットワークの更新
    • コア : Juniper QFX5100-48S Virtual Chassis
    • ネットワークOS「Junos」が運用しやすい
    • ファイバーの配線に苦労
    – 2018年 : 無線LANの更新
    • ArubaからAerohiveに変更
    • クラウド上での接続ログ分析が優秀
    • プライベートPSK運用(デバイスごとに異なるパスワード)
    • Extreme Networksに買収されて先行きが怪しい…
    © OLM Digital, Inc. 18

    View full-size slide

  19. 基幹システム : ストレージ
    • 前回のR&D祭2016からの変化
    – 2017年 : PowerScale(Isilon) Gen5を導入
    • NL410 5ノード (Rawサイズ 1400TB)
    • 以前と比べてSMBの性能がかなり向上
    – 2018年 : PowerScale Gen6を導入
    • H500 6ノード (Rawサイズ 720TB)
    • レンダリング速度の向上
    PowerScaleの導入でパフォーマンスや安定性が解決
    © OLM Digital, Inc. 19

    View full-size slide

  20. 基幹システム : その他
    • 前回のR&D祭2016からの変化
    – 仮想化環境
    • 2018年: VxRail E560を導入
    • FirmwareやOSのアップデートの手間が大きく軽減
    – ファイル転送システム
    • 2019年 : RaySyncを導入
    • 海外のような遅延が大きいネットワークでも速い
    – レンダリングサーバ
    • 2017年 26台、 2018年 48台、 2019年 22台増設で計301台に
    • 2018年からメモリ容量は64GB→128GBに
    © OLM Digital, Inc. 20
    https://www.raysync.io/

    View full-size slide

  21. 社内インフラ紹介 : ソフトウェア
    © OLM Digital, Inc. 21

    View full-size slide

  22. 商用ソフトウェア(1) 列挙すると結構あります。。。
    • Autodesk Maya(88) M&E(61)
    • Adobe Substance Suite(ETLA 15)
    • Adobe After Effects (160)
    • The Foundry Nuke/Nuke Studio/Nuke Render
    • SideFX Houdini FX/Engine
    • Golaem [群衆]
    • Marvelous Designer [服]
    • Avid Media Composer
    • Blackmagic Design DaVinci Resolve Studio
    • Adobe Photoshop(185)・Affinity Photo(210)
    • Adobe Illustrator(10)・Affinity Designer(10)
    • AWS/Thinkbox Deadline(330)
    • Autodesk Shotgun (215)
    • ToonBoom Harmony/Storyboard Pro
    • CELSYS CLIPSTUDIO PAIHNT EX (100)
    • Unreal Engine 4 – non-game Enterprise
    © OLM Digital, Inc. 22

    View full-size slide

  23. 商用ソフトウェア(1) 最近の傾向
    • Autodesk Maya(88) M&E(61)
    • Adobe Substance Suite(ETLA 15)
    • Adobe After Effects (ETLA 160)
    • The Foundry Nuke/Nuke Studio/Nuke Render
    • SideFX Houdini FX/Engine
    • Golaem [群衆]
    • Marvelous Designer [服]
    • Avid Media Composer
    • Blackmagic Design DaVinci Resolve Studio
    • Adobe Photoshop(ETLA 185)・Affinity Photo(210)
    • Adobe Illustrator(ETLA 10)・Affinity Designer(10)
    • AWS/Thinkbox Deadline(330)
    • Autodesk Shotgun (215)
    • ToonBoom Harmony/Storyboard Pro
    • CELSYS CLIPSTUDIO PAIHNT EX (100)
    • Unreal Engine 4 – non-game Enterprise
    © OLM Digital, Inc. 23
    • Subscription化、ユーザライセンス化
    – Autodesk、Adobe 他
    • 使えるVersionの制限
    – After Effects:2020~CC2018
    – Maya:過去5バージョン
    • SubstanceがAdobeファミリーに
    • Affinity Photo/Designer
    • 利用料無償のソフトウェアの台頭
    – Blender
    – DaVinci Resolve
    – Unreal Engine
    – ProRender

    View full-size slide

  24. 商用ソフトウェア(2) 事務系 その他
    • Microsoft Office
    – Microsoft 365の契約は少ない
    – MS OfficeはVolume Licenseがほとんど
    • PDF
    – Acrobat Pro DC : 契約書類向け
    – PDF-Xchange Editor : 互換
    • 便利系
    – 画面キャプチャー Screenpresso
    – 再生プレイヤー Keyframe Pro (注釈OK)
    – 画像ビューアー XnView
    – ファイルリネーマー ReNamer Pro
    • 開発用
    – Visual Studio Professional
    © OLM Digital, Inc. 24
    http://zurbrigg.com/keyframe-pro
    https://www.xnview.com/

    View full-size slide

  25. 運用の工夫
    © OLM Digital, Inc. 25

    View full-size slide

  26. いろいろと工夫しています
    • ソフトウェア・ハードウェアを運用するだけではなく工夫も
    – 例えば
    • 作業の効率化・自動化
    • ログの分析
    – これらをスクリプト等使って実現
    • ここでは2つの例を紹介
    – Google Workspace活用
    – Deadline (Job管理ソフト)
    © OLM Digital, Inc. 26

    View full-size slide

  27. 運用の工夫 : Google Workspace活用
    新卒入社1年目の冬
    Google Workspace(G Suite)の管理を引き継ぐ事に…
    管理コンソールでの状況把握は、熾烈を極めた。
    • 何が「現状を維持できている状態」なのか分からない
    • 管理コンソールのフィルタ機能が要件と合わない、癖がある
    • 細かい情報は各ユーザページを開かなければ見えない
    → 様々な条件から状況を知りたい、課題を洗い出したい
    © OLM Digital, Inc. 27

    View full-size slide

  28. 運用の工夫 : Google Workspace活用
    • Admin SDKのDirectory APIを使用し
    アカウントやグループの情報をスプレッドシートへ抽出・結合
    → フィルタ機能を使用し、様々な条件で閲覧可能に
    © OLM Digital, Inc. 28

    View full-size slide

  29. 運用の工夫 : Google Workspace活用
    • Google アカウント/Google グループの発行自動化
    → 申請受付~発行・通知までGoogle Workspace上で完結。
    © OLM Digital, Inc. 29
    アカウント毎に異なるステータス管理に対応 メールテンプレートはドキュメントを使用

    View full-size slide

  30. 運用の工夫 : Google Workspace活用
    • 2018年 : Active Directory 旧ドメインから新ドメインへの移行
    – 旧ドメインは.Localドメイン問題が存在 (mDNS非準拠問題)
    – AD環境を整理したい!
    – 移行コストを抑えるため自分たちで移行作業
    • Google Workspaceを活用
    © OLM Digital, Inc. 30

    View full-size slide

  31. 運用の工夫 : Google Workspace活用(AD移行)
    © OLM Digital, Inc. 31
    CSVの「GUI編集ツール」としてスプレッドシートを活用
    • 引き継ぐ情報の精査 (88項目→20項目)
    • 登録時期による表記揺れの統一など
    CSVDEコマンドにて
    CSV形式で全件エクスポート
    取り込み処理をPythonで実装
    ・アカウントの作成
    ・RFC2307属性を中心に引き継ぎ
    ・移行前と同様のグループへの参加
    ・パスワードの設定
    CSV
    >_ CSV
    旧ドメイン.local 新ドメイン.jp

    View full-size slide

  32. 運用の工夫 : Google Workspace活用(AD移行)
    © OLM Digital, Inc. 32
    PythonでCSVデータを直接処理せず、
    スプレッドシートと言う人間が触りやすい状態を挟むことで…
    新ドメインで取り込むべき「理想の状態」とは何かを洗い出し
    負の遺産と向き合い改善できた。
    Pythonでデータ加工を行わない代わりに
    取り込み部分の開発に注力できた。
    >_
    旧ドメイン.local 新ドメイン.jp
    CSV

    View full-size slide

  33. 運用の工夫 : Deadlineログの可視化
    • Deadline(レンダリングサーバー Job管理システム)で必要な機能
    – どの作品がどの割合を使用しているのか?
    – 誰がどの程度使っているのか?
    – どのJobがどの程度使っているのか?
    • Deadline APIを使ってログ収集+可視化を目標
    – 時系列データを格納するのが得意な InfluxDB で5分ごとの利用率を獲得
    – かっこよい可視化ツール Grafana で可視化Webを構築
    © OLM Digital, Inc. 33

    View full-size slide

  34. 運用の工夫 : Deadlineログの可視化
    © OLM Digital, Inc. 34

    View full-size slide

  35. 運用の工夫 : Deadlineログの可視化
    • Deadlineのログを抽出することで・・・
    • 将来を見据えて
    – 現在オンプレのレンダリングサーバーが将来クラウド化
    – クラウド化 = 使ったら使っただけ払う
    – 各作品毎の使用率を算出
    • 構築興味がありましたら是非お声がけ下さい
    © OLM Digital, Inc. 35

    View full-size slide

  36. まとめ
    © OLM Digital, Inc. 36

    View full-size slide

  37. まとめ
    • OLMで使っているもの・IT管理を紹介
    – 年々変化、新機能、トレンド、運用方法
    – 特に今年は大きな変化が・・・ この後のプレゼンで
    – 常に情報収集・情報共有(社内・社外も)が大切
    • 工夫・やりくり
    – 機器の導入
    – 運用
    • ITエンジニアの人数が少なすぎる!!
    – 新卒・中途の方 大歓迎!!
    – OLM Webページから お申し込みを!
    © OLM Digital, Inc. 37

    View full-size slide

  38. 聴講いただきありがとうございました
    Q&A
    © OLM Digital, Inc. 38

    View full-size slide