マイナビクラウドとその中の人たち / Mynavi Cloud and Insider

Transcript

1. 商用サービス提供基盤
   「マイナビクラウド」
   と、その中の人たち
   2019/07/26
   Mynavi Tech Night #2
   

   View Slide

2. わたくし
   • 名前
   • しもべっぷ りょう
   • 職業
   • マイナビクラウドの中の人
   

   View Slide

3. 今日話すこと
   • マイナビクラウドについて
   • マイナビクラウドの中の人について
   

   View Slide

4. マイナビクラウドとは
   • マイナビのサービスの大半が乗っかっているプ
   ライベートクラウド
   • だいたい中の人だけで運用している
   

   View Slide

5. 中の人たちとは
   • システム統括本部に所属
   システム統括本部
   ITソリューション統括部
   業務ソリューション部 システム基盤部
   IT戦略推進部
   商用基盤チーム
   商用基盤1課 商用基盤2課
   ITシステム開発課 Webマーケティング課
   IT戦略事業部 HRシステム事業部 OO事業部 XX事業部 …
   ITソリューション部
   

   View Slide

6. 中の人たちとは
   商用基盤1課
   • 主にハードウェア
   • 仮想化基盤
   • ストレージ
   • ネットワーク
   • セキュリティ
   商用基盤2課
   • 主にソフトウェア
   • 共通機能(DNS、LDAP)
   • CSPO
   • SaaS検証
   • 運用自動化(Ansible)
   • 事業部インフラサポート
   

   View Slide

7. 中の人たちとは
   商用基盤1課
   • 主にハードウェア
   • 仮想化基盤
   • ストレージ
   • ネットワーク
   • セキュリティ
   商用基盤2課
   • 主にソフトウェア
   • 共通機能(DNS、LDAP)
   • CSPO
   • SaaS検証
   • 運用自動化(Ansible)
   • 事業部インフラサポート
   

   View Slide

8. 商用基盤1課
   • 現在6名
   • サーバーチームとネットワークチームに分かれ
   ている
   サーバーチーム
   • 仮想化基盤
   • ストレージ
   ネットワークチーム
   • ネットワーク
   • セキュリティ
   課長
   

   View Slide

9. 構成(一部略)
   DC1
   DC2
   …
   …
   

   View Slide

10. 仮想化基盤
    • プロプラ製品を利用
    

    View Slide

11. 仮想化基盤
    • マイナビクラウド維持費の振り分け実装
    

    View Slide

12. ネットワーク
    • 手作業多し
    • やってても自動化1.0(もしくはそれ未満)
    

    View Slide

13. せ
    め
    て
    Ｔ
    Ｔ
    Ｌ
    使
    わ
    せ
    て
    手
    作
    業
    に
    は
    あ
    た
    た
    か
    み
    あ
    る
    Ｏ
    Ｓ
    Ｓ
    な
    ん
    て
    信
    用
    で
    き
    な
    い
    自動化…
    障
    害
    の
    気
    配
    を
    全
    身
    で
    感
    じ
    ろ
    

    View Slide

14. せ
    め
    て
    Ｔ
    Ｔ
    Ｌ
    使
    わ
    せ
    て
    手
    作
    業
    に
    は
    あ
    た
    た
    か
    み
    あ
    る
    Ｏ
    Ｓ
    Ｓ
    な
    ん
    て
    信
    用
    で
    き
    な
    い
    自動化…
    障
    害
    の
    気
    配
    を
    全
    身
    で
    感
    じ
    ろ
    

    View Slide

15. 例えば: ロードバランサー
    • 現状
    • 中の人 or IT ソリューション部員が GUI で操作
    administrator
    サービスDのVSをいじろう
    と思ったら、
    サービスCのVSだった…
    

    View Slide

16. 例えば: ロードバランサー
    • やりたいこと
    • 設定内容の版数管理
    • 「最小権限の法則」の徹底
    サービスDのオブジェクトだけが
    いじれるようになってないのが悪い
    

    View Slide

17. お待たせしました
    

    View Slide

18. 例えば: ロードバランサー
    • 理想
    サービス A チーム サービス B チーム
    サービス C チーム サービス D チーム サービスDに関するジョ
    ブだけが見えるぞ！
    

    View Slide

19. 悩んでいること
    • 担当者とサービスの紐づけをどうやるのか…？
    • より運用効率と可読性の高い版数管理の実現
    

    View Slide

20. そう遠くない未来
    • ロードバランサーのみならず
    サービスAチーム サービスBチーム
    サービスCチーム サービスDチーム
    

    View Slide

21. セキュリティ
    • セキュリティ機器は SOC の力を借りて運用
    • 攻撃や誤遮断を検知したら SOC から鬼電
    

    View Slide

22. セキュリティ
    • 深夜に響き渡る電話と Slack 通知
    • 新サービスのトラッキング
    • 複雑な連絡先ルーティング
    

    View Slide

23. セキュリティ
    • Elasticsearch + Kibana でログ解析基盤を構築中
    

    View Slide

24. セキュリティ
    • 初動オペレーションの自動化
    or(and)
    SOC
    サービス担当者
    

    View Slide

25. マイナビクラウド
    監視
    • Zabbix、Nagios、NewRelic を役割別に併用
    • 重要なアラートが上がったらMSPから鬼電
    レスポンスが
    返ってこない
    MSP
    担当者に
    知らせなければ
    サービス担当者
    対応せねば
    鬼電
    URL監視
    通知
    

    View Slide

26. 監視
    • 運用ポリシーの監視
    ポリシーの設定漏れ
    Syslog
    Batch
    仮想化基盤クラスタ
    

    View Slide

27. CSPO
    • 各種情報を集約・可視化したポータルサイト
    

    View Slide

28. CSPO
    • APIを持ち、取得した情報の二次利用が容易
    # 例
    >>> import json
    >>> import requests
    >>> r = requests.get('https://cspo.example.com/api/v2/kvs/lb/vs')
    >>> print(json.dumps(r.json(), indent=2, sort_keys=True))
    {
    "cached": true,
    "result": {
    "attributes": {
    "@config": {
    "updated_at": “1970-01-01T00:00:00+00:00",
    "value": {
    "example_80_vs": {
    "default_pool": "example_80_pool",
    "destination_address": "192.0.2.1",
    "destination_port":80,
    "profile": [
    "tcp"
    ],
    …
    

    View Slide

29. ソフトウェア開発能力の向上
    • 作る
    

    View Slide

30. ソフトウェア開発能力の向上
    • 調子に乗る
    

    View Slide

31. ソフトウェア開発能力の向上
    • マサカリが飛んでくる(以下無限ループ)
    (訳: APIに文句つける前にまずそのクソコードをどうにかしろ)
    

    View Slide

32. パブリッククラウド移行
    当初の理想 ※稟議資料より抜粋
    密結合
    

    View Slide

33. パブリッククラウド移行
    当初の理想 ※稟議資料より抜粋
    密結合
    

    View Slide

34. 密結合
    パブリッククラウド移行
    現在…理想を実現できるようがんばってます
    インフラ設計
    移行リミット
    新たな役割 トレーニング
    IAM設計
    

    View Slide

35. マイナビクラウド – AWS 接続設計
    • Direct Connect + Transit Gateway が大活躍(予定)
    account account
    account account account
    Region Region
    

    View Slide

36. まとめ
    • マイナビクラウドというプライベートクラウドがある
    • マイナビクラウドは自社で運用している
    • マイナビのシステム職、実は手を動かすポジションもある
    • やりたいことも、やらなければならないことも、たくさんある
    

    View Slide

37. We are hiring.
    • こんな人が合いそう
    • インフラ・ウェブサービス運用やってる/やりたい
    • オンプレ、クラウド問わず
    • 手を動かすのが好き/苦じゃない
    • コードが書ける/書けるようになりたい
    • ある程度のコミュ力
    

    View Slide

38. 次は…
    商用基盤1課
    • 主にハードウェア
    • 仮想化基盤
    • ストレージ
    • ネットワーク
    • セキュリティ
    商用基盤2課
    • 主にソフトウェア
    • 共通機能(DNS、LDAP)
    • CSPO
    • SaaS検証
    • 運用自動化(Ansible)
    • 事業部インフラサポート
    主にこれの話
    

    View Slide

39. View Slide