Upgrade to Pro — share decks privately, control downloads, hide ads and more …

物理データセンターでも NoOps

ymmt2005
June 04, 2019

物理データセンターでも NoOps

NoOps Meetup Tokyo #6 登壇資料
https://noops.connpass.com/event/131553/

ymmt2005

June 04, 2019
Tweet

More Decks by ymmt2005

Other Decks in Technology

Transcript

  1. サイボウズ & cybozu.com ▌グループウェアの開発・販売 ◼ 「サイボウズ Office」は 20 年以上ベストセラー ◼

    もともとはパッケージソフトウェア販売 ▌cybozu.com ◼ 自社グループウェアを SaaS で提供 ◼ 2011年11月からサービス開始
  2. 単調に規模が拡大 -5000 0 5000 10000 15000 20000 25000 30000 35000

    40000 45000 2011 2012 2013 2014 2015 2016 2017 2018 契約社数 契約社数 二次回帰 線形回帰 需要予測が容易 強気の投資が可能
  3. Neco の設計原則 1.Be Declarative • Kubernetes 以外もすべて、宣言的に操作可能にする 2.Define by Software

    • 特定の目的に縛られたサーバー・ネットワークを作らない • サーバー・ネットワークの役割をソフトウェアで変更する 3.Test Everything • 継続的なデリバリーには試験は自動化しないといけない • データセンターで動作するすべての機能を自動試験する
  4. CKE

  5. BGP + BFD + ECMP で経路管理&冗長化 ▌Linux / Kubernetes から経路を自在に制御可能

    ◼ BIRD と組み合わせ可能な CNI プラグイン「Coil」を開発 ◼ MetalLB で LoadBalancer を実装 ▌ルータもソフトウェアで実装可能 ▌専門的な話はブログをどうぞ
  6. placemat ▌仮想データセンター構築ツール ◼ L2 ネットワーク=Linux ブリッジ ◼ ルーター=BIRDコンテナ ◼ サーバー=QEMU/KVM

    ▌機能 ◼ YAML で宣言的に環境構築 ◼ Virtual BMC (IPMI) ◼ UEFI HTTP Boot kind: Network name: ext-net type: external use-nat: true address: 192.168.1.0/24 --- kind: DataFolder name: data files: - name: sabakan file: sabakan - name: sabactl file: sabactl --- kind: Image name: ubuntu file: ubuntu-18.04-server-cloudimg-amd64.img --- kind: Node name: host1 interfaces: - ext-net cpu: 1 memory: 1G volumes: - kind: image name: root image: ubuntu copy-on-write: true - kind: vvfat name: data folder: data --- …
  7. 管理サーバーの構成 Ubuntu Ubuntu Ubuntu ……… 手作業管理はしんどい! etcd etcd etcd Vault

    Serf etcdpasswd Sabakan CKE Vault Serf etcdpasswd Sabakan CKE Vault Serf etcdpasswd Sabakan CKE データは etcd クラスタに保存 Made by
  8. Neco のデリバリー戦略 ▌システムを Kubernetes の上と下で分割する ◼ Kubernetes 上のアプリは Argo CD

    で宣言的にデリバリー ◼ Kubernetes の下は自作ツールで宣言的にデリバリー ▌システム全体をデリバリー前に試験する ◼ デリバリー前の状態を仮想データセンターで構築、 デリバリー後に壊れないことも試験 ◼ 全電源停止後の動作回復も試験
  9. Neco as of June 2019 GitHub Argo CD Neco CD

    Ubuntu 管理サーバー Sabakan CKE 3~5台 管理サーバーを自動更新 CoreOS Coil CoreOS Coil CoreOS Coil CoreOS Coil ネット ブート Kubernetes 自動管理 Argo CD Prometheus MetalLB Calico Contour アプリを 自動管理 Made by push …
  10. ストレージ管理 ▌自社製 CSI プラグイン TopoLVM を開発中 ◼ LVM でローカルストレージを PVC

    で利用可能 ◼ VG 空き容量などを考慮する拡張スケジューラー付き ▌Elasticsearch & MySQL オペレーター ◼ TopoLVM を活用して自動運用する予定 ▌Ceph / Rook ◼ オブジェクトストレージ用に
  11. Neco OSS レポジトリ ▌全て github.com 上 ▌cybozu-go/neco 継続的デリバリーツール ▌cybozu-go/neco-ops Argo

    CD 用 ▌cybozu-go/cke Kubernetes 自動運用ツール ▌cybozu-go/sabakan ネットワークブートサーバー ▌cybozu-go/coil BIRD と組み合わせ可能な CNI プラグイン ▌cybozu-go/topolvm LVM を使う CSI プラグイン ▌cybozu-go/placemat 仮想データセンター構築ツール ▌ cybozu/neco-containers 各種コンテナイメージのビルド