Apache Mesos is Կ ʁ Mesos User Group Tokyo Japan Container Days v12.18 - DAY 2 [ 2W4 ] Hashtags : #containerdaysjp #HallWEST ( #MUGT )

2 Profile • 名前︓＿・）つかまん（ @tsukaman ） • 仕事︓⽇本ヒューレット・パッカード株式会社 Pointnext Hybrid IT Practice 所属 • 担当︓打楽器（ドラムとパーカッション） • 書籍︓Ansible実践ガイド、Raspberry Pi 〔実⽤〕⼊⾨ • 好き︓眼鏡、⾳楽、息⼦、ガジェットIYH、眼鏡 • 最近︓JKDの作業（コレとMeetupとshowKsと･･･）で    なんかもうものすんごくバタバタしていました

3 Agenda 1. Apache Mesosの概要 2. Apache Mesosのアーキテクチャ 3. Mesosphere DC/OSの概要

1. Apache Mesosの概要 - What’s Apache Mesos - 4

Mesosってあれでしょ︖ コンテナ管理するヤツ

Mesosってあれでしょ︖ コンテナ管理するヤツ

 http://mesos.apache.org 

Mesosは “A distributed systems kernel”

#とは？

10 従来システム管理の課題 Cluster A Cluster B Cluster C 複数のワークロードを効率良くクラスターリソースに分散させたい︕ • 物理 or 仮想マシン単位で分散︖ ➡ つらい • 休眠・余剰リソースどうする︖ ➡ つらい • システムの冗⻑性ある︖ ➡ つらい • スケールアップ・スケールダウンは︖ ➡ つらい

ͭΒΈ

そこで Mesos

Apache Mesosによるデータセンターリソース管理の効率化 これを Cluster A Cluster B Cluster C

Apache Mesosによるデータセンターリソース管理の効率化 こうじゃ！ Cluster A Cluster B Cluster C Cluster A Cluster B Cluster C

Apache Mesosによるデータセンターリソース管理の効率化 υϯʂ Cluster A Cluster B Cluster C

Apache Mesosによるデータセンターリソース管理の効率化 ͲͲΜʂ

A distributed systems kernel

とは

DCリソース全体を抽象化し 効率の良い管理を実現する データセンターカーネル

 http://mesos.apache.org 

Apache Mesosの主な特徴 21 High Availability Zookeeper を使ったフォ ールトトレラントなマスタ ー。無停⽌アップグレード Containers DockerおよびAppCイメー ジを使⽤したコンテナ起動 をサポート。 Pluggable Isolation CPU、メモリ、ディスク、 ポート、GPU、およびモジ ュールのカスタムリソース 分離。 Two Level Scheduling スケジュールポリシーを利⽤ した同じクラスタ内のクラウ ドネイティブアプリケーショ ンとレガシーアプリケーショ ンの実⾏。 APIs 新しい分散アプリケーショ ンの開発、クラスタの操作、 および監視のためのHTTP APIの提供。 Web UI クラスタの状態を表⽰し、 コンテナのサンドボックス をナビゲートするための組 み込みWeb UI。 Cross Platform クラウドプロバイダーにと らわれず、Linux、OSX、 Windows上で動作。 Linear Scalability 10,000ノードまで容易に 拡張できることが実証され ている。

22 導⼊実績 既に数多くのモダンなサービスで採⽤されている

23 導⼊実績 既に数多くのモダンなサービスで採⽤されている

ZOZO Technologiesさんの 事例紹介は当セッションの後半で

2. Apache Mesosのアーキテクチャ - Architecture Overview - 25

分散システムカーネル - A Distributed Systems Kernel - 26 Cluster A Cluster B Cluster C

分散システムカーネル - A Distributed Systems Kernel - 27 Mesos Architecture Cluster A Cluster B Cluster C http://mesos.apache.org/documentation/latest/architecture/

Mesos Architecture 分散システムカーネル - A Distributed Systems Kernel - 28 Cluster A Cluster B Cluster C http://mesos.apache.org/documentation/latest/architecture/

Agent 1 Apache Mesos Architecture 29 ・AgentおよびFrameworkの管理 ・エージェントリソースの把握と情報提供 ・リソース割り当てと最適配置 ・Framework(Scheduler)からの要求受付と結果通知 ・ZooKeeperにより冗⻑化 Mesos Master Mesos Agent Framework ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・リソース情報をマスタに通知 ・マスタからのスケジュール要求の受け⼊れ ・Framework(Executor)によるTASK実⾏と結果通知 ・SchedulerとExecutorで構成される ・SchedulerはマスタへTASK実⾏(配置)を要求 ・Executorはエージェント上でTASKを実⾏ ・ExecutorではContainerによる実⾏も対応可能 ・Mesos Containerizer および Docker Containerizer

Framework 30 Agnet 1 ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・様々なFrameworkが⽤意されている ・⾃らFrameworkを開発することも可能 Batch Scheduling Data Storage Machine Learning Big Data Processing DevOps tooling Long Running Services

Framework 31 Agnet 1 ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・様々なFrameworkが⽤意されている ・⾃らFrameworkを開発することも可能 Batch Scheduling Data Storage Machine Learning Big Data Processing DevOps tooling Long Running Services ⻑期実⾏アプリケーションむけに設計されたフレームワークの１つ ・initシステムの代わり Features ・Mesos Containerizerと  Docker Containerizerに対応 ・Web UI ・Taskの常時稼働を保証 ・サービスディスカバリと負荷分散 ・ヘルスチェック Matathon

32 その他のFramework http://mesos.apache.org/documentation/latest/frameworks/

3. Mesosphere DC/OSの概要 - Ecosystem for Apache Mesos - 33

Mesosが データセンターカーネル なら

DC/OSは データセンター オペレーティングシステム

DC/OSは データセンター オペレーティングシステム

DC/OSは 分散クラウド オペレーティングシステム

38 Mesosphere DC/OSの概要 ・MesosをCoreとした分散システム基盤 ・様々な基盤のリソースを抽象化し統合 ・洗練されたインタフェース(GUI/CLI)を提供 ・セルフヒーリングやオートスケーリングを実装 ・監視やロギングなど運⽤に必須な機能も提供 ・充実したなサービスカタログを⽤意 ・サービスディスカバリやLBも実装 ・コンテナオーケストレーションツールとして  の活⽤も可能 https://mesosphere.com/product/ Mesosphere DC/OSͷಛ௃

39 Mesosphere DC/OSの概要 https://mesosphere.com/product/ ❖ Mesosphere Enterprise DC/OS  ・インプレイス無停⽌アップグレード  ・セキュリティ（RBAC、監査ログ 等）  ・AD/LDAP/SAML/OpenIDの統合認証  ・カスタマイズCAに対応したPKI統合  ・⾼性能L4/L7ロードバランサー  ・緊急パッチを含む商⽤サポート ঎༻൛Ͱ͸ߋʹॆ࣮ͨ͠ػೳΛఏڙ

40 Universe（サービスカタログ）

そして 皆さんお待ちかね

MKE : Mesosphere Kubernetes Engine 42 https://mesosphere.com/product/kubernetes-engine/ ・簡単に⾼信頼な構成のk8sをデプロイ ・様々な基盤にk8sを展開し統合管理 ・k8sコンポーネントをセルフヒーリング ・アップグレードやスケーリングも容易 ・Entrepriseグレードのセキュリティ ・ネットワークはCalicoに対応  ・K8s as a Service基盤として最適 DCOS(Mesos)͸෼ࢄγεςϜͷ؅ཧ͕ಘҙɻ ͭ·ΓKubernetes΋ɾɾɾ΋ͪΖΜಘҙʂ

Mesosphere DC/OS の最新動向 2018年10⽉28⽇にDC/OS Version 1.12.0をリリース  ・主要な新機能    ・High Density Multi-Kubernetesによる同⼀基盤上への複数k8sデプロイ    ・Jupyter Notebooks-as-a-ServiceであるMesosphere Jupyter Service の提供    ・より柔軟かつ多様なメトリックの取得が可能になった    ・SELinuxの対応を強化    ・Private Package Registory対応（商⽤版のみ）    ・動的同期などLDAP連携の強化（商⽤版のみ）    ・Terraformベースの統合インストーラの提供    ・その他、各コンポーネントの機能拡張、Bug Fix、パフォーマンス改善 など 43 https://docs.mesosphere.com/1.12/release-notes/1.12.0/

44 Conclusion MesosはDCリソースを抽象化して 効率の良い管理を実現します 多彩なフレームワークにより 柔軟なタスク配置/実⾏を可能にします DC/OSは運⽤まで視野に⼊れた 分散クラウドオペレーティングシステム

45 See also… https://www.slideshare.net/zembutsu/5min-apache-mesos-introduction

46 See also… https://www.slideshare.net/ShingoKitayama/apache-mesos-76483210

47 See also… https://www.slideshare.net/JunichiYoshise https://speakerdeck.com/jyoshise/

48 Thank you!