Slide 1

Slide 1 text

Apache Mesos is Կ ʁ Mesos User Group Tokyo Japan Container Days v12.18 - DAY 2 [ 2W4 ] Hashtags : #containerdaysjp #HallWEST ( #MUGT )

Slide 2

Slide 2 text

2 Profile • 名前︓_・)つかまん( @tsukaman ) • 仕事︓⽇本ヒューレット・パッカード株式会社 Pointnext Hybrid IT Practice 所属 • 担当︓打楽器(ドラムとパーカッション) • 書籍︓Ansible実践ガイド、Raspberry Pi 〔実⽤〕⼊⾨ • 好き︓眼鏡、⾳楽、息⼦、ガジェットIYH、眼鏡 • 最近︓JKDの作業(コレとMeetupとshowKsと・・・)で    なんかもうものすんごくバタバタしていました

Slide 3

Slide 3 text

3 Agenda 1. Apache Mesosの概要 2. Apache Mesosのアーキテクチャ 3. Mesosphere DC/OSの概要

Slide 4

Slide 4 text

1. Apache Mesosの概要 - What’s Apache Mesos - 4

Slide 5

Slide 5 text

Mesosってあれでしょ︖ コンテナ管理するヤツ

Slide 6

Slide 6 text

Mesosってあれでしょ︖ コンテナ管理するヤツ

Slide 7

Slide 7 text

 http://mesos.apache.org 

Slide 8

Slide 8 text

Mesosは “A distributed systems kernel”

Slide 9

Slide 9 text

#とは?

Slide 10

Slide 10 text

10 従来システム管理の課題 Cluster A Cluster B Cluster C 複数のワークロードを効率良くクラスターリソースに分散させたい︕ • 物理 or 仮想マシン単位で分散︖ ➡ つらい • 休眠・余剰リソースどうする︖ ➡ つらい • システムの冗⻑性ある︖ ➡ つらい • スケールアップ・スケールダウンは︖ ➡ つらい

Slide 11

Slide 11 text

ͭΒΈ

Slide 12

Slide 12 text

そこで Mesos

Slide 13

Slide 13 text

Apache Mesosによるデータセンターリソース管理の効率化 これを Cluster A Cluster B Cluster C

Slide 14

Slide 14 text

Apache Mesosによるデータセンターリソース管理の効率化 こうじゃ! Cluster A Cluster B Cluster C Cluster A Cluster B Cluster C

Slide 15

Slide 15 text

Apache Mesosによるデータセンターリソース管理の効率化 υϯʂ Cluster A Cluster B Cluster C

Slide 16

Slide 16 text

Apache Mesosによるデータセンターリソース管理の効率化 ͲͲΜʂ

Slide 17

Slide 17 text

A distributed systems kernel

Slide 18

Slide 18 text

とは

Slide 19

Slide 19 text

DCリソース全体を抽象化し 効率の良い管理を実現する データセンターカーネル

Slide 20

Slide 20 text

 http://mesos.apache.org 

Slide 21

Slide 21 text

Apache Mesosの主な特徴 21 High Availability Zookeeper を使ったフォ ールトトレラントなマスタ ー。無停⽌アップグレード Containers DockerおよびAppCイメー ジを使⽤したコンテナ起動 をサポート。 Pluggable Isolation CPU、メモリ、ディスク、 ポート、GPU、およびモジ ュールのカスタムリソース 分離。 Two Level Scheduling スケジュールポリシーを利⽤ した同じクラスタ内のクラウ ドネイティブアプリケーショ ンとレガシーアプリケーショ ンの実⾏。 APIs 新しい分散アプリケーショ ンの開発、クラスタの操作、 および監視のためのHTTP APIの提供。 Web UI クラスタの状態を表⽰し、 コンテナのサンドボックス をナビゲートするための組 み込みWeb UI。 Cross Platform クラウドプロバイダーにと らわれず、Linux、OSX、 Windows上で動作。 Linear Scalability 10,000ノードまで容易に 拡張できることが実証され ている。

Slide 22

Slide 22 text

22 導⼊実績 既に数多くのモダンなサービスで採⽤されている

Slide 23

Slide 23 text

23 導⼊実績 既に数多くのモダンなサービスで採⽤されている

Slide 24

Slide 24 text

ZOZO Technologiesさんの 事例紹介は当セッションの後半で

Slide 25

Slide 25 text

2. Apache Mesosのアーキテクチャ - Architecture Overview - 25

Slide 26

Slide 26 text

分散システムカーネル - A Distributed Systems Kernel - 26 Cluster A Cluster B Cluster C

Slide 27

Slide 27 text

分散システムカーネル - A Distributed Systems Kernel - 27 Mesos Architecture Cluster A Cluster B Cluster C http://mesos.apache.org/documentation/latest/architecture/

Slide 28

Slide 28 text

Mesos Architecture 分散システムカーネル - A Distributed Systems Kernel - 28 Cluster A Cluster B Cluster C http://mesos.apache.org/documentation/latest/architecture/

Slide 29

Slide 29 text

Agent 1 Apache Mesos Architecture 29 ・AgentおよびFrameworkの管理 ・エージェントリソースの把握と情報提供 ・リソース割り当てと最適配置 ・Framework(Scheduler)からの要求受付と結果通知 ・ZooKeeperにより冗⻑化 Mesos Master Mesos Agent Framework ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・リソース情報をマスタに通知 ・マスタからのスケジュール要求の受け⼊れ ・Framework(Executor)によるTASK実⾏と結果通知 ・SchedulerとExecutorで構成される ・SchedulerはマスタへTASK実⾏(配置)を要求 ・Executorはエージェント上でTASKを実⾏ ・ExecutorではContainerによる実⾏も対応可能 ・Mesos Containerizer および Docker Containerizer

Slide 30

Slide 30 text

Framework 30 Agnet 1 ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・様々なFrameworkが⽤意されている ・⾃らFrameworkを開発することも可能 Batch Scheduling Data Storage Machine Learning Big Data Processing DevOps tooling Long Running Services

Slide 31

Slide 31 text

Framework 31 Agnet 1 ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・様々なFrameworkが⽤意されている ・⾃らFrameworkを開発することも可能 Batch Scheduling Data Storage Machine Learning Big Data Processing DevOps tooling Long Running Services ⻑期実⾏アプリケーションむけに設計されたフレームワークの1つ ・initシステムの代わり Features ・Mesos Containerizerと  Docker Containerizerに対応 ・Web UI ・Taskの常時稼働を保証 ・サービスディスカバリと負荷分散 ・ヘルスチェック Matathon

Slide 32

Slide 32 text

32 その他のFramework http://mesos.apache.org/documentation/latest/frameworks/

Slide 33

Slide 33 text

3. Mesosphere DC/OSの概要 - Ecosystem for Apache Mesos - 33

Slide 34

Slide 34 text

Mesosが データセンターカーネル なら

Slide 35

Slide 35 text

DC/OSは データセンター オペレーティングシステム

Slide 36

Slide 36 text

DC/OSは データセンター オペレーティングシステム

Slide 37

Slide 37 text

DC/OSは 分散クラウド オペレーティングシステム

Slide 38

Slide 38 text

38 Mesosphere DC/OSの概要 ・MesosをCoreとした分散システム基盤 ・様々な基盤のリソースを抽象化し統合 ・洗練されたインタフェース(GUI/CLI)を提供 ・セルフヒーリングやオートスケーリングを実装 ・監視やロギングなど運⽤に必須な機能も提供 ・充実したなサービスカタログを⽤意 ・サービスディスカバリやLBも実装 ・コンテナオーケストレーションツールとして  の活⽤も可能 https://mesosphere.com/product/ Mesosphere DC/OSͷಛ௃

Slide 39

Slide 39 text

39 Mesosphere DC/OSの概要 https://mesosphere.com/product/ ❖ Mesosphere Enterprise DC/OS  ・インプレイス無停⽌アップグレード  ・セキュリティ(RBAC、監査ログ 等)  ・AD/LDAP/SAML/OpenIDの統合認証  ・カスタマイズCAに対応したPKI統合  ・⾼性能L4/L7ロードバランサー  ・緊急パッチを含む商⽤サポート ঎༻൛Ͱ͸ߋʹॆ࣮ͨ͠ػೳΛఏڙ

Slide 40

Slide 40 text

40 Universe(サービスカタログ)

Slide 41

Slide 41 text

そして 皆さんお待ちかね

Slide 42

Slide 42 text

MKE : Mesosphere Kubernetes Engine 42 https://mesosphere.com/product/kubernetes-engine/ ・簡単に⾼信頼な構成のk8sをデプロイ ・様々な基盤にk8sを展開し統合管理 ・k8sコンポーネントをセルフヒーリング ・アップグレードやスケーリングも容易 ・Entrepriseグレードのセキュリティ ・ネットワークはCalicoに対応  ・K8s as a Service基盤として最適 DCOS(Mesos)͸෼ࢄγεςϜͷ؅ཧ͕ಘҙɻ ͭ·ΓKubernetes΋ɾɾɾ΋ͪΖΜಘҙʂ

Slide 43

Slide 43 text

Mesosphere DC/OS の最新動向 2018年10⽉28⽇にDC/OS Version 1.12.0をリリース  ・主要な新機能    ・High Density Multi-Kubernetesによる同⼀基盤上への複数k8sデプロイ    ・Jupyter Notebooks-as-a-ServiceであるMesosphere Jupyter Service の提供    ・より柔軟かつ多様なメトリックの取得が可能になった    ・SELinuxの対応を強化    ・Private Package Registory対応(商⽤版のみ)    ・動的同期などLDAP連携の強化(商⽤版のみ)    ・Terraformベースの統合インストーラの提供    ・その他、各コンポーネントの機能拡張、Bug Fix、パフォーマンス改善 など 43 https://docs.mesosphere.com/1.12/release-notes/1.12.0/

Slide 44

Slide 44 text

44 Conclusion MesosはDCリソースを抽象化して 効率の良い管理を実現します 多彩なフレームワークにより 柔軟なタスク配置/実⾏を可能にします DC/OSは運⽤まで視野に⼊れた 分散クラウドオペレーティングシステム

Slide 45

Slide 45 text

45 See also… https://www.slideshare.net/zembutsu/5min-apache-mesos-introduction

Slide 46

Slide 46 text

46 See also… https://www.slideshare.net/ShingoKitayama/apache-mesos-76483210

Slide 47

Slide 47 text

47 See also… https://www.slideshare.net/JunichiYoshise https://speakerdeck.com/jyoshise/

Slide 48

Slide 48 text

48 Thank you!