$30 off During Our Annual Pro Sale. View Details »

Apache Mesos is 何?

Apache Mesos is 何?

2018年12月5日に御茶ノ水ソラシティカンファレンスセンターで開催されたJapanContainerDays v18.12での発表資料です。

Mesos User Group Tokyoのコミュニティセッション「コンテナプラットフォームとしてのApache Mesos 〜ユーザ事例を通して学ぶなぜなにMesos〜」(2W4)として、ZOZOテクノロジーズの光野さんと共同登壇するうち、こちらのスライドは前半部分の資料です。

Masataka Tsukamoto

December 05, 2018
Tweet

More Decks by Masataka Tsukamoto

Other Decks in Technology

Transcript

  1. Apache Mesos is Կ ʁ Mesos User Group Tokyo Japan

    Container Days v12.18 - DAY 2 [ 2W4 ] Hashtags : #containerdaysjp #HallWEST ( #MUGT )
  2. 2 Profile • 名前︓_・)つかまん( @tsukaman ) • 仕事︓⽇本ヒューレット・パッカード株式会社 Pointnext Hybrid

    IT Practice 所属 • 担当︓打楽器(ドラムとパーカッション) • 書籍︓Ansible実践ガイド、Raspberry Pi 〔実⽤〕⼊⾨ • 好き︓眼鏡、⾳楽、息⼦、ガジェットIYH、眼鏡 • 最近︓JKDの作業(コレとMeetupとshowKsと・・・)で    なんかもうものすんごくバタバタしていました
  3. 3 Agenda 1. Apache Mesosの概要 2. Apache Mesosのアーキテクチャ 3. Mesosphere

    DC/OSの概要
  4. 1. Apache Mesosの概要 - What’s Apache Mesos - 4

  5. Mesosってあれでしょ︖ コンテナ管理するヤツ

  6. Mesosってあれでしょ︖ コンテナ管理するヤツ

  7.  http://mesos.apache.org 

  8. Mesosは “A distributed systems kernel”

  9. #とは?

  10. 10 従来システム管理の課題 Cluster A Cluster B Cluster C 複数のワークロードを効率良くクラスターリソースに分散させたい︕ •

    物理 or 仮想マシン単位で分散︖ ➡ つらい • 休眠・余剰リソースどうする︖ ➡ つらい • システムの冗⻑性ある︖ ➡ つらい • スケールアップ・スケールダウンは︖ ➡ つらい
  11. ͭΒΈ

  12. そこで Mesos

  13. Apache Mesosによるデータセンターリソース管理の効率化 これを Cluster A Cluster B Cluster C

  14. Apache Mesosによるデータセンターリソース管理の効率化 こうじゃ! Cluster A Cluster B Cluster C Cluster

    A Cluster B Cluster C
  15. Apache Mesosによるデータセンターリソース管理の効率化 υϯʂ Cluster A Cluster B Cluster C

  16. Apache Mesosによるデータセンターリソース管理の効率化 ͲͲΜʂ

  17. A distributed systems kernel

  18. とは

  19. DCリソース全体を抽象化し 効率の良い管理を実現する データセンターカーネル

  20.  http://mesos.apache.org 

  21. Apache Mesosの主な特徴 21 High Availability Zookeeper を使ったフォ ールトトレラントなマスタ ー。無停⽌アップグレード Containers

    DockerおよびAppCイメー ジを使⽤したコンテナ起動 をサポート。 Pluggable Isolation CPU、メモリ、ディスク、 ポート、GPU、およびモジ ュールのカスタムリソース 分離。 Two Level Scheduling スケジュールポリシーを利⽤ した同じクラスタ内のクラウ ドネイティブアプリケーショ ンとレガシーアプリケーショ ンの実⾏。 APIs 新しい分散アプリケーショ ンの開発、クラスタの操作、 および監視のためのHTTP APIの提供。 Web UI クラスタの状態を表⽰し、 コンテナのサンドボックス をナビゲートするための組 み込みWeb UI。 Cross Platform クラウドプロバイダーにと らわれず、Linux、OSX、 Windows上で動作。 Linear Scalability 10,000ノードまで容易に 拡張できることが実証され ている。
  22. 22 導⼊実績 既に数多くのモダンなサービスで採⽤されている

  23. 23 導⼊実績 既に数多くのモダンなサービスで採⽤されている

  24. ZOZO Technologiesさんの 事例紹介は当セッションの後半で

  25. 2. Apache Mesosのアーキテクチャ - Architecture Overview - 25

  26. 分散システムカーネル - A Distributed Systems Kernel - 26 Cluster A

    Cluster B Cluster C
  27. 分散システムカーネル - A Distributed Systems Kernel - 27 Mesos Architecture

    Cluster A Cluster B Cluster C http://mesos.apache.org/documentation/latest/architecture/
  28. Mesos Architecture 分散システムカーネル - A Distributed Systems Kernel - 28

    Cluster A Cluster B Cluster C http://mesos.apache.org/documentation/latest/architecture/
  29. Agent 1 Apache Mesos Architecture 29 ・AgentおよびFrameworkの管理 ・エージェントリソースの把握と情報提供 ・リソース割り当てと最適配置 ・Framework(Scheduler)からの要求受付と結果通知

    ・ZooKeeperにより冗⻑化 Mesos Master Mesos Agent Framework ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・リソース情報をマスタに通知 ・マスタからのスケジュール要求の受け⼊れ ・Framework(Executor)によるTASK実⾏と結果通知 ・SchedulerとExecutorで構成される ・SchedulerはマスタへTASK実⾏(配置)を要求 ・Executorはエージェント上でTASKを実⾏ ・ExecutorではContainerによる実⾏も対応可能 ・Mesos Containerizer および Docker Containerizer
  30. Framework 30 Agnet 1 ZooKeeper Quorum Framework A Scheduler Framework

    B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・様々なFrameworkが⽤意されている ・⾃らFrameworkを開発することも可能 Batch Scheduling Data Storage Machine Learning Big Data Processing DevOps tooling Long Running Services
  31. Framework 31 Agnet 1 ZooKeeper Quorum Framework A Scheduler Framework

    B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・様々なFrameworkが⽤意されている ・⾃らFrameworkを開発することも可能 Batch Scheduling Data Storage Machine Learning Big Data Processing DevOps tooling Long Running Services ⻑期実⾏アプリケーションむけに設計されたフレームワークの1つ ・initシステムの代わり Features ・Mesos Containerizerと  Docker Containerizerに対応 ・Web UI ・Taskの常時稼働を保証 ・サービスディスカバリと負荷分散 ・ヘルスチェック Matathon
  32. 32 その他のFramework http://mesos.apache.org/documentation/latest/frameworks/

  33. 3. Mesosphere DC/OSの概要 - Ecosystem for Apache Mesos - 33

  34. Mesosが データセンターカーネル なら

  35. DC/OSは データセンター オペレーティングシステム

  36. DC/OSは データセンター オペレーティングシステム

  37. DC/OSは 分散クラウド オペレーティングシステム

  38. 38 Mesosphere DC/OSの概要 ・MesosをCoreとした分散システム基盤 ・様々な基盤のリソースを抽象化し統合 ・洗練されたインタフェース(GUI/CLI)を提供 ・セルフヒーリングやオートスケーリングを実装 ・監視やロギングなど運⽤に必須な機能も提供 ・充実したなサービスカタログを⽤意 ・サービスディスカバリやLBも実装

    ・コンテナオーケストレーションツールとして  の活⽤も可能 https://mesosphere.com/product/ Mesosphere DC/OSͷಛ௃
  39. 39 Mesosphere DC/OSの概要 https://mesosphere.com/product/ ❖ Mesosphere Enterprise DC/OS  ・インプレイス無停⽌アップグレード  ・セキュリティ(RBAC、監査ログ

    等)  ・AD/LDAP/SAML/OpenIDの統合認証  ・カスタマイズCAに対応したPKI統合  ・⾼性能L4/L7ロードバランサー  ・緊急パッチを含む商⽤サポート ঎༻൛Ͱ͸ߋʹॆ࣮ͨ͠ػೳΛఏڙ
  40. 40 Universe(サービスカタログ)

  41. そして 皆さんお待ちかね

  42. MKE : Mesosphere Kubernetes Engine 42 https://mesosphere.com/product/kubernetes-engine/ ・簡単に⾼信頼な構成のk8sをデプロイ ・様々な基盤にk8sを展開し統合管理 ・k8sコンポーネントをセルフヒーリング

    ・アップグレードやスケーリングも容易 ・Entrepriseグレードのセキュリティ ・ネットワークはCalicoに対応  ・K8s as a Service基盤として最適 DCOS(Mesos)͸෼ࢄγεςϜͷ؅ཧ͕ಘҙɻ ͭ·ΓKubernetes΋ɾɾɾ΋ͪΖΜಘҙʂ
  43. Mesosphere DC/OS の最新動向 2018年10⽉28⽇にDC/OS Version 1.12.0をリリース  ・主要な新機能    ・High Density Multi-Kubernetesによる同⼀基盤上への複数k8sデプロイ

       ・Jupyter Notebooks-as-a-ServiceであるMesosphere Jupyter Service の提供    ・より柔軟かつ多様なメトリックの取得が可能になった    ・SELinuxの対応を強化    ・Private Package Registory対応(商⽤版のみ)    ・動的同期などLDAP連携の強化(商⽤版のみ)    ・Terraformベースの統合インストーラの提供    ・その他、各コンポーネントの機能拡張、Bug Fix、パフォーマンス改善 など 43 https://docs.mesosphere.com/1.12/release-notes/1.12.0/
  44. 44 Conclusion MesosはDCリソースを抽象化して 効率の良い管理を実現します 多彩なフレームワークにより 柔軟なタスク配置/実⾏を可能にします DC/OSは運⽤まで視野に⼊れた 分散クラウドオペレーティングシステム

  45. 45 See also… https://www.slideshare.net/zembutsu/5min-apache-mesos-introduction

  46. 46 See also… https://www.slideshare.net/ShingoKitayama/apache-mesos-76483210

  47. 47 See also… https://www.slideshare.net/JunichiYoshise https://speakerdeck.com/jyoshise/

  48. 48 Thank you!