Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Apache Mesos is 何?

Apache Mesos is 何?

2018年12月5日に御茶ノ水ソラシティカンファレンスセンターで開催されたJapanContainerDays v18.12での発表資料です。

Mesos User Group Tokyoのコミュニティセッション「コンテナプラットフォームとしてのApache Mesos 〜ユーザ事例を通して学ぶなぜなにMesos〜」(2W4)として、ZOZOテクノロジーズの光野さんと共同登壇するうち、こちらのスライドは前半部分の資料です。

Masataka Tsukamoto

December 05, 2018
Tweet

More Decks by Masataka Tsukamoto

Other Decks in Technology

Transcript

  1. Apache Mesos is Կ ʁ Mesos User Group Tokyo Japan

    Container Days v12.18 - DAY 2 [ 2W4 ] Hashtags : #containerdaysjp #HallWEST ( #MUGT )
  2. 2 Profile • 名前︓_・)つかまん( @tsukaman ) • 仕事︓⽇本ヒューレット・パッカード株式会社 Pointnext Hybrid

    IT Practice 所属 • 担当︓打楽器(ドラムとパーカッション) • 書籍︓Ansible実践ガイド、Raspberry Pi 〔実⽤〕⼊⾨ • 好き︓眼鏡、⾳楽、息⼦、ガジェットIYH、眼鏡 • 最近︓JKDの作業(コレとMeetupとshowKsと・・・)で    なんかもうものすんごくバタバタしていました
  3. 10 従来システム管理の課題 Cluster A Cluster B Cluster C 複数のワークロードを効率良くクラスターリソースに分散させたい︕ •

    物理 or 仮想マシン単位で分散︖ ➡ つらい • 休眠・余剰リソースどうする︖ ➡ つらい • システムの冗⻑性ある︖ ➡ つらい • スケールアップ・スケールダウンは︖ ➡ つらい
  4. Apache Mesosの主な特徴 21 High Availability Zookeeper を使ったフォ ールトトレラントなマスタ ー。無停⽌アップグレード Containers

    DockerおよびAppCイメー ジを使⽤したコンテナ起動 をサポート。 Pluggable Isolation CPU、メモリ、ディスク、 ポート、GPU、およびモジ ュールのカスタムリソース 分離。 Two Level Scheduling スケジュールポリシーを利⽤ した同じクラスタ内のクラウ ドネイティブアプリケーショ ンとレガシーアプリケーショ ンの実⾏。 APIs 新しい分散アプリケーショ ンの開発、クラスタの操作、 および監視のためのHTTP APIの提供。 Web UI クラスタの状態を表⽰し、 コンテナのサンドボックス をナビゲートするための組 み込みWeb UI。 Cross Platform クラウドプロバイダーにと らわれず、Linux、OSX、 Windows上で動作。 Linear Scalability 10,000ノードまで容易に 拡張できることが実証され ている。
  5. 分散システムカーネル - A Distributed Systems Kernel - 27 Mesos Architecture

    Cluster A Cluster B Cluster C http://mesos.apache.org/documentation/latest/architecture/
  6. Mesos Architecture 分散システムカーネル - A Distributed Systems Kernel - 28

    Cluster A Cluster B Cluster C http://mesos.apache.org/documentation/latest/architecture/
  7. Agent 1 Apache Mesos Architecture 29 ・AgentおよびFrameworkの管理 ・エージェントリソースの把握と情報提供 ・リソース割り当てと最適配置 ・Framework(Scheduler)からの要求受付と結果通知

    ・ZooKeeperにより冗⻑化 Mesos Master Mesos Agent Framework ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・リソース情報をマスタに通知 ・マスタからのスケジュール要求の受け⼊れ ・Framework(Executor)によるTASK実⾏と結果通知 ・SchedulerとExecutorで構成される ・SchedulerはマスタへTASK実⾏(配置)を要求 ・Executorはエージェント上でTASKを実⾏ ・ExecutorではContainerによる実⾏も対応可能 ・Mesos Containerizer および Docker Containerizer
  8. Framework 30 Agnet 1 ZooKeeper Quorum Framework A Scheduler Framework

    B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・様々なFrameworkが⽤意されている ・⾃らFrameworkを開発することも可能 Batch Scheduling Data Storage Machine Learning Big Data Processing DevOps tooling Long Running Services
  9. Framework 31 Agnet 1 ZooKeeper Quorum Framework A Scheduler Framework

    B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・様々なFrameworkが⽤意されている ・⾃らFrameworkを開発することも可能 Batch Scheduling Data Storage Machine Learning Big Data Processing DevOps tooling Long Running Services ⻑期実⾏アプリケーションむけに設計されたフレームワークの1つ ・initシステムの代わり Features ・Mesos Containerizerと  Docker Containerizerに対応 ・Web UI ・Taskの常時稼働を保証 ・サービスディスカバリと負荷分散 ・ヘルスチェック Matathon
  10. 39 Mesosphere DC/OSの概要 https://mesosphere.com/product/ ❖ Mesosphere Enterprise DC/OS  ・インプレイス無停⽌アップグレード  ・セキュリティ(RBAC、監査ログ

    等)  ・AD/LDAP/SAML/OpenIDの統合認証  ・カスタマイズCAに対応したPKI統合  ・⾼性能L4/L7ロードバランサー  ・緊急パッチを含む商⽤サポート ঎༻൛Ͱ͸ߋʹॆ࣮ͨ͠ػೳΛఏڙ
  11. MKE : Mesosphere Kubernetes Engine 42 https://mesosphere.com/product/kubernetes-engine/ ・簡単に⾼信頼な構成のk8sをデプロイ ・様々な基盤にk8sを展開し統合管理 ・k8sコンポーネントをセルフヒーリング

    ・アップグレードやスケーリングも容易 ・Entrepriseグレードのセキュリティ ・ネットワークはCalicoに対応  ・K8s as a Service基盤として最適 DCOS(Mesos)͸෼ࢄγεςϜͷ؅ཧ͕ಘҙɻ ͭ·ΓKubernetes΋ɾɾɾ΋ͪΖΜಘҙʂ
  12. Mesosphere DC/OS の最新動向 2018年10⽉28⽇にDC/OS Version 1.12.0をリリース  ・主要な新機能    ・High Density Multi-Kubernetesによる同⼀基盤上への複数k8sデプロイ

       ・Jupyter Notebooks-as-a-ServiceであるMesosphere Jupyter Service の提供    ・より柔軟かつ多様なメトリックの取得が可能になった    ・SELinuxの対応を強化    ・Private Package Registory対応(商⽤版のみ)    ・動的同期などLDAP連携の強化(商⽤版のみ)    ・Terraformベースの統合インストーラの提供    ・その他、各コンポーネントの機能拡張、Bug Fix、パフォーマンス改善 など 43 https://docs.mesosphere.com/1.12/release-notes/1.12.0/