Apache Mesos is 何？

2018年12月5日に御茶ノ水ソラシティカンファレンスセンターで開催されたJapanContainerDays v18.12での発表資料です。

Mesos User Group Tokyoのコミュニティセッション「コンテナプラットフォームとしてのApache Mesos 〜ユーザ事例を通して学ぶなぜなにMesos〜」（2W4）として、ZOZOテクノロジーズの光野さんと共同登壇するうち、こちらのスライドは前半部分の資料です。

Transcript

1. Apache Mesos is Կ ʁ Mesos User Group Tokyo Japan Container Days v12.18 - DAY 2 [ 2W4 ] Hashtags : #containerdaysjp #HallWEST ( #MUGT )
2. 2 Profile • 名前︓＿・）つかまん（ @tsukaman ） • 仕事︓⽇本ヒューレット・パッカード株式会社 Pointnext Hybrid IT Practice 所属 • 担当︓打楽器（ドラムとパーカッション） • 書籍︓Ansible実践ガイド、Raspberry Pi 〔実⽤〕⼊⾨ • 好き︓眼鏡、⾳楽、息⼦、ガジェットIYH、眼鏡 • 最近︓JKDの作業（コレとMeetupとshowKsと･･･）で    なんかもうものすんごくバタバタしていました
3. 3 Agenda 1. Apache Mesosの概要 2. Apache Mesosのアーキテクチャ 3. Mesosphere DC/OSの概要
4. 1. Apache Mesosの概要 - What’s Apache Mesos - 4
5. Mesosってあれでしょ︖ コンテナ管理するヤツ
6. Mesosってあれでしょ︖ コンテナ管理するヤツ
7.  http://mesos.apache.org 
8. Mesosは “A distributed systems kernel”
9. #とは？
10. 10 従来システム管理の課題 Cluster A Cluster B Cluster C 複数のワークロードを効率良くクラスターリソースに分散させたい︕ • 物理 or 仮想マシン単位で分散︖ ➡ つらい • 休眠・余剰リソースどうする︖ ➡ つらい • システムの冗⻑性ある︖ ➡ つらい • スケールアップ・スケールダウンは︖ ➡ つらい
11. ͭΒΈ
12. そこで Mesos
13. Apache Mesosによるデータセンターリソース管理の効率化 これを Cluster A Cluster B Cluster C
14. Apache Mesosによるデータセンターリソース管理の効率化 こうじゃ！ Cluster A Cluster B Cluster C Cluster A Cluster B Cluster C
15. Apache Mesosによるデータセンターリソース管理の効率化 υϯʂ Cluster A Cluster B Cluster C
16. Apache Mesosによるデータセンターリソース管理の効率化 ͲͲΜʂ
17. A distributed systems kernel
18. とは
19. DCリソース全体を抽象化し 効率の良い管理を実現する データセンターカーネル
20.  http://mesos.apache.org 
21. Apache Mesosの主な特徴 21 High Availability Zookeeper を使ったフォ ールトトレラントなマスタ ー。無停⽌アップグレード Containers DockerおよびAppCイメー ジを使⽤したコンテナ起動 をサポート。 Pluggable Isolation CPU、メモリ、ディスク、 ポート、GPU、およびモジ ュールのカスタムリソース 分離。 Two Level Scheduling スケジュールポリシーを利⽤ した同じクラスタ内のクラウ ドネイティブアプリケーショ ンとレガシーアプリケーショ ンの実⾏。 APIs 新しい分散アプリケーショ ンの開発、クラスタの操作、 および監視のためのHTTP APIの提供。 Web UI クラスタの状態を表⽰し、 コンテナのサンドボックス をナビゲートするための組 み込みWeb UI。 Cross Platform クラウドプロバイダーにと らわれず、Linux、OSX、 Windows上で動作。 Linear Scalability 10,000ノードまで容易に 拡張できることが実証され ている。
22. 22 導⼊実績 既に数多くのモダンなサービスで採⽤されている
23. 23 導⼊実績 既に数多くのモダンなサービスで採⽤されている
24. ZOZO Technologiesさんの 事例紹介は当セッションの後半で
25. 2. Apache Mesosのアーキテクチャ - Architecture Overview - 25
26. 分散システムカーネル - A Distributed Systems Kernel - 26 Cluster A Cluster B Cluster C
27. 分散システムカーネル - A Distributed Systems Kernel - 27 Mesos Architecture Cluster A Cluster B Cluster C http://mesos.apache.org/documentation/latest/architecture/
28. Mesos Architecture 分散システムカーネル - A Distributed Systems Kernel - 28 Cluster A Cluster B Cluster C http://mesos.apache.org/documentation/latest/architecture/
29. Agent 1 Apache Mesos Architecture 29 ・AgentおよびFrameworkの管理 ・エージェントリソースの把握と情報提供 ・リソース割り当てと最適配置 ・Framework(Scheduler)からの要求受付と結果通知 ・ZooKeeperにより冗⻑化 Mesos Master Mesos Agent Framework ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・リソース情報をマスタに通知 ・マスタからのスケジュール要求の受け⼊れ ・Framework(Executor)によるTASK実⾏と結果通知 ・SchedulerとExecutorで構成される ・SchedulerはマスタへTASK実⾏(配置)を要求 ・Executorはエージェント上でTASKを実⾏ ・ExecutorではContainerによる実⾏も対応可能 ・Mesos Containerizer および Docker Containerizer
30. Framework 30 Agnet 1 ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・様々なFrameworkが⽤意されている ・⾃らFrameworkを開発することも可能 Batch Scheduling Data Storage Machine Learning Big Data Processing DevOps tooling Long Running Services
31. Framework 31 Agnet 1 ZooKeeper Quorum Framework A Scheduler Framework B Scheduler Master Standby Standby Zoo Keeper Zoo Keeper Zoo Keeper … Offer Offer Offer Offer Native App Native App Framework A Framework A Framework A Executor Task Agent N Framework A Framework A Framework B Executor Task ・様々なFrameworkが⽤意されている ・⾃らFrameworkを開発することも可能 Batch Scheduling Data Storage Machine Learning Big Data Processing DevOps tooling Long Running Services ⻑期実⾏アプリケーションむけに設計されたフレームワークの１つ ・initシステムの代わり Features ・Mesos Containerizerと  Docker Containerizerに対応 ・Web UI ・Taskの常時稼働を保証 ・サービスディスカバリと負荷分散 ・ヘルスチェック Matathon
32. 32 その他のFramework http://mesos.apache.org/documentation/latest/frameworks/
33. 3. Mesosphere DC/OSの概要 - Ecosystem for Apache Mesos - 33
34. Mesosが データセンターカーネル なら
35. DC/OSは データセンター オペレーティングシステム
36. DC/OSは データセンター オペレーティングシステム
37. DC/OSは 分散クラウド オペレーティングシステム
38. 38 Mesosphere DC/OSの概要 ・MesosをCoreとした分散システム基盤 ・様々な基盤のリソースを抽象化し統合 ・洗練されたインタフェース(GUI/CLI)を提供 ・セルフヒーリングやオートスケーリングを実装 ・監視やロギングなど運⽤に必須な機能も提供 ・充実したなサービスカタログを⽤意 ・サービスディスカバリやLBも実装 ・コンテナオーケストレーションツールとして  の活⽤も可能 https://mesosphere.com/product/ Mesosphere DC/OSͷಛ௃
39. 39 Mesosphere DC/OSの概要 https://mesosphere.com/product/ ❖ Mesosphere Enterprise DC/OS  ・インプレイス無停⽌アップグレード  ・セキュリティ（RBAC、監査ログ 等）  ・AD/LDAP/SAML/OpenIDの統合認証  ・カスタマイズCAに対応したPKI統合  ・⾼性能L4/L7ロードバランサー  ・緊急パッチを含む商⽤サポート ঎༻൛Ͱ͸ߋʹॆ࣮ͨ͠ػೳΛఏڙ
40. 40 Universe（サービスカタログ）
41. そして 皆さんお待ちかね
42. MKE : Mesosphere Kubernetes Engine 42 https://mesosphere.com/product/kubernetes-engine/ ・簡単に⾼信頼な構成のk8sをデプロイ ・様々な基盤にk8sを展開し統合管理 ・k8sコンポーネントをセルフヒーリング ・アップグレードやスケーリングも容易 ・Entrepriseグレードのセキュリティ ・ネットワークはCalicoに対応  ・K8s as a Service基盤として最適 DCOS(Mesos)͸෼ࢄγεςϜͷ؅ཧ͕ಘҙɻ ͭ·ΓKubernetes΋ɾɾɾ΋ͪΖΜಘҙʂ
43. Mesosphere DC/OS の最新動向 2018年10⽉28⽇にDC/OS Version 1.12.0をリリース  ・主要な新機能    ・High Density Multi-Kubernetesによる同⼀基盤上への複数k8sデプロイ    ・Jupyter Notebooks-as-a-ServiceであるMesosphere Jupyter Service の提供    ・より柔軟かつ多様なメトリックの取得が可能になった    ・SELinuxの対応を強化    ・Private Package Registory対応（商⽤版のみ）    ・動的同期などLDAP連携の強化（商⽤版のみ）    ・Terraformベースの統合インストーラの提供    ・その他、各コンポーネントの機能拡張、Bug Fix、パフォーマンス改善 など 43 https://docs.mesosphere.com/1.12/release-notes/1.12.0/
44. 44 Conclusion MesosはDCリソースを抽象化して 効率の良い管理を実現します 多彩なフレームワークにより 柔軟なタスク配置/実⾏を可能にします DC/OSは運⽤まで視野に⼊れた 分散クラウドオペレーティングシステム
45. 45 See also… https://www.slideshare.net/zembutsu/5min-apache-mesos-introduction
46. 46 See also… https://www.slideshare.net/ShingoKitayama/apache-mesos-76483210
47. 47 See also… https://www.slideshare.net/JunichiYoshise https://speakerdeck.com/jyoshise/
48. 48 Thank you!