Tweet
Tweet

Slide 1

Slide 1 text

Mackerel in Hatena Platform Team 2017-10-27

Slide 2

Slide 2 text

id:motemen ● 株式会社はてな CTO ● 元 Mackerel ディレクター ● アプリケーションエンジニア ● Go と Git が好きです

Slide 3

Slide 3 text

Mackerel とは

Slide 4

Slide 4 text

History of Mackerel 2007 はてな社内サーバ管理ツール 2013 クラウドサーバ監視サービス 開発開始 2014 Mackerel チーム結成 2014-05 ベータリリース 2014-09 正式リリース 2016-06 連続リリース100週達成

Slide 5

Slide 5 text

Mackerelにおいて、サービスとはホストを運用する上でもっとも大 きな単位です。通常、複数のホストがそれぞれの「役割」（→ ロー ル）を担当し、協調しあってひとつのサービスを形づくります。関係 しあうホストをひとつのサービスに属するものとしてまとめること で、ホストの管理・監視が容易になります。

Slide 6

Slide 6 text

ロールはサービスに所属するホストをさらにその「役割」（アプリ ケーション、データベース、etc…）によって分類する概念です。 Mackerelではホストの状況をロールごとにまとめて可視化すること ができます。

Slide 7

Slide 7 text

App App App DB DB Web Web Web Batch Service

Slide 8

Slide 8 text

mackerel-agent ● 各ホストで稼働する小さなプロセス ○ ホストを Mackerel に登録 ○ 自動的に基本的なメトリックを投稿 ● github.com/mackerelio/mackerel-agent

Slide 9

Slide 9 text

No content

Slide 10

Slide 10 text

Installing mackerel-agent ● mackerel-agent.conf ○ 追加のメトリック ○ カスタマイズされた監視 ○ ホストに紐づくサービス／ロール wget -O - https://mackerel.io/file/script/setup-all-apt.sh | sh a

Slide 11

Slide 11 text

API ● サービス・ロール一覧 ● ホスト情報の取得・更新 ● メトリック投稿・取得

Slide 12

Slide 12 text

mkr ● github.com/mackerelio/mkr ● Mackerel API のコマンドラインインタフェース ○ mackerel-agent の動くホストなら API キー指定不要 mkr hosts -s Hatena-Star -r db-slave | jq 'map(.name)'

Slide 13

Slide 13 text

メトリック ● ホストメトリック ○ 1 ホストの稼働状況 ○ ソフトウェアの状態 ● サービスメトリック ○ サービスの稼働状況 ○ ビジネス上のメトリック

Slide 14

Slide 14 text

メトリック（ロール） ● ロール内のホストを ○ 比較 ○ 積み上げ

Slide 15

Slide 15 text

プラグイン ● github.com/mackerelio/mackerel-agent-plugins ● Linux (fork, netstat), inode ● Docker, Elasticsearch, fluentd, MySQL, nginx, ... ● AWS: CloudFront, DynamoDB, RDS, ...

Slide 16

Slide 16 text

監視 ● ホストメトリック監視 ● サービスメトリック監視 ● チェック監視 ● 外形監視 ● 式監視

Slide 17

Slide 17 text

通知チャンネル ● さまざまな通知サービスに対応 ○ ● アラートだけでなく、Webから手動でグラフ画像の共有も

Slide 18

Slide 18 text

通知グループ ● 通知チャンネルとサービスを 紐付ける ● チームのSlackチャンネルに、 興味あるサービスのアラートを

Slide 19

Slide 19 text

Mackerel in Hatena Platform Team

Slide 20

Slide 20 text

組織構造 Op Team Dev Team 1 Dev Team 2 Dev Team 3 Service B Service A Service C Service D

Slide 21

Slide 21 text

サービスプラットフォームチーム ● ユーザ向けサービスの基盤 ● と、古いサービス ● ほぼオンプレミス ● ビジョン: 既存のシステムの解体と再生 ○ 現在はインフラ的な事情由来のタスクが主

Slide 22

Slide 22 text

SPF: システム特性 ● 巨大な・結合したモノリス ● 全貌の正確な理解は難しい ● Devs / Ops でともに理解しながら手なづけていく過程

Slide 23

Slide 23 text

Devs と Ops のあいだ = Mackerel ● システムを観察する方法はさまざま ● その橋渡しとなるのが Mackerel ● 1 ウェブサービスが Mackerel 上の 1 サービスに対応

Slide 24

Slide 24 text

アプリケーション / 外からの観察 ● 外形監視 ● サービスメトリック

Slide 25

Slide 25 text

HTTP 外形監視 ● 最低限の監視として ● SSL 証明書の有効期限監視も可能 ● サービスに紐付ければ、レスポンスタイムの監視も

Slide 26

Slide 26 text

HTTP レスポンス / サービスメトリック ● より詳しいステータス状況 ● fluentd で収集・集計 ○ fluent-plugin-mackerel ○ レイテンシ ■ average, 90/99 %ile ○ ステータスコード ■ percentage, count

Slide 27

Slide 27 text

Platform-API サービス ● 複数のサービスに渡るAPIエンドポイントを一箇所に集約 ● チームのAPIカタログに

Slide 28

Slide 28 text

アプリケーション / 内からの観察 ● ホスト死活 ● ホストメトリック

Slide 29

Slide 29 text

ホスト死活 ● 最低限の監視として ● mackerel-agent が起動すると自動的に監視

Slide 30

Slide 30 text

ホストメトリック ● ビルトイン: Loadavg, CPU%, Memory, Filesystem, ... ● OS やミドルウェアに合わせたカスタムメトリック ● 監視よりは観察用

Slide 31

Slide 31 text

静的なシステム理解 ● アプリケーションのソースコード ● コードとして表現されたインフラ

Slide 32

Slide 32 text

App Server Configuration Middleware Configuration Application Application Service App Devs Ops

Slide 33

Slide 33 text

Service/Role 世界観 ● リポジトリが Service/Role 対応 ○ hatena/Hatena-Identity ● リポジトリ中のディレクトリが Service/Role 対応 ○ nginx-config/Hatena-Identity/backend/nginx.conf ○ chef/cookbooks/service-identity/recipes/backend.rb

Slide 34

Slide 34 text

監視: 一般的なホストメトリック ● Connectivity ● Filesystem% ○ 特定の Service/Role では無効に

Slide 35

Slide 35 text

監視: ロール固有のメトリック ● db (MySQL)、worker (TheSchwartz)、… ● chefレシピでロールに合わせてカスタムメトリックも設定 ● 監視の閾値は手でチューニング

Slide 36

Slide 36 text

監視: チェック監視 ● ホスト上でアプリケーション／ミドルウェアが 正しく稼働しているか？ ● ミドルウェア設定ファイルの隣に配置

Slide 37

Slide 37 text

その他 ● イベントのグラフ投稿 ○ Dev: デプロイ ○ Op: chef 適用 ● mkr でサービス事情の監視 ○ 旧: cron で DB 不整合の件数をメールで通知 ○ 新: mkr throw でサービスメトリック投稿、監視閾値設定

Slide 38

Slide 38 text

Example: Go App

Slide 39

Slide 39 text

● 既存 API の置き換え（Go） 新規開発の例: APIサーバ DB app nginx front nginx

Slide 40

Slide 40 text

設定した監視ポイント ● 外形監視（レスポンスボディチェック） ● nginx - app 間通信（専用エンドポイント + check-http） ● app - DB 間通信（専用エンドポイント + check-http） ● nginx: カスタムメトリック（mackerel-plugin-nginx） ● app: カスタムメトリック（mackerel-plugin-gostats） ● おまけ: app-version チェック

Slide 41

Slide 41 text

● 旧システムで、ロール全体の CPU% 減少 ● ホスト数も削減 ○ 積み上げグラフで、台数を抽象化 置き換え後

Slide 42

Slide 42 text

非エンジニアとの会話にもグラフ

Slide 43

Slide 43 text

App Server Configuration Middleware Configuration Application Application Service App Devs Ops KPI, Cost Business

Slide 44

Slide 44 text

Mackerel を使ってみて ● Devs と Ops でシステムを理解していくための場 ● Service/Role 世界観による情報整理 ● Mackerel is for ... ○ サーバ監視 ○ サーバ管理 ○ チームビルド

Slide 45

Slide 45 text

No content