Share
Embed
microservices-infrastructure-with-envoy-consul-nomad
Envoy Meetup Tokyo #1 の発表スライドです。
発表後から誤字の修正のほか次の修正が入っています。
P32. スライドが一枚抜けていたので追加
P26. 設定ミスとなる正しい理由をご指摘いただいたので正しい対処方法を記載
Kentaro Maeda
January 08, 2020
Transcript
37 slides
-
インフラ基盤に求めるもの マイクロサービス化を推進する機能 ・セットアップとデプロイの単純化 ・あらゆるサービスがどのサーバーでも動くように ・サーバーリソースの共有 ・複数サービスを同居する場合でもポート管理を⾃動化する ・スケールアップ/スケールアウトを容易にする ・サービスの追加や変更に動的に対応する ・サービスを再起動することなく構成を変更する ・どこでどのサービスが動いているのかを把握できるようにする
・多部署への申請が必要な作業をなるべく減らす ・サービスごとにLBを設定せずクライアントサイドLBを導⼊ ・ログや運⽤監視など⾮機能要件の標準を設定する 8 -
(参考)Kubernetes について k8sクラスタの⾃前構築と運⽤が必要な状況だったため⾒送り ・k8sの運⽤経験を持つメンバーがおらず、時間をかけて検証する余裕もなかった ・k8sのすべての機能を必要としていない ・docker-composeがマルチノードで動けばいい程度のものがあればいい ・実績のある⼩さなツールを組み合わせることで、⾃分たちで構築・改善ができ、 また⾃信をもって運⽤ができると判断した ・将来的にk8sに移⾏するかもしれないが、それでもサービスをコンテナ化してお けば無駄にはならない
・コンテナ化よりもサービスメッシュによるAPI統合の⽅が重要 ・各ツールの採⽤事例や個⼈で作ったプロトタイプ(※最終⾴参照)で良さげな感触を 得た 11 -
(参考)サービスの技術構成 コンテナ化することで⾔語やライブラリの⾃由度は上がるが、チームとして標準的な 技術構成を決めている ・Java (AdoptOpenJDK LTS)/Kotlin 1.3 ・Spring Boot 2.1/2.2
・Spring Cloud Consul ・Spring Cloud Sleuth ・REST or gRPC ・micrometer ・Jib 技術トレンドに合わせて随時⾒直していく 14 -
HashiCorp社のデプロイツール 各サーバーにエージェントをインストールし、リソースが空いているサーバーに Dockerコンテナを起動できる ・シングルバイナリでインストールが楽 ・複数Dockerイメージ、起動するコンテナ数、⾃動復旧、ローリングアップデートな どを宣⾔的な設定ファイルで記述する ・k8s の deployment set
相当 ・動的ポートを扱えるので、複数サービスの共有やスケールアウトも問題なし ・起動したDockerコンテナのホスト・ポートの管理やヘルスチェックはConsulに移 譲する 16 -
サービスのルックアップ Consul + Nomadで簡易なコンテナクラスタは組めるが、サービス間通信では通信先 サービスの明⽰的なルックアップが必要、かつ負荷分散も⾃分で実装が必要 通信先のアドレスを得るには次のような⽅法がある ・Consul REST API ・
curl http://localhost:8500/v1/health/service/service-a ・Consul 組み込みDNS ・動的ポートへはsrvレコードへの対応が必須 ・Spring Cloud Consul などのライブラリ なるべく、サービスが基盤の構成を意識しないといけない実装は避けたい 基盤がサービス間通信で相⼿先サービスへの通信を⾃動的に解決するようにする 17 -
サービスメッシュ サービス間通信をフックし、アドレス解決・負荷分散・ロギング・エラー対応などの 共通処理を後から設定する⼿段 サービスの前段にプロキシとしてenvoyなどのプロキシを起動し、ingress/egressの 通信にプロキシを介して実現する プロキシを管理するControlPlaneというプロセスも必要となる サービスが別のサービスと通信する場合(egress)、どのサービスであっても⾃分のプ ロキシに向けて通信しておけばよくなる ・サービスのスケールアップなどで通信先が増えた場合も、何もしなくても良い ・環境変数などでegress向けのアドレスを変更可能にしておく
・gRPCで単⼀の接続のみで複数のRPCや負荷分散を⾏う場合には特に重要 18 -
サービスメッシュの実現⼿段 ・Consul Connect ・consul サービス間でmTLS通信を envoy か組み込みプロキシで⾏う ・開発当時はL4プロキシのみ、かつ nomad と連携していなかった
・今の最新バージョンならL7プロキシも nomad 連携も可能(※最終⾴参照) ・envoyのすべての機能は使えないのでまだ様⼦⾒ ・Istio with nomad ・「多分動くけどテストしてない」という注意書きと⼀緒に書きかけっぽいページ がIsitio公式にあった → 最新バージョンで消えた ・nomad でenvoyをどう設定するかなどの考えたかは踏襲した ・envoy + ⾃作 ControlPlane ・実装難度は⾼いが、独⾃の要件やインフラ・ネットワーク制約に対応しやすい 19 -
L7プロキシサーバー xDSプロトコルにより設定ファイルの⼀部を外部サーバー(ControlPlane)から取得・ ホットリロードできる Nomadのジョブ定義ファイルにサービスと⼀緒に起動するように設定 job "service-a" { count=2 group "service-a-group"
{ task "service-a-app" { driver = "docker" config { image = "service-a" } env {//egres host/port} } task "service-a-sidecar" { driver = "docker" config { image = "envoy-proxy" } env { // xDS ホスト} } } 20 -
xDSキャッシュ更新処理の実装 Consul のServiceDiscovery, KVSを使⽤してxDSキャッシュを更新する ・ServiceDiscovery ・Nomadで起動したDockerコンテナのアドレスがConsulに登録されるので、その 変更がある度にEDSのデータとして設定 ・KVS ・変更頻度の低いLDS,RDS,CDS,SDSの設定をKVSに登録 ・KVSに変更を監視し、変更がある度にキャッシュを更新する
・KVSに登録する内容はLDS,RDS,CDS,SDSの内容をそのままYAMLにした ・envoyの全機能が使え、新バージョンにも対応しやすい ・機能が多く、記述量も多いので慣れるまでは苦労した 23 -
設定ファイルの例 version_info: 1 service_name: edge-router resources: #lds - "@type": type.googleapis.com/envoy.api.v2.Listener
name: egress address:{ socket_address: {address: 0.0.0.0, port_value: 3101 } } filter_chains: - filters: - name: envoy.http_connection_manager typed_config: "@type": type.googleapis.com/envoy.config.filter.network.http_connection_manager.v2.HttpConnectionManager rds: route_config_name: egress_route config_source: {ads: {}} http_filters: - name: envoy.router #rds - "@type": type.googleapis.com/envoy.api.v2.RouteConfiguration name: egress_route virtual_hosts: - name: router_route domains: ["*"] routes: - match: { prefix: "/hi_a" } route: { cluster: service-a } - match: { prefix: "/hi_b" } route: { cluster: service-a } #cds - "@type": type.googleapis.com/envoy.api.v2.Cluster name: service-a <<: *cluster // 割愛 - "@type": type.googleapis.com/envoy.api.v2.Cluster name: service-b <<: *cluster // 割愛 24 -
ControlPlane実装の困りごと(2) 1でサービスヘルスチェックを追加したが、チェックOKまでに時間がかかると、⼀時 的にConsulでチェックOKのサービスが0になり、その瞬間にenvoyが起動しなくなる envoy は設定ミスがあると、起動/ホットリロードができない。 この場合、CDS(クラスター)にぶら下がるEDS(エンドポイント)が0になるので設定ミ ス扱い 通信不可能なホストであっても、EDS上の定義があれば問題ないので、 Consulのサービスがない場合はダミーのEDSを追加するようにして回避した (発表後に訂正)
CDS(クラスター)にぶら下がるエンドポイントがない場合にEDSを作成していなくて 設定ミスとなっていた。 エンドポイントが0のEDSを作成するようにすると問題が起きなくなった。 26 -
運⽤監視 現時点ではPrometheusと社内の監視ツールを使⽤している ・コンテナで実⾏しているenvoyとサービスはPrometheusエンドポイントを公開 ・SpringBoot ではmicrometerを使⽤ ・node exporter, consul exporterなど ホストプロセスでも各種expoterを使⽤
・リソース監視のほか、Consulのヘルスチェック失敗、Systemdのステータス異常、 エラー発⽣なども監視している 引き続き、最適な運⽤監視の⼿段を検討している 33 -
※参考資料 ・Yakst - 多分あなたにKubernetesは必要ない ・https://yakst.com/ja/posts/5455 ・クックパッド開発者ブログ - Service Mesh and
Cookpad ・https://techlife.cookpad.com/entry/2018/05/08/080000 以下、発表者によるもの ・Spring, consul, envoy, ControlPlane Java, gRPC プロトタイプ ・https://github.com/kencharos/envoy-service-discovery-spring ・consul connect, L7 traffic manager, nomad consul connect を試す ・http://kencharos.hatenablog.com/entry/2019/12/17/010151 36