入門Envoy - Speaker Deck

入門Envoy

by Kurochan

Slide 1

Slide 1 text

⼊⾨Envoy 株式会社サイバーエージェント AI事業本部  黒崎優太 (@kuro_m ) @AI Tech Developer Conference

Slide 2

Slide 2 text

黒崎優太 • 株式会社サイバーエージェント  Dynalyst 開発責任者 • 業務は Scala + AWSが中⼼ • イラスト図解でよくわかる ITインフラの基礎知識 •書きました • ⾃宅サーバなどが好きです @kuro_m @kurochan

Slide 3

Slide 3 text

Contents • Envoyとは • Envoyができること • Envoyのつかいかた • サービスメッシュについて • Dynalystでの導⼊事例

Slide 4

Slide 4 text

Envoyとは

Slide 5

Slide 5 text

Envoyを使ったことがある⼈？ •!

Slide 6

Slide 6 text

Envoyに対する誤解 • EnvoyとIstioは同じですか？ • いいえ、違います (役割違い) • Envoyはサービスメッシュですか？ • いいえ、違います (Envoyだけでは成⽴しない) • Envoyはマイクロサービスですか？ • いいえ、違います (Envoy⾃⾝はサービスではない) • Envoyとは何者なのか • いろんなところで単語は聞くけれど…

Slide 7

Slide 7 text

Envoyとは？ • OSSのL /L プロキシ • 「モダンなサービス指向アーキテクチャ」向け • 「ユニバーサルデータプレーン」を⽬指して開発されている • パフォーマンスに優れ、拡張性が⾼く、API経由でコントロール可能なプロキシ • C++で書かれているらしい, ⼿元でビルドしてみたら1時間以上掛かった https://www.envoyproxy.io/docs/envoy/latest/intro/what_is_envoy

Slide 8

Slide 8 text

Envoyのユースケース • Edge Proxy • 外部(インターネット)との境界に設置する • API Gatewayのようなものとしても • サービスやInternal Proxyにトラフィックをロードバランシング/転送する • Internal Proxy • 内部での通信をロードバランシング/転送する • Egress Proxy • 外向きのトラフィックをプロキシする(後述)

Slide 9

Slide 9 text

Envoyができること

Slide 10

Slide 10 text

Envoyができること • Envoyの「プロキシ」としての動作を理解するために、まずはシンプルに  httpのリクエストを受け取ってバックエンドのサーバに転送することを考える • 慣れ親しんだNginxとの⽐較で⾒ていきましょう

Slide 11

Slide 11 text

Nginxと⽐較 • 構成 backend Nginx or Envoy proxy . . . . . .

Slide 12

Slide 12 text

Nginxと⽐較

Slide 13

Slide 13 text

Nginxと⽐較: listen

Slide 14

Slide 14 text

Nginxと⽐較: virtual host

Slide 15

Slide 15 text

Nginxと⽐較: ルーティング

Slide 16

Slide 16 text

Nginxと⽐較: ロードバランシング

Slide 17

Slide 17 text

Envoyができること • 基本的なプロキシができることはわかったので、  さらにできることをかいつまんで紹介します

Slide 18

Slide 18 text

各種プロトコル対応 • HTTP( . / ) • gRPC • AWS Lambda, DynamoDB • Kafka • MySQL • Postgres • Redis • Thrift • ZooKeeeper

Slide 19

Slide 19 text

サーキットブレーカー • 突発的な負荷の増⼤、何かしらの障害によりプロキシ先の  レスポンスタイムやエラーレートが増⼤した時にトラフィックを転送しないようにする • 障害の連鎖が防⽌できる • 条件指定で⾃動でリトライをさせることもできる

Slide 20

Slide 20 text

トラフィック分割 • A/Bテストやカナリアリリース、ローリングアップデートなど

Slide 21

Slide 21 text

ロードバランシング • Random • Weighted round robin • Weighted least connection • Ring Hash • Maglev • 昔紹介記事を書きました • https://www.slideshare.net/kuro_m /maglev-a-fast-and-reliable-software-network- load-balancer

Slide 22

Slide 22 text

Dynamic Conﬁguration • 動的に設定を変更することができる • 今まで紹介したのは設定ファイルによる静的な設定⽅法 • Dynamic from ﬁlesystem • ファイルの変更を監視して⾃動で反映 • 外部から設定変更するアプリケーションが作りやすい • Dynamic from control plane • gRPC streamingで管理サーバと通信して  リアルタイムに設定変更可能(xDS protocol) • これが特徴的(後述)

Slide 23

Slide 23 text

Envoyのつかい⽅

Slide 24

Slide 24 text

Envoyの使い⽅ • Envoyのデプロイパターンを紹介します

Slide 25

Slide 25 text

Edge Proxy • ⾃分たちのサービス群の中と外の境界に置くプロキシ backend Envoy

Slide 26

Slide 26 text

Egress Proxy • 外向きのトラフィックの通信先などを透過的に書き換える • クライアントサイドロードバランシングのようなことができる • 通信先のリストを知らないといけないのでサービスディスカバリが必要になる backend Envoy

Slide 27

Slide 27 text

サービスメッシュ • サービス間の通信をEnvoyが媒介する • コンテナで動くアプリケーションの場合はEnvoyのコンテナを並べてプロキシ • 「インジェクション」すると表現されることもある • アンバサダーパターンとも • 詳しくは後述 Service B Envoy Service A Envoy host A host B

Slide 28

Slide 28 text

Envoyを「インジェクション」する？ • コンテナを横に並べるだけですべての通信が勝⼿にEnvoyを経由する訳ではない • iptablesで出⼊りするトラフィックをすべてEnvoyに吸い込む • Egressはすべて吸い込むとEnvoy⾃⾝のトラフィックも吸い込んでしまうので除外条件つき iptablesの設定例

Slide 29

Slide 29 text

サービスメッシュについて

Slide 30

Slide 30 text

サービスメッシュとは • サービス(アプリケーション)同⼠が連携するために直接通信し、  メッシュ状になっているもののこと • そのために必要な機能をプロキシによって透過的に提供する  インフラレイヤのこと

Slide 31

Slide 31 text

サービスメッシュを導⼊する動機 • 機能ごとにサービスを分割し、サービス間が通信で連携することによりシステム全体を構築する(サービス指向アーキテクチャ) • サービスの単位が⼩さくなるとマイクロサービスアーキテクチャ • サービスが分割されると通信が発⽣するため考えることが増える • 通信先のリストが欲しい(サービスディスカバリ) • サービス間の通信の流れをトラッキングしたい(分散トレーシング) • 障害時に影響範囲を⼩さくしたい(サーキットブレーカー) • 負荷分散したい(ロードバランシング) • などなど • ⾃前で実装していたら⼤変なので全てProxyを挟んで透過的に、  しかも⾃動で設定変更の反映をしてほしい => Envoy登場

Slide 32

Slide 32 text

コントロールプレーンとデータプレーン • ここまで話した内容だとEnvoyは外部から設定しないと動作しない • データプレーン(D-plane)と  それらを管理するコントロールプレーン(C-palne)が必要

Slide 33

Slide 33 text

D-planeが⾏うべきこと • サービスディスカバリ • バックエンド(upstream)の転送先は？ • ヘルスチェック • 転送先は⽣きているのか？ • ルーティング • どのリクエストをどのバックエンドに転送する？ • ロードバランシング • 認証/認可 • JWTの検証やTLSの終端など • mTLSを⽤いてサービスメッシュ内のトラフィックを  暗号化 + 認証/認可することも • 可観測性(Observability) • 各種メトリクス, トレーシング, ロギングなど

Slide 34

Slide 34 text

C-planeが⾏うべきこと • D-planeの制御 • D-planeは単独では何をするべきなのか知らないので、司令をする • 直接データを転送することには関与しない(D-palneの仕事) • C-planeはサーバだったりDBで構成されていて、  D-planeはC-plalneに⾃分は何をすべきか問い合わせにいくパターンが多い

Slide 35

Slide 35 text

EnvoyをD-planeに採⽤している例 • C-planeの例を3つ紹介します

Slide 36

Slide 36 text

Istio https://istio.io/latest/docs/ops/deployment/architecture/

Slide 37

Slide 37 text

AWS App Mesh https://aws.amazon.com/jp/blogs/news/introducing-aws-app-mesh-service-mesh-for-microservices-on-aws/

Slide 38

Slide 38 text

Google Cloud Endpoints https://cloud.google.com/blog/ja/products/api-management/announcing-api-management-for-services-that-use-envoy

Slide 39

Slide 39 text

Dynalystでの導⼊事例

Slide 40

Slide 40 text

Envoyを導⼊することになった動機 • 広告⼊札価格決定の機械学習の推論部分を外部サービス化することになった • データサイエンティストが増えてきてA/Bテストをたくさん回すようになった • サービスとして切り離してA/Bテストをたくさん回しやすいようにしたい • データサイエンティストはScalaよりもPythonでロジック実装できたほうが嬉しい • ⾼パフォーマンスが要求される • ms程度でレスポンスしてほしいのでサービス間で直接通信させたい • きちんとトラフィックをモニタリングしたい • サーキットブレーカーが欲しい • => サービスメッシュが向いてそう • 検証中

Slide 41

Slide 41 text

AWS App Mesh • AWSのサービスメッシュのマネージドサービス • EC , ECS, EKSでサポートされている • Envoyのことを知らなくても使えるように抽象化されて提供されている印象 • ⾃分の場合は抽象化されていると逆に挙動が気になってしまうため今回の発表に⾄る • 実務上はEnvoyのことをほぼ意識することなく使えて便利 • AWS X-Rayでトレーシング可能

Slide 42

Slide 42 text

C-plane • AWS App Meshのマネージドサービスとして提供 • サービスディスカバリはxDS APIを使う • AWS Cloud Map(サービスディスカバリのマネージド‧サービス)と連携できる • Amazon ECSを使っている場合は  Cloud Map連携をオンにするだけで⾃動でコンテナが登録されて便利

Slide 43

Slide 43 text

D-plane • Envoyを利⽤ • AWSが提供しているApp Mesh⽤のEnvoyコンテナを使うと  起動時にApp MeshのAPIを叩いて初期設定を⽣成しEnvoyを起動してくれる https://docs.aws.amazon.com/app-mesh/latest/userguide/envoy.html

Slide 44

Slide 44 text

パフォーマンス問題 • Pythonで書かれた機械学習推論サーバが推論サーバ単体の時と⽐較して Envoyを間に挟むとスループットが半分以下になる • CPU使⽤率も100%近くあったのが半分以下になってしまう

Slide 45

Slide 45 text

原因 • 推論サーバとの通信にはgRPC(HTTP/ )を使っていた • Pythonをマルチプロセスで動かし、SO_REUSEPORTを使って  コネクションごとの負荷分散をしていた • HTTP/ は1つのコネクションに複数のストリームを同時に流すことができる • Envoyはコネクションを有効活⽤するためにできるだけ多くのリクエストを1つのストリームに流そうとする • Pythonは並列処理が苦⼿(GIL)なのでコネクション数が少ないと  スループットが出しにくい • Envoyと推論サーバのコネクション数を増やせば解決しそう

Slide 46

Slide 46 text

対処 • EnvoyはデフォルトだとCPUのコア数と同じ数のワーカースレッドを⽣成する • EnvoyはHTTP/ において1つの宛先につきワーカー数以上のコネクションを貼らない(ようにみえる, 要出典) • --concurrency を起動時にオプションで渡すことでスレッド数は変更可能 • App Mesh⽤の公式Envoyコンテナはオプションが変更できない • 起動スクリプトを改造しカスタムのEnvoyイメージを作成 • Feature requestしました: https://github.com/aws/aws-app-mesh-roadmap/issues/ • スループットは改善した • (あまり綺麗な解決ではないものの…)

Slide 47

Slide 47 text

まとめ

Slide 48

Slide 48 text

まとめ • Envoyの概要を紹介したあと、  Envoyとサービスメッシュの関係性、  Dynalystでの導⼊事例について紹介しました。 • これから使ってみたいと思っていた⼈の参考になれば幸いです

Slide 49

Slide 49 text

No content