luckyframeworkで驚異的なスループットを出した話

Transcript

1. 1.

   luckyframeworkで驚異的なスループット！ @y2k2mt

2. 2.

   みなさん、 spider-gazelle という crystal 製のWebフレームワー クをご存知でしょうか？ https://github.com/spider‑gazelle

3. 3.

   ベンチマークをとると、なんと 300 k req/sec という驚異的なスループ ットを叩き出すというフレームワークです!

4. 4.

   なぜこのようなベンチマーク結果を出すことが可能なのかを調べてみま した

5. 5.

   spider‑gazelleの実装を見てみると、Webサーバとは別に cluster と いう仕組みが 用意されています https://github.com/spider‑gazelle/action‑ controller/blob/master/src/action‑controller/server.cr#L71

6. 6.

   これが何をしているのかというと、動作しているマシンのコア数を取得 して、コア数分の自分自身のプロセスを 立ち上げています count = System.cpu_count if count <= 0

   ... # Start the processes (0_i64...count).each do @processes << future do process = nil Process.run(process_path, args, input: Process::Redirect::Close, output: Process::Redirect::Inherit, error: Process::Redirect::Inherit )
7. 7.

   つまり、１つのcrystal のプロセスが使用できるコアは１つなので、 プロセスをコア数分立ち上げると、全てのコアを使うことが可能になり ます

8. 8.

   crystal のHTTPライブラリは SO_REUSEPORT という仕組みに対応てい ます。これは、複数のプロセスで同じポートを使用することを可能にす るTCPソケットのオプションです。(バランシング可能なのはLinux kernel 3.9以降のみ)

9. 9.

   crystal での使い方は非常に簡単で、 HTTP::Server の bind_tcp メ ソッドのオプションとして指定するだけです server = HTTP::Server.new

   server.bind_tcp("localhost", 5000, reuse_port: true) server.listen
10. 10.

    単純にプロセスを並行して立てているだけであれば、 spider- gazelle の仕組みでなくても、 supervisord などで同じことが実行で きるのではないか！ ということで、やってみました

11. 11.

    crystal の簡単なWebサーバを今回は luckyframework で作ってみ ました。作成したアプリケーションを supervisord で並行して実行す るために のような設定ファイルを書きました [program:bar]

    command=/home/foo/bar/server process_name=%(program_name)s_%(process_num)02d numprocs=2 user=foo autorestart=true stdout_logfile=/var/log/supervisor/bar-supervisord.log stdout_logfile_maxbytes=1MB stdout_logfile_backups=5 stdout_capture_maxbytes=1MB redirect_stderr=true
12. 12.

    実行！ 環境は Ubuntu 16.04 CPU: 4 MEM: 16G (t2‑xlarge) です

    numprocs=1 wrk -c20 -t2 http://localhost:5000/heartbeat Running 10s test @ http://localhost:5000/heartbeat 2 threads and 20 connections Thread Stats Avg Stdev Max +/- Stdev Latency 305.35us 71.91us 1.02ms 88.04% Req/Sec 32.61k 1.22k 36.09k 71.78% 655191 requests in 10.10s, 48.74MB read Requests/sec: 64870.08 Transfer/sec: 4.83MB
13. 13.

    numprocs=2 Running 1m test @ http://localhost:5000/heartbeat 2 threads and 20

    connections Thread Stats Avg Stdev Max +/- Stdev Latency 180.21us 276.69us 8.09ms 96.72% Req/Sec 69.12k 2.84k 76.07k 71.42% 8252187 requests in 1.00m, 613.85MB read Requests/sec: 137515.74 Transfer/sec: 10.23MB
14. 14.

    まとめ 並列プロセスを立てて、ポートでバランシグするとCPUを有効活用 できる crystal のパフォーマンスに物凄いポテンシャルを感じた