Serverless Performance 実測比較 / Serverless Performance Measured Comparison

1 Copyright © Acroquest Technology Co., Ltd. All rights reserved.
Serverless Performance 実測比較 2019-08-01 Acroquest Technology株式会社阪本雄一郎 Serverless Meetup Osaka

Copyright © Acroquest Technology Co., Ltd. All rights reserved. 2
阪本雄一郎 @phonypianist アクロクエストテクノロジー株式会社シニアアーキテクト兼大阪事業所所長 • IoT、サーバーレスアーキテクチャ - 社会インフラ向け制御システム - 公共交通向け設備管理システム • BCI • 「Java本格入門」執筆

Acroquestのミッション・ビジョン Copyright © Acroquest Technology Co., Ltd. All rights reserved.
3 テクノロジストチームとしてビジネスの革新的価値創出に挑戦するビジョン Acroquestの創り出す技術で地球を感動で進化させるミッション

「働きがいのある会社(GPTW)」ランキング(従業員25～99人部門) 1位を 3回受賞１位１位１位

Serverlessなプログラムを開発するとき何の言語を使用しますか？

Node.js Python Ruby Java C# Go PowerShell

Serverlessで注意すべきポイントの1つ「コールドスタート問題」

リクエストが稀であれば、 WarmUpツール等を使う手はアリ

リクエストがそれなりに多い場合どうなるか？

新たに対応が増えた言語、新バージョンに対応した言語もあるため、言語別にパフォーマンスをチェックしてみる

言語バージョン Python 3.7 / 3.6 / 2.7 Node.js 10.15 / 8.10 Ruby 2.5 Java 8 Go 1.x C# / PowerShell 2.1 (.NET Core) 2018/11/19 Python3.7に対応 2019/05/15 Node.js 10に対応 2018/09/11 PowerShellに対応 2018/01/15 Go言語に対応 ※2019/08/01現在

計測に使用したサンプルプログラムは以下の2つを連続して行う ① 500万件の要素の線形検索 ② スリープ100ms CPUを使う処理の模倣 IO待ち処理の模倣

計測対象言語 Node.js Python Java Go ※守備範囲の言語だけ勝手にチョイス・・・ネイティブスクリプトコンパイル

コード例（Node.js） exports.handler = (event, context, callback) => { const number = Number(event.pathParameters.number) let number_list = new Array(number); for (let i = 0; i < number; i++) { number_list[i] = i + 1; } let result = (number_list.find(e => e == number) == number); setTimeout(() => callback(null, { statusCode: 200, headers: { 'Content-Type': 'application/json’ }, body: JSON.stringify({result: result}) }), 100); }

計測方法 ① Lambdaのメモリは256MB、512MB ② Karate-Gatlingで10ユーザ/s、100 ユーザ/sのリクエストを送信

256MB 10ユーザ/s @Python リスト作成が遅い

256MB 10ユーザ/s @Node.js スクリプトでも高速

256MB 10ユーザ/s @Java Cold Start 4秒スクリプトより高速

256MB 10ユーザ/s @Go Javaとほぼ同じ Cold Startが速い

512MB 100ユーザ/s @Python 速度が大きく改善している

512MB 100ユーザ/s @Node.js 少し高速化大きな遅延なし

512MB 100ユーザ/s @Java 少し高速化

512MB 100ユーザ/s @Go Javaとほぼ同じ

0 2000 4000 6000 8000 Min 50th 75th 95th 99th
Max レスポンスタイム(ms) Python Node.js Java Go Copyright © Acroquest Technology Co., Ltd. All rights reserved. 24 256MB 10ユーザ/s Pythonはメモリ不足気味 JavaはCold Start の影響

0 2000 4000 6000 8000 10000 Min 50th 75th 95th
99th Max レスポンスタイム(ms) Python Node.js Java Go Copyright © Acroquest Technology Co., Ltd. All rights reserved. 26 256MB 100ユーザ/s Pythonはメモリ不足気味 Cold Startの割合が相対的に減るかなり遅い奴が出てくる

0 2000 4000 6000 8000 10000 Min 50th 75th 95th
99th Max レスポンスタイム(ms) Python Node.js Java Go Copyright © Acroquest Technology Co., Ltd. All rights reserved. 27 512MB 100ユーザ/s メモリ/CPUが増えて全体的にタイム改善かなり遅い奴も多少は改善

まとめ ① GoはCold Startが速い ② Cold Startを除外するとJavaはGoと大して変わらない ③ リクエストが多くなると、Cold Startに時間がかかる可能性がある ④ Pythonのlist生成はメモリを食う

今のところの所感安定したレスポンスを求める場合→Go スクリプトで手軽に書きたい場合→Node.js やっぱり非同期にしたい・・・

追加資料（ここからは発表していません）

質疑応答のところで「numpyだと速くないですか？」と問われたので、 1パターン追加してみました。

0 2000 4000 6000 8000 10000 Min 50th 75th 95th
99th Max レスポンスタイム(ms) Python Python(numpy) Node.js Java Go Copyright © Acroquest Technology Co., Ltd. All rights reserved. 32 512MB 100ユーザ/s リスト生成も検索も Java並に高速になった Cold Startも Node.jsとほぼ同じ

numpyはほぼnativeなので、 numpyが使える部分ではかなり高速（今回の評価目的としては少し反則w）

ご清聴ありがとうございました Evolve the Earth with Emotion of Technology

Serverless Performance 実測比較 / Serverless Performance Measured Comparison

Serverless Performance 実測比較 / Serverless Performance Measured Comparison

More Decks by Y. Sakamoto

Other Decks in Programming

Featured

Transcript