Share
Embed
Transcript
55 slides
-
発表する人 Airitech株式会社 橋本拓也 仕事内容 トラブルシューティングや性能試験設計・実施をメインの仕事にしています。 ぱっと見解決できない障害とか見るとアドレナリン上がるタイプです。 好きなプログラミング言語 C++/Lua/AWK 趣味 GithubのTrending見て、面白そうなリポジトリを触ってみる。
paiza スキルチェックのレーティングを上げる。 DevOps & QAエンジニアLT大会 Vol.1 2 / 19 -
話の流れ LTで時間切れになったら悲しいので、概要を書いておきます。 1. PHPで書いたバッチ処理がすごく遅い 2. PHPで極力頑張る 3. C++の力をお見せしますよ DevOps &
QAエンジニアLT大会 Vol.1 3 / 19 -
話の流れ LTで時間切れになったら悲しいので、概要を書いておきます。 1. PHPで書いたバッチ処理がすごく遅い 2. PHPで極力頑張る 3. C++の力をお見せしますよ 4. C++の底力を絞り出す
DevOps & QAエンジニアLT大会 Vol.1 3 / 19 -
話の流れ LTで時間切れになったら悲しいので、概要を書いておきます。 1. PHPで書いたバッチ処理がすごく遅い 2. PHPで極力頑張る 3. C++の力をお見せしますよ 4. C++の底力を絞り出す
5. あれ?バッチ処理いらないのでは? DevOps & QAエンジニアLT大会 Vol.1 3 / 19 -
話の流れ LTで時間切れになったら悲しいので、概要を書いておきます。 1. PHPで書いたバッチ処理がすごく遅い 2. PHPで極力頑張る 3. C++の力をお見せしますよ 4. C++の底力を絞り出す
5. あれ?バッチ処理いらないのでは? 6. そして運用が変わった DevOps & QAエンジニアLT大会 Vol.1 3 / 19 -
事の発端 コンサルティング契約中のお客様がデータ処理のバッチ作ろうとしていました。 PHPでバックエンドを書くのが得意なお客様なので、バッチもPHPで書いていました。 今までは処理も単純で、データ量も少なく、これでうまくいっていたのです。 ところが今回の処理では以下のようなそこそこ厳しい制約が存在して、バッチ処理の速度が大きな問題 になってしまいました。 1. 5分毎に外部から配置されるデータを加工して参照しやすいデータに変更しないといけない 2. 当然5分以内に全ての処理を終わらせないといけない
3. インスタンスが外部からのファイルサーバーとしても利用されていて、高負荷をかけられない DevOps & QAエンジニアLT大会 Vol.1 4 / 19 -
事の発端 コンサルティング契約中のお客様がデータ処理のバッチ作ろうとしていました。 PHPでバックエンドを書くのが得意なお客様なので、バッチもPHPで書いていました。 今までは処理も単純で、データ量も少なく、これでうまくいっていたのです。 ところが今回の処理では以下のようなそこそこ厳しい制約が存在して、バッチ処理の速度が大きな問題 になってしまいました。 1. 5分毎に外部から配置されるデータを加工して参照しやすいデータに変更しないといけない 2. 当然5分以内に全ての処理を終わらせないといけない
3. インスタンスが外部からのファイルサーバーとしても利用されていて、高負荷をかけられない そんな中,お客様より Airitechさん性能改善もしてたよね。なんとかできますか ね? とエンジニアのプライドをくすぐる発言をいただきました。 コレハガンバラナイト…。 DevOps & QAエンジニアLT大会 Vol.1 4 / 19 -
PHPのままで性能改善結果 データ初期化 1秒 データ伸長・分析 90秒 データ変換 30秒 トータルで2分程度短縮できました。 DevOps &
QAエンジニアLT大会 Vol.1 7 / 19 -
PHPのままで性能改善結果 データ初期化 1秒 データ伸長・分析 90秒 データ変換 30秒 トータルで2分程度短縮できました。 25倍の高速化!! DevOps
& QAエンジニアLT大会 Vol.1 7 / 19 -
PHPのままで性能改善結果 データ初期化 1秒 データ伸長・分析 90秒 データ変換 30秒 トータルで2分程度短縮できました。 25倍の高速化!! 5分のTime
Windowに収まるようになって、 高速化、大成功! DevOps & QAエンジニアLT大会 Vol.1 7 / 19 -
[FYI] PHPとC++の速度比較 プログラミング言語の速度には色々な比較の方法があり、完璧で正確な比較の方法は存在しません。 色々なbenchmarkを様々なエンジニアが実装している以下のリポジトリでJSONのパース処理を見ると、 C++はPHPの10倍の処理速度を叩き出していることが分かります。 https://github.com/kostya/benchmarks#json Language Time, s C++/g++(DAW
JSON Link) 0.130 PHP 1.345 DevOps & QAエンジニアLT大会 Vol.1 9 / 19 -
[FYI] PHPとC++の速度比較 プログラミング言語の速度には色々な比較の方法があり、完璧で正確な比較の方法は存在しません。 色々なbenchmarkを様々なエンジニアが実装している以下のリポジトリでJSONのパース処理を見ると、 C++はPHPの10倍の処理速度を叩き出していることが分かります。 https://github.com/kostya/benchmarks#json Language Time, s C++/g++(DAW
JSON Link) 0.130 PHP 1.345 今回の処理も更に10倍程度の高速化を目指せるはず! DevOps & QAエンジニアLT大会 Vol.1 9 / 19 -
C++に単純移植 PHPのコードをほぼそのままC++に移植してみました。 データ初期化 1秒 データ伸長・分析 12秒 データ変換 4秒 DevOps &
QAエンジニアLT大会 Vol.1 11 / 19 -
C++に単純移植 PHPのコードをほぼそのままC++に移植してみました。 データ初期化 1秒 データ伸長・分析 12秒 データ変換 4秒 17秒と2分から約7倍の高速化を達成! DevOps
& QAエンジニアLT大会 Vol.1 11 / 19 -
C++に単純移植 PHPのコードをほぼそのままC++に移植してみました。 データ初期化 1秒 データ伸長・分析 12秒 データ変換 4秒 17秒と2分から約7倍の高速化を達成! …でもまだ遅く感じる。
DevOps & QAエンジニアLT大会 Vol.1 11 / 19 -
C++に単純移植 PHPのコードをほぼそのままC++に移植してみました。 データ初期化 1秒 データ伸長・分析 12秒 データ変換 4秒 17秒と2分から約7倍の高速化を達成! …でもまだ遅く感じる。
C++はもっと「できる子」だって示したい! DevOps & QAエンジニアLT大会 Vol.1 11 / 19 -
C++の底力を絞り出す! unordered_mapの変わりにmartinus/robin-hood-hashingを使う 17秒 → 15秒 fmtlib/fmtの引数をFMT_COMPILEに変更する 15秒 → 13秒 doubleの文字列化処理を整数に変換してから実施
13秒 → 11秒 dbubleの文字列化処理をキャッシュして保持 11秒 → 10秒 martinus/robin-hood-hashingの一部をTessil/robin-mapに変更 10秒 → 9秒 CSV parserの利用をやめて最適化したロジックへ 9秒 → 8秒 標準allocatorの代わりにmicrosoft/mimallocを使う 8秒 → 7秒 条件分岐をループの外に移動 7秒 → 6秒 さらに3倍弱の高速化! DevOps & QAエンジニアLT大会 Vol.1 12 / 19 -
そして、ふと気がつく これだけ速くでいるならば、処理方式を変更できるのでは? 契約先が ファイルを 配置 オリジナル データを 保存 参照しやすいデータを ⽣成して、保存
( 重い処理) 最新データを⼀部を取得 業務に応じて⾮定期で 最新状態を閲覧 DevOps & QAエンジニアLT大会 Vol.1 14 / 19 -
そして、ふと気がつく これだけ速くでいるならば、処理方式を変更できるのでは? 契約先が ファイルを 配置 オリジナル データを 保存 ⽣データから 必要な部分だけ抽出
業務に応じて⾮定期で 最新状態を閲覧 DevOps & QAエンジニアLT大会 Vol.1 15 / 19 -
そして、ふと気がつく これだけ速くでいるならば、処理方式を変更できるのでは? 契約先が ファイルを 配置 オリジナル データを 保存 ⽣データから 必要な部分だけ抽出
業務に応じて⾮定期で 最新状態を閲覧 お客様に提案したところ、プロトタイピングすることに! DevOps & QAエンジニアLT大会 Vol.1 15 / 19