CPUに潜む妖怪

Transcript

1. CPUに潜む 妖怪
2. 何が起きたか？ ▶ 履歴書のダウンロード機能(PDF)がタイムアウトする ▶ 元々不安定な機能で、稀にタイムアウトが発生していた ▶ だが、突如100%タイムアウトする状態に悪化
3. 原因 ▶ 結論として、根本的な原因は今も不明です。 ▶ 今回は、私たちが推測している原因についてお話しします。
4. 何が起きていたか？ ▶ HTMLからPDFへの変換処理でエラーが発生 ▶ PDF変換するGem Grover がエラーを発生させていた
5. Groverは何をしているの？ ▶ Grover は Puppeteer を使って HTMLからPDFやPNGに変換するライブラリ
6. Puppeteerは何をしているの？ ▶ Puppeteer は ヘッドレスブラウザを操作するライブラリ
7. つまりPDF変換では何をしているのか？ 1. ユーザーが履歴書のダウンロードをリクエスト ▼ 2. GroverがPuppeteerを操作する ▼ 3. Puppeteerがヘッドレスブラウザを起動 ▼ 4. ヘッドレスブラウザがHTMLをPDFに変換
8. 一番の謎 ▶ テスト環境ではエラーが再現しない。 ▶ 本番環境とテスト環境に差異は無いはず...
9. ??? この二つの環境の何が違うのか？ QA環境 本番環境
10. 正解 EC2のインスタンスタイプが違う ...つまりCPUが違う ▶ QA環境： t3.micro ▶ 本番環境： t2.micro ▶ 参考：EC2 インスタンスタイプ
11. CPUの世代が違う ▶ t3インスタンスはより新しく高性能なCPUアーキテクチャを採用 ▶ t2.micro: 主に「Intel Xeon」プロセッサの旧世代（HaswellやBroadwell） ▶ t3.micro: 「Intel Xeon Platinum 8000シリーズ」 （Skylake/Cascade Lake）
12. 検証結果 ▶ CPUの差により、ヘッドレスブラウザによるPDF変換が失敗した？ ▶ でも、昨日まではエラーは頻発していなかったし、 根本的な原因は一体何だったんだろうか...
13. その後 ▶ アプリケーションの実行環境をEC2からFargateに移行 ▶ CPUが変わったからか、PDF機能が復活!
14. 現在 ▶ Fargateでもエラーが頻出しつつある... (続く)
15. ご清聴ありがとうございました。