10年もののバグを退治した話

Transcript

1. STORES 株式会社 Ebisu.mobile #8 大忘年会 2024年 12月 20日 ・ Naoto Uwaseki 10年もののバグを退治した話
2. • 上関直人／うわせき なおと • STORES 決済／Androidエンジニア • アイコンはモルモット • 趣味 ◦ エレキギター ᷚ🎸 自己紹介 2
3. STORES 決済 の紹介 3
4. STORES 決済 の技術の紹介 4 決済アプリ 決済端末 レシート プリンター サーバー • Bluetooth接続 • コマンド生成をC言語でライブラリ化
5. 10年もののバグ退治......その経緯 5 • 最初に問題を検知したのは2020年 ◦ Android10の端末でクラッシュが発生している ◦ ネイティブクラッシュということだけが分かった • Android側のバグだろうか？と思って様子を見ていた...... ネイティブクラッシュ C言語などのネイティブコードでのクラッシュこと。
6. 10年もののバグ退治......その経緯 6 ところが、、、
7. 10年もののバグ退治......その経緯 7 • 一向に解消しない 😨 • 断続的に調査を行うものの有益な情報は得られず • なにかしら発生条件があるらしい ◦ クラッシュ率自体は高くなかった
8. 10年もののバグ退治......その経緯 8 2024年 真剣に向き合おうと決意 🔥
9. 10年もののバグ退治......クラッシュレポートから分かること 9 • ネイティブクラッシュをFirebase Crashlyticsに送る
10. 10年もののバグ退治......クラッシュレポートから分かること 10 • ネイティブクラッシュをFirebase Crashlyticsに送る
11. 10年もののバグ退治......クラッシュレポートから分かること 11 • ネイティブクラッシュをFirebase Crashlyticsに送る
12. 10年もののバグ退治......クラッシュレポートから分かること 12 • ネイティブクラッシュをFirebase Crashlyticsに送る
13. 10年もののバグ退治......傾向・条件をつかむ！ 13 • スタックトレースからは何も情報が得られなかった • FirebaseにはユーザーIDを送っている 💡 ◦ 他のログと突き合わせることで情報が増える ◦ クラッシュの傾向・条件がつかめないだろうか......?
14. 10年もののバグ退治......傾向・条件をつかむ！ 14 • クラッシュしたユーザーはプリンターを利用している！ ◦ プリンターのモデルはバラバラ • 印刷処理に何かしら問題がある......？
15. STORES 決済 の技術の紹介 15 決済アプリ 決済端末 レシート プリンター サーバー • Bluetooth接続 • コマンド生成をC言語でライブラリ化
16. 10年もののバグ退治......泥臭いデバッグ 16 • プリンターへ送るコマンドの生成処理を C言語 で実装、 ライブラリ化して利用している ◦ とても怪しい • 二分探索的にコードをコメントアウト -> 実行......という 泥臭い作業のすえクラッシュを引き起こす関数を特定 💪
17. 10年もののバグ退治......原因特定！ 17 • 社内ライブラリの印刷データの作成処理にバグがあった • 具体的にはmemset関数の使い方が誤っていた ◦ バッファーオーバーフローが発生 😱 バッファーオーバーフロー プログラムがバッファに割り当てられた空間よりも大きなデータを書き込むことで、 データがバッファ境界からあふれ、バッファの範囲外のメモリを上書きし、元々その メモリにあったデータを破壊してしまうことを指す。 （Wikipedia・バッファオーバーフロー）
18. 10年もののバグ退治......原因特定！ 18 • 非常に単純化すると、以下のような実装があった memset(アドレス, 1バイトの値, 3) • アドレスが指す領域に、1バイトの値を、3バイト分書く • なぜか「３」がハードコーディングさていた 🤔🤔🤔
19. 10年もののバグ退治......原因特定！ 19 • なぜか「３」がハードコーディングさていた 🤔🤔🤔 memset(アドレス, 1バイトの値, 3) • 1バイトの値を1バイト書き込むことを前提に領域確保 • 2バイト余分に書き込むのでバッファーオーバーフロー
20. 10年もののバグ退治......対応をリリース 20 • 想定外の領域の値が書き換わってしまったことが原因 ◦ 書き換わった領域が参照されるとクラッシュ ▪ 発生率の低さ & 謎のスタックトレースの要因 • ライブラリ実装当初からこうなっていた ◦ 10年以上前！ • 1行修正してリリースすると......
21. 10年もののバグ退治......対応をリリース 21
22. 10年もののバグ退治......対応をリリース 22 倒せた 🎉
23. 10年もののバグ退治からの教訓 23 • スタックトレースが理解不能でも慌てない 👌 • 特殊なクラッシュでもツールを駆使して情報を増やす 💡 • 他の情報と組み合わせることで発生条件を絞り込める 💡 • 諦めない気持ち ✊
24. 10年もののバグを退治した話 24 完