OpCode目線で眺める PHPコードのカバレッジ

PHPerKaigi 2024のセッション「phpunit/php-code-coverageって何をしてるんだ」の補足資料です

セッションはコチラ:
https://fortee.jp/phperkaigi-2024/proposal/8543c51c-7e06-45d5-a216-cba29cb29789

Transcript

1. OpCode目線で眺める PHPコードのカバレッジ PHPerKaigi 2024の補足 Hideki Kinjyo GitHub: o0h / X: @o0h_
2. これはなに？ • PHPerKaigi 2024での発表 「phpunit/php-code-coverageって何をしてるんだ」の補足資料です • https://fortee.jp/phperkaigi-2024/proposal/8543c51c-7e06-45d5-a216- cba29cb29789 • OpCodeの内容とブランチ・パスカバレッジの対応を見ていきます • 発表内では端折った部分になります • でも調べていて面白かったので
3. php-code-coverageによる ブランチカバレッジとパスカバレッジ
4. Branch Coverage • 分岐(ブランチ)を考慮し 通ったコードの割合 • 同一行にある分岐も 区別できる • 右のスニペットは、 カバレッジが50%程度となる
5.  $aの値に関わらず、必ず$aは評価される ($a=true || $b=true)は$aを無視しない ($a=false || $b=true)も$aを無視しない $aの値によって、$bは評価を省略される ($a=true || $b=true)は$bを通らない ($a=false || $b=true)は$bを通る
6.  1つのコードに対して、 「場合分け」をした上での カバー範囲を判定している様子
7.  「行」と「ブランチ」でカバレッジが異なる例 5行目は実行されている(カバーされている)が、 $aの短絡評価の結果により、$bの評価まで処理が行っていない(カバーされていない)
8. Path Coverage • 経路(=分岐の組み合わせ)で 通ったコードの割合 • 右のスニペットは、 カバレッジが1/8になる • boolの変数3つの組み合わせで 2^3=8通りのパスが存在 • テストできているのは1パス
9.  ブランチの観点から カバレッジを満たしても パスではカバレッジが低いまま
10. カバレッジデータの取得 • `xdebug_start_coverage()`のコール時にフラグを立てる • なお、pcovではブランチカバレッジデータの取得に対応していないので注意 • その他については、ラインカバレッジ取得時の利用方法と差異なし XDEBUG_CC_BRANCH_CHECK ブランチごとの実行状態を収集する 単独では利用できず、 他のフラグと合わせて指定する
11. 出力データの様子
12. 全体の骨格  対象ファイルごとに同じkeyにまとまる
13. 全体の骨格  ファイルごとのkeyになるのは コレまでと同じ `lines` `functions` に分かれる `lines` は ラインカバレッジのデータ
14. 全体の骨格  ブランチカバレッジの データはココ
15.  このコードは 3つのブランチからなると解釈される
16.  3つのブランチ
17. ブランチとOpCode
18. OpCodeについて知る
19. OpCode？ • PHPで書かれたコードが、CPUに渡される前の中間生成物 • PHPのソースコードを分解して、 単純化された命令の組み合わせに変換する • see: アセンブリ、仮想機械 • 代入・加算といった単純な処理や、ジャンプ命令から成る コレを辿れば ブランチが識別できる！
20.  PHPコード ステップの単純化・分解 1. 引数$xに値をセットする 2. 引数$yに値をセットする 3. $xをチェックして、 真ならJUMP→⑤へ 4. $yをチェックする 5. おしまい！
21.  PHPコード 実際のOpCode
22.  1. 引数$xに値をセットする 2. 引数$yに値をセットする 3. $xをチェックして、真ならJUMP→⑤へ 4. $yをチェックする 5. おしまい！
23. ブランチについて知る
24. ブランチってなんだっけ • ブランチ = 分岐 • コードを上から処理して行って、 「共通して通る箇所」「条件によって分岐するところ」で分ける • 分けて出来上がったのがブランチ
25.  このコードで言えば・・ 1. 引数$xに値をセットする 2. 引数$yに値をセットする 3. $xをチェックして、 真ならJUMP→⑤へ 4. $yをチェックする 5. おしまい！
26.  このコードで言えば・・ 1. 引数$xに値をセットする 2. 引数$yに値をセットする 3. $xをチェックして、もし falseyでなければJUMP 4. $yをチェックする ① 引数$xに値をセットする ② 引数$yに値をセットする ③ $xをチェックして、 真ならJUMP→⑤へ ④ $yをチェックする ⑤ おしまい！ ブランチその1
27.  このコードで言えば・・ 1. 引数$xに値をセットする 2. 引数$yに値をセットする 3. $xをチェックして、もし falseyでなければJUMP 4. $yをチェックする ① 引数$xに値をセットする ② 引数$yに値をセットする ③ $xをチェックして、 真ならJUMP→⑤へ ④ $yをチェックする ⑤ おしまい！ ブランチその2
28.  このコードで言えば・・ 1. 引数$xに値をセットする 2. 引数$yに値をセットする 3. $xをチェックして、もし falseyでなければJUMP 4. $yをチェックする ① 引数$xに値をセットする ② 引数$yに値をセットする ③ $xをチェックして、 真ならJUMP→⑤へ ④ $yをチェックする ⑤ おしまい！ ブランチその3
29. Xdebugの分析とブランチ
30. Xdebugによるブランチの分析 • 上のPHPコードを分析にかけると、 3つのブランチがあると分かる(先述の通り) • そのうち1つ目のブランチは 下のキャプの通りとなる
31. ブランチのデータの中身 op_start: ブランチの開始位置 op_end: ブランチの終了位置
32. ブランチのデータの中身 op_startの値は、branchesの各添字に対応する
33. ブランチのデータの中身 line_start: ブランチの開始行 line_end: ブランチの終了行 ※ PHPのソースコード上の番号
34. ブランチのデータの中身 JMPNZ_EX CV0(=$x)がNZ(not zero)のEX(でない)なら 0005にJMP(jump)する そうでなければ、 そのまま次の命令(0006)に進む out: ブランチの次に進む位置
35. ブランチごとの到達(実行)回数 hit: ブランチに到達した回数
36. 未到達の場合も記録されている ブランチに到達しなかった例
37. ブランチごとの到達(実行)回数 out_hit: 出口に到達した回数
38. ブランチごとの到達(実行)回数 • outの0番目 • op_start:4のブランチ ($x == falseの時に到達する) • コッチはhitが0 • outの1番目 • op_start:5のブランチ • コッチはhitが1
39. ブランチのデータの中身 PHPソース、ブランチ、OpCodeの全景。(※ 2147483645は終端を示す番号)
40. Xdebugの分析とパスとOpCode
41. パス？ • すべての可能性を組み合わせればパス(経路)を列挙できるので、 • ブランチのデータが取得できているなら、 それらを組み合わせれば良いことになる • Xdebugでの分析データには `out`も付いていたので、これを辿っていけばOK
42. XDEBUG_CC_BRANCH_CHECKでの分析データの 全体の骨格 
43. XDEBUG_CC_BRANCH_CHECKでの分析データの 全体の骨格  今から注目するのはココ
44.  このコードは 20のパスからなると解釈される
45.  通るブランチの番号 (=op_start)の列挙
46.  ブランチとパスのデータ(一部、フォーマット済み) 0を起点に、全てのoutを辿っていけば全パスを網羅できる
47.  hit: パスに到達した回数
48. おまけ: ブランチカバレッジのレポートについて
49. こんなコードがあったとします 
50. L8に注目してください。 $xと$yそれぞれの分岐に対応し、2ブランチ分のデータが出ていますよね 
51. a2()については、L13が3回出てきました。 一見すると、不思議に感じませんか？ 
52. OpCodeを見てみると、 `return`の差分があることが分かります(`0005`) 
53. PHPUnitによるブランチの分析を見てみます ※ ग़ྗ͞ΕͨཁૉΛҰ෦࡟আ͍ͯ͠·͢ 
54. op_start/endが異なる2つのブランチで、 line_startが重複しています 
55. 中身を見るとこんな様子 
56. 可視化すると、こういう状態になります 
57. まとめ
58. まとめ • 「行よりも詳しい単位で、どうやってコードを解釈するの？」 を見てみました • 個人的に、ココを調べてみよう！！となったキッカケは大きく2つです • ブランチカバレッジって、どんな仕組みで処理されているんだ？気になる • レポートに同じ行が重複出てるけど、何で？気になる • 仕組みを知ることで、 「なんだシンプル！なるほど！！」を得られちゃった・・・楽しい！ • 皆さんも身近な所にある沼を探して、半身浴を楽しんでみてはいかが？
59. Appendix
60. 参考資料 個人的にもとってもお世話に資料たち！ • Xdebug: Documentation » Code Coverage Analysis https://xdebug.org/docs/code_coverage • PHPerのための「Xdebugの活用方法」を語るTechCafe https://hackmd.io/X0Qv5k5oSYm-tMU9Vw6r3A?view • xdebug-new-phpsouthcoast17 https://derickrethans.nl/talks/xdebug-new-phpsouthcoast17.pdf
61. 参考資料 個人的にもとってもお世話に資料たち！ • プログラムを実行するとはどういうことか https://speakerdeck.com/tomzoh/what-does-it-mean-to-execute-a-program • PHPのOpcodeを 読んでみよう https://speakerdeck.com/yasuaki640/phpnoopcodewo-du-ndemiyou • opcodeダンプするのにvldもphpdbgも要らなくなってた #PHP https://qiita.com/hnw/items/352c5030d6729343a49e • How to dump and inspect PHP OPCodes • PHP.Watch https://php.watch/articles/php-dump-opcodes
62. おしまい！ お付き合いいただき ありがとうございました!!