巨大なレガシーコードをビッグデータでテストケースに変換する

by rugamaga

Slide 1

Slide 1 text

巨大なレガシーコードをビッグデータでテストケースに変換するそして事業本部・検索チームとは何者か。プラットフォーム事業本部カスタマーエンゲージメント部検索チーム永浦尊信 2019/11/18

Slide 2

Slide 2 text

永浦尊信検索エンジニア情報工学が大好きです。数学も不得意だけど好きです。イラストも不得意だけど好きです。自己紹介いつものアイコン / twitter @rugamaga

Slide 3

Slide 3 text

における検索について。の検索って何？

Slide 4

Slide 4 text

検索＝コンテンツ情報の配送検索する＝コンテンツを見つけるインデクシングコンテンツ情報を検索エンジンに格納するストレージングコンテンツ情報を見つけ出せる可能な形で蓄積するクエリング見つけたい商品情報をいろんな情報を総合して見つけ出して返すの全てに横断するコンテンツデータベース

Slide 5

Slide 5 text

検索なしだとこうなる検索結果じゃなくて商品リストのページです

Slide 6

Slide 6 text

今日のタイトルを思い出す。

Slide 7

Slide 7 text

巨大なレガシーコードをビッグデータでテストケースに変換する 2019/11/18 そして検索チームとは何者か。プラットフォーム事業本部カスタマーエンゲージメント部検索チーム永浦尊信

Slide 8

Slide 8 text

当時の検索システムの負債状況社内最大の循環的複雑度その値

Slide 9

Slide 9 text

だが今はだいたい直ってる

Slide 10

Slide 10 text

どうやったのか。

Slide 11

Slide 11 text

手順は４つ。負債システムからログを出せるようにするプロダクション環境でログを集めるログをテストケースに変換するリファクタリングする

Slide 12

Slide 12 text

実システムビッグデータ基盤お客様ここが技術的負債になってるとして ……。

Slide 13

Slide 13 text

ビッグデータ基盤実システムお客様ロギングを導入 (AspectのWeavingを使うとよい) エンジニア

Slide 14

Slide 14 text

Weavingでロギングを導入ビッグデータ基盤実システムお客様エンジニア呼び出された関数名関数シグネチャ各処理の戻り値と、その時の変数状態発行されたリクエストとレスポンス値呼び出し引数の具体的な値このときに導入するログは何？

Slide 15

Slide 15 text

実システムビッグデータ基盤お客様ログをガリガリと蓄積します。

Slide 16

Slide 16 text

実システムビッグデータ基盤お客様テストケースを生成しますログベーステストフレームワーク

Slide 17

Slide 17 text

テストケースを生成しますログベーステストフレームワーク実システムビッグデータ基盤お客様コンストラクタ呼び出しログのたびにオブジェクト生成呼び出し後に戻り値や変数状態をログと比較しアサーションはプロクシしてログの内容に置き換え呼び出された関数名引数のログからメソッド呼び出しどうやって変換するの？

Slide 18

Slide 18 text

名付けてログベーステスト

Slide 19

Slide 19 text

どんな効果があるか実行するとログの規模に応じて数万〜数十万のテストを回せます重すぎたらサンプリングして数を減らしてもですお客様がよく使うコードほど良くテストできます非常に安全にリファクタリングできます仕様を全く知らない対象もテストできます

Slide 20

Slide 20 text

備考ランダムテストじゃだめなの？回答実は同じモノなんです。回答ランダムだと期待する値を有意義に定義しずらい「ログ」はある意味「動作データの統計的分布」です無情報事前分布のログベーステスト＝ランダムテスト逆に「分布」が適切なランダムテスト＝ログベーステストランダムだと「クラッシュしない」みたいな話になるとはいえ元ソースと突き合わせさせるくらいはできる非本質的

Slide 21

Slide 21 text

実際の成果該当の負債システムをエンジニア２人で移植完了済み他の仕事もしながら４ヶ月で完了置き換え完了後にリファクタリング起因のトラブルなし

Slide 22

Slide 22 text

何より、お客様によりよい検索体験の提供ができるようになった！情報工学エンジニアリングで広げる夢例高速な商品情報配送コンテンツ配送を時間→ 分に改善機械学習文法推論でリファクタリング済みコードの自動生成途中形式手法を組み合わせて仕様変更も出来るログベーステスト実装済もっと発展できる方向もあるしシステムはクラウドに移植しているし

Slide 23

Slide 23 text

検索チームとは何者か。

Slide 24

Slide 24 text

検索チームはエンジニアリングを活用してを支えるチームです。

Slide 25

Slide 25 text

そして

Slide 26

Slide 26 text

プラットフォーム事業本部もエンジニアリングによりを支えています。