Reverse Engineering - Entwickeln gegen eine Blackbox

Transcript

1. Reverse Engineering Entwickeln gegen eine Blackbox
2. Speaker 06.06.2018 2 - gelernter Softwareentwickler - Projekt- & Teamleiter - Scrum Master - Product Owner - Agile Coach - Atlassian Fanboy Position: Engineering Operations Lead Cedric Fröhner
3. Agenda 06.06.2018 3 • Was ist Reverse Engineering? • Warum wurde es notwendig? • Darf thinkstep das? • Was haben wir vorgefunden und wie sind wir vorgegangen? • Beispiele, Probleme und Fallstricke
4. 06.06.2018 4 Was ist Reverse Engineering?
5. Was ist Reverse Engineering? 06.06.2018 5 Unter Reverse Engineering versteht man die Analyse von Software mit dem Ziel, ihren inneren Aufbau / ihre Struktur zu erkennen und zu verstehen.
6. Was ist Reverse Engineering? 06.06.2018 6 Unter Reverse Engineering versteht man die Analyse von Software mit dem Ziel, ihren inneren Aufbau / ihre Struktur zu erkennen und zu verstehen. • Die Analyse von Kommunikationsprotokollen Wireshark
7. Was ist Reverse Engineering? 06.06.2018 7 Unter Reverse Engineering versteht man die Analyse von Software mit dem Ziel, ihren inneren Aufbau / ihre Struktur zu erkennen und zu verstehen. • Die Rekonstruktion des Quellcodes von Programmen
8. 06.06.2018 8 Warum wurde es notwendig?
9. Warum wurde es notwendig? 06.06.2018 9 • Kein Support durch das externe Unternehmen • Die Software ist nur unter PHP 5.5 lauffähig • Performance Probleme • Bestehende Bugs konnten nicht behoben werden • Erschwerte Implementierung von Features (Seiteneffekte)
10. 06.06.2018 10 Darf thinkstep das?
11. Darf thinkstep das? 06.06.2018 11 Decrypten • Verstoß gegen das Urheberrecht • Rechtliche Konsequenzen
12. Darf thinkstep das? 06.06.2018 12 Replacement • Mit Hilfe der Rechtsabteilung das Vorgehen besprochen • Das Verhalten der vorhandenen Software analysiert und nachgebaut • Bibliothek Schritt für Schritt ersetzt
13. 06.06.2018 13 Was haben wir vorgefunden?
14. Was haben wir vorgefunden? 06.06.2018 14 • Eine grobe Gliederung der einzelnen Bestandteile der Software • Einen vorgegebenen Workflow • Stub-Dateien pro Klasse – Funktionsnamen – Geschätzte Anzahl an Codezeilen pro Funktion
15. 06.06.2018 15 Wie sind wir vorgegangen?
16. Wie sind wir vorgegangen? 06.06.2018 16 • Klassenweises Vorgehen • Test gegen alte Funktion geschrieben • Funktionsverhalten mit Hilfe von xdebug_trace analysiert • Neuschreiben der Funktion • Ersetzen der alten Klassen
17. 06.06.2018 17 Betrachten wir ein Beispiel
18. Betrachten wir ein Beispiel 06.06.2018 18 OldLibExample::formatTimeStamp(time()); Blackbox 2018-05-28 09:48:06
19. Betrachten wir ein Beispiel 06.06.2018 19 Der Inhalt der Stub-Datei class StubExample { public static function formatTimeString($timestamp) { // 7 lines } }
20. Betrachten wir ein Beispiel 06.06.2018 20 Die Vorbereitung class ReplacedExample extends OldLibExample { public static function formatTimeString($timestamp) { return parent::formatTimeString($timestamp); } }
21. Der Test class ReplacedExampleTest extends \PHPUnit_Framework_TestCase { public function testFormatTimeString() { $timestamp = strtotime('28.05.2018 09:48:06'); $formattedTimestamp = ReplacedExample::formatTimeString($timestamp); $this->assertEquals('2018-05-14 09:48:06', $formattedTimestamp); } } Betrachten wir ein Beispiel 06.06.2018 21
22. Erzeugen des Traces class ReplacedExampleTest extends \PHPUnit_Framework_TestCase { public function testFormatTimeString() { $timestamp = strtotime('28.05.2018 09:48:06'); xdebug_start_trace(__DIR__.'/example_trace'); $formattedTimestamp = ReplacedExample::formatTimeString($timestamp); xdebug_stop_trace(); $this->assertEquals('2018-05-14 09:48:06', $formattedTimestamp); } } Betrachten wir ein Beispiel 06.06.2018 22
23. Analyse des Traces TRACE START [2018-05-28 11:24:10] 0.0003 227270 -> ReplacedExample::formatTimeStamp($timestamp = ‘28.05.2018 09:48:06‘) 0.0003 227280 -> OldLibExample::formatTimeStamp($timestamp = ‘28.05.2018 09:48:06‘) /var/www/examples/hidden_behaviour.php:28 => $format = 'Y-m-d h:i:s' /var/www/examples/hidden_behaviour.php:17 0.0004 227376 -> date(...) /var/www/examples/hidden_behaviour.php:22 => $formattedTimestamp = '2018-05-28 09:48:06' => $formattedTimestamp = '2018-05-28 09:48:06' 0.0004 227512 -> xdebug_stop_trace() /var/www/examples/hidden_behaviour.php:29 0.0004 227576 TRACE END [2018-05-28 11:24:10] Betrachten wir ein Beispiel 06.06.2018 23
24. Betrachten wir ein Beispiel 06.06.2018 24 Das Replacement class ReplacedExample extends OldLibExample { public static function formatTimeString($timestamp) { $format = ‘Y-m-d H:i:s’; return date($format‚ $timestamp); } }
25. Betrachten wir ein Beispiel 06.06.2018 25 Das Refactoring class ReplacedExample extends OldLibExample { public static function formatTimeString($timestamp) { return date(‘Y-m-d H:i:s‘‚ $timestamp); } }
26. Betrachten wir ein Beispiel 06.06.2018 26 Das Replacement class ReplacedExample { public static function formatTimeString($timestamp) { return date(‘Y-m-d H:i:s‘‚ $timestamp); } } Alle Aufrufe der OldLibExample-Klasse werden ausgetauscht.
27. 06.06.2018 27 Welche Probleme sind aufgetreten?
28. Probleme 06.06.2018 28 Use Case 1 OldLibExample::formatTimeStamp(time()); Regression Testing Use Case 2 28/05/2028 09:48:06 Use Case 1 ReplacedExample::formatTimeStamp(time()); 2018-05-28 09:48:06 Use Case 2 2018-05-28 09:48:06 2018-05-28 09:48:06
29. Probleme 06.06.2018 29 Unser Beispiel ist nicht vollständig class ReplacedExample { public static function formatTimeString($timestamp) { $format = ‘Y-m-d H:i:s’; return date($format‚ $timestamp); } } Hatte diese Zuweisung einen Sinn?
30. Alles nochmal... class ReplacedExampleTest extends \PHPUnit_Framework_TestCase { public function testFormatTimeString() { $timestamp = strtotime('28.05.2018 09:48:06'); xdebug_start_trace(__DIR__.'/example_trace'); $formattedTimestamp = ReplacedExample::formatTimeString($timestamp); xdebug_stop_trace(); $this->assertEquals('2018-05-14 09:48:06', $formattedTimestamp); } } Probleme 06.06.2018 30
31. Analyse des Traces TRACE START [2018-05-28 11:30:10] 0.0003 227270 -> ReplacedExample::formatTimeStamp($timestamp = ‘28.05.2018 09:48:06‘) 0.0003 227280 -> OldLibExample::formatTimeStamp($timestamp = ‘28.05.2018 09:48:06‘) /var/www/examples/hidden_behaviour.php:28 => $format = 'Y-m-d h:i:s' /var/www/examples/hidden_behaviour.php:17 0.0004 227376 -> date(...) /var/www/examples/hidden_behaviour.php:22 => $formattedTimestamp = '2018-05-28 09:48:06' => $formattedTimestamp = '2018-05-28 09:48:06' 0.0004 227512 -> xdebug_stop_trace() /var/www/examples/hidden_behaviour.php:29 0.0004 227576 TRACE END [2018-05-28 11:30:10] Probleme 06.06.2018 31
32. Try and error class ReplacedExampleTest extends \PHPUnit_Framework_TestCase { public function testFormatTimeString() { $timestamp = strtotime('28.05.2018 09:48:06'); $GLOBALS[‘dateFormat’] = 'd/m/Y h:i:s'; xdebug_start_trace(__DIR__.'/example_trace'); $formattedTimestamp = ReplacedExample::formatTimeString($timestamp); xdebug_stop_trace(); $this->assertEquals('2018-05-14 09:48:06', $formattedTimestamp); } } Probleme 06.06.2018 32
33. Try and error TRACE START [2018-05-28 11:40:10] 0.0003 227270 -> ReplacedExample::formatTimeStamp($timestamp = ‘28.05.2018 09:48:06‘) 0.0003 227280 -> OldLibExample::formatTimeStamp($timestamp = ‘28.05.2018 09:48:06‘) /var/www/examples/hidden_behaviour.php:28 => $format = 'Y-m-d h:i:s' /var/www/examples/hidden_behaviour.php:17 => $format = 'd/m/Y h:i:s' /var/www/examples/hidden_behaviour.php:19 0.0004 227376 -> date() /var/www/examples/hidden_behaviour.php:22 => $formattedTimestamp = '2018-05-28 09:48:06' => $formattedTimestamp = '2018-05-28 09:48:06' 0.0004 227512 -> xdebug_stop_trace() /var/www/examples/hidden_behaviour.php:29 0.0004 227576 TRACE END [2018-05-28 11:40:10] Probleme 06.06.2018 33
34. Try and error class ReplacedExample { public static function formatTimeString($timestamp) { $format = ‘Y-m-d H:i:s’; if (!empty($GLOBALS['dateFormat'])) { $format = $GLOBALS['dateFormat']; } return date($format‚ $timestamp); } } Probleme 06.06.2018 34
35. Warum benutzt man Globals an dieser Stelle? Probleme 06.06.2018 35
36. 06.06.2018 36 Betrachten wir ein Beispiel
37. Andere Funktion – anderes Problem public function someTestFunction() { $timestamp = strtotime('2018-05-15 07:14:03'); xdebug_start_trace(PATH_FS_TMP.'/../trace-docs/example_trace_'); $return = \OLD\LIB::localDateTime($timestamp); xdebug_stop_trace(); return $return; } Betrachten wir ein Beispiel 06.06.2018 37
38. Was ist an diesem Trace anders? TRACE START [2018-05-28 07:14:03] 0.0948 6837864 -> \OLD\LIB::localDateTime($dateTime = ‘2018-05-15 07:14:03‘, $format = 'd.m.Y H:i:s', $timezone = NULL) /var/www/sofi/app/src/ThinkStep/Util/Time.php:328 0.0948 6837992 -> date(...) /var/www/sofi/app/vendor/old/lib/src/Util/Time.php:1050 0.0949 6838088 >=> '2018-05-15 07:14:03' => $dateTime = '2018-05-15 07:14:03' /var/www/sofi/app/vendor/old/lib/src/Util/Time.php:1050 0.0949 6838136 -> defined('LIB_TIME_ZONE') /var/www/sofi/app/vendor/old/lib/src/Util/Time.php:1057 0.0949 6838136 >=> FALSE Betrachten wir ein Beispiel 06.06.2018 38 Kein ‘TRACE END‘
39. Wo ist das Ende? public function someTestFunction() { ini_set('xdebug.collect_assignments', 'off'); $timestamp = strtotime('2018-05-15 07:14:03'); xdebug_start_trace(PATH_FS_TMP.'/../trace-docs/example_trace_'); $return = \OLD\LIB\Time::localDateTime($timestamp); xdebug_stop_trace(); return $return; } Betrachten wir ein Beispiel 06.06.2018 39 Bei uns Standard ‘on‘
40. Ende gut, alles gut? TRACE START [2018-05-15 09:27:18] 0.0794 6837056 -> OLD\LIB\Util\Time::localDateTime($dateTime = ‘2018-05-15 07:14:03‘, $format = 'd.m.Y H:i:s', $timezone = NULL) /var/www/sofi/app/src/ThinkStep/Util/Time.php:328 0.0795 6837184 -> date('Y-m-d H:i:s') /var/www/sofi/app/vendor/old/lib/src/Util/Time.php:1050 0.0795 6837280 >=> '2018-05-15 09:27:18' 0.0795 6837328 -> defined('LIB_TIME_ZONE') /var/www/sofi/app/vendor/old/lib/src/Util/Time.php:1057 0.0795 6837328 >=> FALSE ... 0.0798 6837248 -> xdebug_stop_trace() /var/www/sofi/app/src/ThinkStep/Util/Time.php:329 0.0798 6837320 TRACE END [2018-05-15 09:27:18] Betrachten wir ein Beispiel 06.06.2018 40 $dateTime = '2018-05-15 07:14:03'
41. 06.06.2018 41 Welche Probleme sind aufgetreten?
42. Segmentation fault Probleme 06.06.2018 42
43. Segmentation fault • Kein ‘Trace End’ vorhanden • Variablenzuweisungen ersichtlich • Option ‘xdebug.collect_assignments’ auf OFF • Keine Variablenzuweisung ersichtlich • ‘Trace End’ vorhanden => Mergen der verschiedenen Traces notwendig Probleme 06.06.2018 43
44. Probleme 06.06.2018 44 Xdebug config xdebug.collect_includes = 1 xdebug.collect_vars = 1 xdebug.collect_params = 4 xdebug.collect_return = 1 xdebug.collect_assignments = 1 xdebug.var_display_max_depth = 5
45. 06.06.2018 45 Fallstricke - die uns bekannt sind
46. Closures Fallstricke 06.06.2018 46
47. Iteration “Versteckte“ Abhängigkeiten Fallstricke 06.06.2018 47 Klasse A Klasse B Tracing + Replacement Klasse A function f() { var a = Klasse C::function(); } Iteration Klasse A Klasse B Klasse C Umfang
48. Vererbung class ElementExample { public function doSomething() { // 7 lines } } Fallstricke 06.06.2018 48 class TextExample extends ElementExample { public function doSomething() { // 10 lines } }
49. 06.06.2018 49 Fazit
50. Fazit 06.06.2018 50 • Sehr hohe Testabdeckung notwendig • Hoher Aufwand durch Regressionstests • Iterativ-Inkrementelles Vorgehen notwendig
51. Fazit 06.06.2018 51 Bugfixrelease Replacement 2016
52. Danke! 06.06.2018 52 cedric.froehner@thinkstep.com Cedric_Froehner furiousfoo