Die Zerstörung der Schema-Validierung [sic]

Auf der BED-Con 2019 habe ich vorgestellt, wieso wir Bibliotheken zur Schema-Validierung nicht blind vertrauen können. Und was wir tun müssen, um uns gegen ReDoS-Attacken abzusichern. Dabei bin ich stark auf das Kernproblem – unsere Standard-Regex-Engines – eingegangen.

Die Code-Snippets für XML- und JSON-Validierung sind online unter https://github.com/rkeytacked/java-redos .

Weitere Links aus den Slides:
- XML-Schema Regular Expression definition, https://www.w3.org/TR/xmlschema-2/#dt-regex
- Russ Cox' paper on regular expression engines, https://swtch.com/~rsc/regexp/regexp1.html
- ReDoS on OWASP, https://www.owasp.org/index.php/Regular_expression_Denial_of_Service_-_ReDoS
- .net Regular Expressions, https://docs.microsoft.com/en-us/dotnet/standard/base-types/backtracking-in-regular-expressions
- JSON Schema Definition of Regular Expressions, http://json-schema.org/latest/json-schema-validation.html#rfc.section.4.3
- java.util.regex.Pattern, https://docs.oracle.com/javase/7/docs/api/java/util/regex/Pattern.html
- RE2/J, https://github.com/google/re2j
- PR to fix json-schema, https://github.com/everit-org/json-schema/pull/148
- PR to fix nakadi, https://github.com/zalando/nakadi/pull/853
- json-schema handling of Regular Expressions, https://github.com/everit-org/json-schema#regexp-implementations

Transcript

1. BED-Con 06.09.2019 PETER LISKE DIE ZERSTÖRUNG DER SCHEMA-VALIDIERUNG [sic] @rkeytacked
2. 2 Quelle: https://blog.cloudflare.com/details-of-the-cloudflare-outage-on-july-2-2019/ 100% CPU Usage bei Cloudflare am 2.7.2019
3. 3 (?:(?:\"|'|\]|\}|\\|\d|(?:nan|infinity|true|false|null|undefined|symbol|math)|\`|\-|\+)+[)]*;?((?:\s|-|~|!|{}|\|\||\+)*.*(?:.*=.*)))
4. 4 REDOS-ANGRIFFE AUF WEB-SERVICES MIT BIBLIOTHEKEN ZUR SCHEMA-VALIDIERUNG JAXB XML-Beans JSON-Schema
5. 5 (NON-)DETERMINISTISCHE ENDLICHE ZUSTANDSAUTOMATEN (NFA / DFA)
6. 6 EINFACHE REGULÄRE AUSDRÜCKE Regular Expression due to W3C XML Schema specification a|b|c a* b{3,5} c? xyz (...) Quelle: https://www.w3.org/TR/xmlschema-2/#dt-regex BRANCHES CONCATENATION QUANTIFIERS GROUPING . [a-z] \d CHARACTER SETS
7. DIE XML-SCHEMA DEFINITION FÜR REGULÄRE AUSDRÜCKE ERMÖGLICHT EINE VALIDIERUNG IN LINEARER LAUFZEIT ERKENNTNIS #1
8. 8 EIN BEISPIEL bedcooon bedcoooon bedcooooon bedcoooooon Ausprobieren in https://github.com/rkeytacked/java-redos bedco?on bedcoon bedcooon bedcoooon bedcon bedcoon bedco?o?oon bedco?o?o?ooon
9. UNSERE XML-SCHEMA BIBLIOTHEKEN HABEN EXPONENTIELLE LAUFZEIT UND BRECHEN DIE SPEZIFIKATION ERKENNTNIS #2
10. 10 match pattern against input “Regular Expression Matching Can Be Simple And Fast (but is slow in Java, Perl, PHP, Python, Ruby, ...)” Russ Cox, 2007 Source: https://swtch.com/~rsc/regexp/regexp1.html
11. 11 HISTORY OF REGULAR EXPRESSIONS Kleene’s Regular Sets Chomsky Hierarchy usage in compiler design 1970 2000 Thompson: qed ed grep OWASP: https://www.owasp.org/index.php/Regular_expression_Denial_of_Service_-_ReDoS 2010 1960 1950 1980 1990 more UNIX tools: vi lex sed awk expr emacs Perl 2 even more features in Reg Exps Spencer’s Advanced Reg Exps used in specifications POSIX.2 standard Hazel’s PCRE library XML Schema definitions (XSD) JSON Schema definitions ReDoS attacks known ECMA- Script standards Russ Cox’ RE2
12. 12 MICROSOFT .NET https://docs.microsoft.com/en-us/dotnet/standard/base-types/backtracking-in-regular-expressions Muster benötigt Backtracking?!?!?!
13. 13 XKCD: PERL PROBLEMS Quelle: https://www.xkcd.com/1171/ , http://regex101.com
14. REGEX-ENGINES FÜR ERWEITERTE REGULÄRE AUSDRÜCKE SIND SO KOMPLIZIERT, DASS ES EINFACHER IST, DEM VERWENDER DIE SCHULD ZU GEBEN. (STATT BESSERE ENGINES ZU SCHREIBEN) ERKENNTNIS #3
15. 15 REGULÄRE AUSDRÜCKE Regular Expression due to W3C XML Schema specification a|b|c a* b{3,5} c? xyz (...) . [a-z] \d
16. 16 RFC822-KOMPATIBLE E-MAIL VALIDIERUNG (?:(?:\r\n)?[ \t])*(?:(?:(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?: \r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\ ](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?: (?:\r\n)?[ \t])*))*|(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n) ?[ \t])*)*\<(?:(?:\r\n)?[ \t])*(?:@(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t] )*))*(?:,@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])* )(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*) *:(?:(?:\r\n)?[ \t])*)?(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r \n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t ]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\]( ?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(? :\r\n)?[ \t])*))*\>(?:(?:\r\n)?[ \t])*)|(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)? [ \t]))*"(?:(?:\r\n)?[ \t])*)*:(?:(?:\r\n)?[ \t])*(?:(?:(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]| \\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|" (?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\ ".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[ \]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*|(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|( ?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)*\<(?:(?:\r\n)?[ \t])*(?:@(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([ ^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\ ]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*(?:,@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\ r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\] |\\.)*\](?:(?:\r\n)?[ \t])*))*)*:(?:(?:\r\n)?[ \t])*)?(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\ .|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|"(? :[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\". \[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\] ]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*\>(?:(?:\r\n)?[ \t])*)(?:,\s*(?:(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\ ".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[ \["()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t ])+|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+| \Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*|(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\".\[\ ]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)*\<(?:(?:\r\n)?[ \t])*(?:@(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\[" ()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<> @,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*(?:,@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@, ;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\ ".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*)*:(?:(?:\r\n)?[ \t])*)?(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\["()<>@,;:\\". \[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z|(?=[\[ "()<>@,;:\\".\[\]]))|"(?:[^\"\r\\]|\\.|(?:(?:\r\n)?[ \t]))*"(?:(?:\r\n)?[ \t])*))*@(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t]) +|\Z|(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*)(?:\.(?:(?:\r\n)?[ \t])*(?:[^()<>@,;:\\".\[\] \000-\031]+(?:(?:(?:\r\n)?[ \t])+|\Z |(?=[\["()<>@,;:\\".\[\]]))|\[([^\[\]\r\\]|\\.)*\](?:(?:\r\n)?[ \t])*))*\>(?:(?:\r\n)?[ \t])*))*)?;\s*)
17. 17 REGULÄRE AUSDRÜCKE Advanced Regular Expression a|b|c a* b{3,5} c? xyz (...) . [a-z] \d ^…$ (?=…) (?<=…) (?!…) (?<!…) (?>…) (?i … ) (?x … ) (?s … ) (?m … ) (?N) (?&NAME) (?(DEFINE) (<FOO>…) (<BAR>…)) (?(A)…|…) (?#…) (?{ … })
18. 18 JSON SCHEMA REGULAR EXPRESSIONS Regular Expression due to JSON Schema specification ^ … $ Quelle: http://json-schema.org/latest/json-schema-validation.html#rfc.section.4.3 ECMA-262 Regular Expression Syntax BIBLIOTHEK-ENTWICKLER: Bitte baue eine ECMA-262 kompatible Regex-Engine. SCHEMA-AUTOR: Bitte benutze die Features nicht. simple Reg Exps ?
19. DIE JSON-SCHEMA SPEZIFIKATION VERLANGT BACKTRACKING-FÄHIGKEITEN UND ERZWINGT DAMIT EXPONENTIELLES LAUFZEITVERHALTEN ERKENNTNIS #4
20. 20 WORST-CASE PATTERN-MATCHING IN JSON-SCHEMA LIBRARIES Und was kann man dagegen tun? Example: https://github.com/rkeytacked/java-redos
21. 21 WIE MAN DIE JSON-SCHEMA-VALIDIERUNG SICHERER MACHT Your JSON schema validating API e.g. zalando/nakadi JSON schema lib e.g. json-schema RegExp engine e.g. java.util.regex or RE2/J
22. • Testet auch die Libraries! • Wenn RegExp, dann mit RE2! • Noch besser: möglichst kein Regex! FAZIT
23. DANKESCHÖN FÜR’S ZUHÖREN