Пример fuzzy testing для поиска URL в тексте

Как fuzzy testing помог дополнить регулярку и выявить не самые очевидные баги.

Transcript

1. Пример fuzz testing для поиска URL в тексте Николай Ходов (nkhodov@gmail.com)
2. Fuzz testing
3. Условное деление
4. Задача • В произвольном тексте: • Найти все URL'ы
5. Бесплотные попытки https?://(.*?) А как же вот это?! • ya.ru • It.s.bori.ng • vk.com/durov • Google.com/#plus-plus • //st.domain.com/?q=1 • И еще миллионы вариантов...
6. Пишем регулярку (https?://)?<domain>{1,3}.<TLD>(/<path>)*(?<query_string>?)(#<hashtag>?)? RFC 1738 +
7. Тестируем вручную • self.assertEqual(strip_links('word1 https://ya.ru word2'), 'word1 word2') • self.assertEqual(strip_links('word1 domain.arpa/test.link word2'), 'word1 word2') • self.assertEqual(strip_links('word1 ya.ru/yandsearch? sdfsdfsdf=1fsdf word2'), 'word1 word2') • self.assertEqual(strip_links('word1 naked.domain.asia word2'), 'word1 word2') • … • На 15 строке мозг усиленно отказывается что-либо придумывать.
8. Пусть тестирует сам компьютер! Kwh89 ydhfj 09 u ><LAKSUy236 v Fully Random URL Текст должен остаться неизменным
9. Баги • Домены не могут начинаться на “-” (тире) • RFC не последняя инстанция (//) • Разные наборы символов для query string и для пути
10. Надежность • Не дает 100%-покрытия на границах (где обычно все самое вкусное) • Не факт, что будут выявлены критичные баги • Но... • Вы можете прогнозировать поведение программы в стресс-режиме
11. Применимость • Применим на стыках взаимодействия программ (форматы файлов, передача данных, внешние события) • Очень сильно помогает выявить на раннем этапе то, что может “завалить” программу в боевом режиме
12. Вопросы?