Apache Cassandra JMeter

SQA Days 2013

Transcript

2. Михаил Епихин Танкиcт Будни тестирования Cassandra
3. Введение Что такое Cassandra? Зачем она нужна?
4. 4 Use Case • Read & Write – Раздельные тесты – Смешанные тесты
5. 5 Use Case • Read & Write – Раздельные тесты – Смешанные тесты • Size & Types – Различные размеры блобов – Text / Binary
6. 6 Use Case • Read & Write – Раздельные тесты – Смешанные тесты • Size & Types – Различные размеры блобов – Text / Binary • Replication Factor & Consistency Level
7. 7 Инструментарий • YCSB
8. 8 Инструментарий • YCSB • cassandra-stress
9. 9 Инструментарий • YCSB • cassandra-stress • Iago
10. 10 Инструментарий • YCSB • cassandra-stress • Iago • Apache JMeter
11. 11 Инструментарий • YCSB • cassandra-stress • Iago • Apache JMeter + Netflix plugins
12. 12 Инструментарий • YCSB • cassandra-stress • Iago • Apache JMeter + Netflix plugins JAVA
13. 13 Apache JMeter + Netflix plugins • Гибкость инструмента – scenario-based – hit-based
14. 14 Apache JMeter + Netflix plugins • Гибкость инструмента – scenario-based – hit-based • Простота и открытость инструмента
15. 15 Apache JMeter + Netflix plugins • Гибкость инструмента – scenario-based – hit-based • Простота и открытость инструмента • Опыт
16. 16 Apache JMeter + Netflix plugins • Гибкость инструмента – scenario-based – hit-based • Простота и открытость инструмента • Опыт • Интеграция – yandex-tank – Лунапарк
17. Минимальный кластер CPU E5-2660 x 2 RAM 128Gb HDD (7200rpm) x 4 NET 1Gbit/s
18. 18 Use Case • Write • 1M files text 1kb data • Snappy • Consistency Level 3 • Replication Factor 3
19. 19 Пристреливаемся Длинный текст
20. 20 Пристреливаемся Длинный текст >6000 RPS
21. 21 fail :( Длинный текст 200 RPS
22. 22 HDD RAID10 >200 IOPS
23. 23 ${__FileToString()}
24. 24 /dev/shm & tmpfs
25. 25 HDD → tmpfs
26. 26 HDD → tmpfs 16000RPS
27. 27 Синтетический тест (tmpfs) ${__FileToString(/tmp/shm/test)}
28. 28 Производительность ${__FileToString}
29. 29 Производительность ${__FileToString} ~16000 RPS
30. 30 Кешируем прочитанное! ${__ReadNCache()} Concurrent LRU Cache https://github.com/sch1z0phren1a/jmeter- readncache
31. 31 Синтетический тест (java heap) ${__ReadNCache(/tmp/shm/test)}
32. 32 tmpfs vs java heap
33. 33 tmpfs vs java heap 216 KRPS
34. 34 tmpfs → java heap
35. 35 tmpfs → java heap 35000 RPS
36. 36 tmpfs → java heap 35000 RPS
37. 37 Что же делать?
38. 38 Нестабильная подача нагрузки
39. 39 Анализ работы генератора нагрузки • Открытие файла • Формирование запроса • Отправка запроса • Получение ответа • Логирование результата
40. 40 Анализ работы генератора нагрузки • Открытие файла • Формирование запроса • Отправка запроса • Получение ответа • Логирование результата
41. 41 Анализ работы генератора нагрузки • Открытие файла • Формирование запроса • Отправка запроса • Получение ответа • Логирование результата ?
42. 42 Чем занимаются потоки? jstack -l $(pgrep java)
43. 43 Thread 2391: (state = BLOCKED) - java.io.PrintWriter.println(java.lang.String) @bci=6, line=738 (Compiled frame) - org.apache.jmeter.reporters.ResultCollector.sampleOccurred(o rg.apache.jmeter.samplers.SampleEvent) @bci=83, line=510 (Compiled frame) Изучаем деятельность потоков
44. 44 Анализ работы генератора нагрузки • Открытие файла • Формирование запроса • Отправка запроса • Получение ответа • Логирование результата
45. 45 writer = new PrintWriter(new OutputStreamWriter(new BufferedOutputStream(new FileOutputStream(filename, trimmed)), SaveService.getFileEncoding("UTF-8")), true); ResultCollector.sampleOccurred
46. 46 writer = new PrintWriter(new OutputStreamWriter(new BufferedOutputStream(new FileOutputStream(filename, trimmed)), SaveService.getFileEncoding("UTF-8")), true); ResultCollector.sampleOccurred
47. 47 Ускоряемся! Чем плох autoFlush? Что будет если заменим true на false?
48. 48 Построчно или поблочно?
49. 49 Построчно или поблочно? 98 vs 280 KRPS
50. 50 Поблочно! Apache JMeter 2.10
51. 51 PrintWriter Sampler Thread → PrintWriter
52. 52 PrintWriter Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread → PrintWriter Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread
53. 53 PrintWriter Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread → PrintWriter Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread
54. 54 LF Queue Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread LF Queue Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread
55. 55 LF Queue Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread LF Queue Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread
56. 56 LF Queue Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread LF Queue Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Sampler Thread Logging Thread
57. 57 Еще быстрее! WritebackPrintWriter!
58. 58 Еще быстрее! WritebackPrintWriter! 98 vs 216 vs 370 KRPS
59. 59 Download WritebackPrintWriter http://yadi.sk/d/98Rd05Sh4LA27
60. 60 autoFlush=true → WritebackPrintWriter
61. 61 autoFlush=true → WritebackPrintWriter 45000 RPS
62. 62 Кооперативный режим!
63. 63 Кооперативный режим!
64. 64 Кооперативный режим! ~40000 RPS
65. 65 Кооперативный режим! ~40000 RPS
66. 66 Выводы • Мониторинг (Hardware/Software)
67. 67 Выводы • Мониторинг (Hardware/Software) • Синтетические тесты
68. 68 Выводы • Мониторинг (Hardware/Software) • Синтетические тесты • Деятельность потоков
69. 69 Выводы • Мониторинг (Hardware/Software) • Синтетические тесты • Деятельность потоков • Корректность теста
70. Михаил Епихин Танкист +7 (915) 344 05 20 schizophrenia@yandex-team.ru Спасибо
71. Вопросы