5 production Node.js stories at OdessaJS 2017

5 production story with Node.js problems. For every story, there are an issue, wrong solution for the issue, problem reason and best practice to avoid such problem.

Video from OdessaJS is available here.

Transcript

1. 5 production Node.js stories Nikita Galkin
2. Галкин Никита Люблю и умею: ▰ Node.js, OpenSource, TypeScript, Docker, AWS ▰ Распиливать монолиты на микросервисы Верю: ▰ Проблем нужно решать на правильном уровне ▰ Сложности в людях, а не технологиях ▰ Идеи и решения надо “продавать” Доклады: ▰ Spec driven development in Microservices ▰ Использовании TypeScript для Node.js приложений ▰ Best practices of Node.js use in production ▰ Testing in Node.js World Ссылки: GitHub Twitter Facebook 2
3. 3 Зачем этот доклад?
4. Hard ▰ Base FE or Mobile ▰ DB ▰ Base Linux + DevOps ▰ Protocols (HTTP, bin, WS) ▰ Utils (git, docker, etc) ▰ StackoverflowDD Требования к Node.js разработчику Soft ▰ English ▰ Мотивация учить технологии ▰ Умение работать в команде ▰ Адекватность 4
5. ▰ Уровень зарплат аналогичен Java ▰ Опыта меньше ▰ Часто переходят из Front-end разработки ▰ Технологии очень быстро меняются Факты о Node.js разработчиках 5
6. В каком формате этот доклад? 6
7. ▰ Node.js не как CLI tools ▰ Не AWS Lambda ▰ Node.js server работает в production Детали 7
8. Let's pack our app! 8
9. Компания: Distributed with outsource Проект: web server on embedded Задача: Обеспечить установку прошивки оффлайн Детали 9
10. “Давайте используем Webpack! Просто сделаем bundle с нашим приложением и будем деплоить уже его. Принятое решение
11. Не работает у части клиентов.
12. Различные процессоры на устройствах
13. Теория ▰ Существуют pre<scriptname> и post<scriptname> hooks ▰ Во время postinstall происходит установка и компиляция bin-ой части вашего приложения ▰ Компиляция и установка являются OS, node version, cpu architecture зависимыми ▰ [Лайфхак]: Стоит использовать optionalDependencies для OS- зависимых пакетов. 13
14. Делаем build под конкретное устройство
15. npm install Аналогия конфетно-цветочный период
16. Bring me the data! 16
17. Компания: Big product company Проект: Поиск и выдача сложно- структурированных данных Задача: Изменить структура ответа для UI Детали 17
18. ▰ UI ▰ Nginx ▰ Node.js ▰ Solr Шаги запроса 18
19. Тормозит :(
20. ▰ UI хочет другую структуру данных ▰ Nginx не кэширует эти динамические запросы ▰ Node.js использует дешевые сервера ▰ Solr использует дорогие сервера. Кэшировать дорого по железу. Шаги запроса 20
21. “Давайте Node.js будет менять структура ответа и еще и кэшировать? Принятое решение
22. ▰ UI хочет 10-100кб ▰ Nginx не кэширует эти динамические запросы ▰ Node.js трансформирует 3Мб ▰ Solr отдает 3 Мб Шаги запроса 22
23. Преобразование большого объекта много работы для CPU
24. Теория ▰ Node.js однопроцессорна по своей природе ▰ Существует Event Loop ▰ Большое значение Event Loop Delay свидетельствует о плохой архитектуре кода Node.js приложения ▰ Для самоконтроля стоит использовать модуль blocked или его аналоги ▰ PM2 показывает Event Loop Delay из коробки 24
25. Solr –трансформация Nginx – кэширование Node.js – проксирование
26. Блочить Event Loop Аналогия Заставлять девушку думать
27. Where is my data? 27
28. Компания: Outsource Проект: Microservices with Event Source Ситуация: Потеряли данные о 16000 событиях Детали 28
29. Детали 29
30. “Очередь была динамичекая и создавалась под каждый инстанс микросервиса отдельно. Обнаруженная проблема
31. Разработчики не думают о выключении своего приложения
32. Разработчики не думают как выключать свое приложение
33. 33 Так как выключать?
34. Как выключать? 34 function stopHandler() { process.exit(); } process.on("SIGTERM", stopHandler);
35. Как выключать? 35 let server = app.listen(settings.port, () => { logger.info(`Server started on port ${settings.port} with pid ${process.pid}`); }); function stopHandler() { server.close(); process.exit(); } process.on("SIGTERM", stopHandler);
36. 36 Просто перестань ей звонить!
37. Теория ▰ Подготовка ▻ Имейте доступ ко всем соединениям ▻ Сохраняйти id таймеров и интервалов ▻ Повести process.on для сигналов и exit ▰ Выключение ▻ Выключите все соединения ▻ Остановите все таймеры и интервалы ▻ Добавьте таймер, если остановка будет слишком долгой 37
38. Graceful Shutdown Аналогия расставайтесь красиво брачный контракт
39. New version was failed 39
40. Компания: Outstaff company Проект: Mobile application with Node.js backend Ситуация: Новая версия Node.js сервера не запустилась. Старая тоже перестала запускаться Детали 40
41. ▰ Npm 4. Shrinkwrap не использовался ▰ Зависимость третьего уровня обновилась, поэтому все перестало работать ▰ С NPM 5 и package-lock.json этого не случится В двух словах 41
42. MongoDB is down 42
43. Компания: Small outsource company Проект: E-commerce startup Ситуация: Упала MongoDB на продакшене Детали 43
44. ▰ OoM killer убил MongoDB ▰ До этого он убивал Node.js ▰ А PM2 рестартил Node.js ▰ Почему течет нода не ясно * Постмортемы Постмортем* 44
45. ▰ Возьмем server побольше ▰ Добавим мониторинг на OoM Killer ▰ Запустим Node.js в дебаг режиме ▰ Дождемся как поплывет память Решение 45
46. 46 Аналогия?
47. Используйте Debug!
48. ▰ node --inspect ▰ Node inspector manager (NIM) ▰ Memory snapshot ▰ sigusr1 переведет Node.js в дебаг Теория 48
49. Debug on Production Аналогия поговорить здесь и сейчас
50. 50 Выводы
51. ▰ npm install важен ▰ Используйте debug ▰ Graceful Shutdown ▰ Избегайте Event Loop блокировок ▰ Учите Node.js Выводы 51
52. That's All Folks! @galk_in 52