«Graceful Shutdown в Go-сервисах и как подружить его с Kubernetes» — Артемий Рябинков (Avito)

Выступление на Go 1.10 Release Party @ Badoo 24.02.2018.
Артемий расскажет про подходы к безопасному завершению работы многопоточных программ на Go, в частности о том, как контролировать горутины и управлять ими. Объяснит, почему во время выкатки сервисов в Kubernetes пользователям может возвращаться множество ошибок. Чтобы подробнее раскрыть, почему так происходит, схематично покажет, как работает Kubernetes внутри, и почему он не позволяет сделать выкатку сервисов бесшовной.

Transcript

1. Подход к Graceful Shutdown в Go И почему это не работает в Kubernetes Артемий Рябинков Avito
2. Что такое Graceful Shutdown и зачем он нужен? • Завершаемся предсказуемо • Не теряем данные
3. https://12factor.net/disposability
4. Бесшовная выкатка • Выкатываем новую версию сервиса • Переключаем на неё трафик • Отключаем старую версию сервиса
5. Время ответа Кол-во ошибок
6. Идеально: время ответа не скачет и ошибок нет! ms
7. Как программе узнать о необходимости завершиться? Сигналы! SIGTERM, SIGINT, SIGQUIT, SIGKILL
8. План Пишем на PHP • Слушаем сигнал • Просим потоки завершиться • Ждем завершения всех потоков • Выходим из процесса
9. main SIGTERM
10. Ловим сигнал OS // Register signal handler sigc := make(chan os.Signal, 1) signal.Notify(sigc, syscall.SIGINT, syscall.SIGTERM) // Wait for signal <-sigc
11. Завершаем Goroutine
12. func main() { done := make(chan struct{}) go listen(done) // .. SIGTERM close(done) // .. wait for listen }
13. func main() { ctx, cancel := context.WithCancel(...) go listen(ctx) // .. SIGTERM cancel() // .. wait for listen }
14. func listen(ctx context.Context) { for { select { case <-ctx.Done(): return default: // .. do hard work } } }
15. Используем context.Context для завершения
16. Ждем завершения Goroutine
17. func main() { done := make(chan struct{}) go listen(done) <-done // waiting }
18. func listen(done chan struct{}) { // .. do hard work done <- struct{}{} }
19. Проблемы канала • Boilerplate код в Listen • Нет уверенности в том, что функция действительно завершилась
20. Используем sync.WaitGroup для ожидания
21. func main() { var wg sync.WaitGroup wg.Add(1) go func() { listen() // blocking wg.Done() }() wg.Wait() // wait them all }
22. context.Context + sync.WaitGroup
23. func main() { ctx, cancel := context.WithCancel(...) var wg sync.WaitGroup wg.Add(1) go func() { listen(ctx) wg.Done() }() // .. SIGTERM cancel() wg.Wait() }
24. golang.org/x/sync/errgroup
25. func main() { ctx, cancel := context.WithCancel(...) var g errgroup.Group g.Go(func() error { return listen(ctx) } // .. SIGTERM cancel() if err := g.Wait(); err != nil { // Handle error } }
26. errgroup.WithContext
27. Server CRON SIG Trap Consumer
31. Как на самом деле происходит выкатка в Kubernetes?
32. S1 S2 Kubelet Kube-Proxy Kubelet Kube-Proxy Master Kubelet Kubelet Kube-Proxy Kube-Proxy
33. Sleep 5 @see https://github.com/kubernetes/contrib/issues/1140
34. containers: - name: mycontainer # .. lifecycle: preStop: exec: command: ["sleep","5"]
36. Спасибо! Рябинков Артемий github.com/furdarius getlag@ya.ru