Александр Полищук. Как обновить Python 2.7 на Python 3.6 и не умереть

Первый релиз Python 3 версии состоялся еще в далеком 2000 году, но в продакшне до сих пор многие используют устаревающий Python 2.7. Почему же он все еще используется? Все просто — между версиями отсутствует полная обратная совместимость и миграция может оказаться очень болезненной. Я постараюсь ответить — стоит ли вообще обновляться и с какими трудностями можно столкнуться в процессе обновления.

Transcript

1. Как обновить Python 2.7 на Python 3.6 и не умереть Александр Полищук Twitter, Medium: @alpolishchuk Facebook: @alxpolishchuk
2. Эволюция Python Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
3. Эволюция Python  Появился в феврале 1991 года Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
4. Эволюция Python  Появился в феврале 1991 года  Python 1.0 – январь 1994 года Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
5. Эволюция Python  Появился в феврале 1991 года  Python 1.0 – январь 1994 года  Python 2.0 – 16 октября 2000 года Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
6. Эволюция Python  Появился в феврале 1991 года  Python 1.0 – январь 1994 года  Python 2.0 – 16 октября 2000 года  Python 2.6 – 1 октября 2008 года («соответствует» 3.0, включен ряд возможностей этой версии) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
7. Эволюция Python  Появился в феврале 1991 года  Python 1.0 – январь 1994 года  Python 2.0 – 16 октября 2000 года  Python 2.6 – 1 октября 2008 года («соответствует» 3.0, включен ряд возможностей этой версии)  Python 3.0 (так же Python 3000 или Py3K) – 3 декабря 2008 года Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
8. Эволюция Python  Появился в феврале 1991 года  Python 1.0 – январь 1994 года  Python 2.0 – 16 октября 2000 года  Python 2.6 – 1 октября 2008 года («соответствует» 3.0, включен ряд возможностей этой версии)  Python 3.0 (так же Python 3000 или Py3K) – 3 декабря 2008 года  Python 3.1 – 27 июня 2009 года Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
9. Эволюция Python  Появился в феврале 1991 года  Python 1.0 – январь 1994 года  Python 2.0 – 16 октября 2000 года  Python 2.6 – 1 октября 2008 года («соответствует» 3.0, включен ряд возможностей этой версии)  Python 3.0 (так же Python 3000 или Py3K) – 3 декабря 2008 года  Python 3.1 – 27 июня 2009 года  Python 2.7 – 3 июля 2010 года (соответствует 3.1, включен ряд возможностей этой версии) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
10. Почему Python 2 все еще используется? Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
11. Почему Python 2 все еще используется?  Отсутствие обратной совместимости между версиями Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
12. Почему Python 2 все еще используется?  Отсутствие обратной совместимости между версиями  Отсутствие особых «killer features» Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
13. Почему Python 2 все еще используется?  Отсутствие обратной совместимости между версиями  Отсутствие особых «killer features»  В большинстве *nix-дистрибутивов установлен по умолчанию Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
14. Почему Python 2 все еще используется?  Отсутствие обратной совместимости между версиями  Отсутствие особых «killer features»  В большинстве *nix-дистрибутивов установлен по умолчанию  Не все библиотеки поддерживают обе версии языка Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
15. Плюсы после обновления Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
16. Плюсы после обновления  Юникод по умолчанию Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
17. Плюсы после обновления  Юникод по умолчанию  Keyword-Only Arguments (PEP 3102) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
18. Плюсы после обновления  Юникод по умолчанию  Keyword-Only Arguments (PEP 3102)  Доступ к переменным из внешнего замыкания (PEP 3104) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
19. Плюсы после обновления  Юникод по умолчанию  Keyword-Only Arguments (PEP 3102)  Доступ к переменным из внешнего замыкания (PEP 3104)  Function annotations (PEP 3107) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
20. Плюсы после обновления  Юникод по умолчанию  Keyword-Only Arguments (PEP 3102)  Доступ к переменным из внешнего замыкания (PEP 3104)  Function annotations (PEP 3107)  Улучшенная распаковка элементов (PEP 3132) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
21. Плюсы после обновления  Юникод по умолчанию  Keyword-Only Arguments (PEP 3102)  Доступ к переменным из внешнего замыкания (PEP 3104)  Function annotations (PEP 3107)  Улучшенная распаковка элементов (PEP 3132)  Asyncio в стандартной библиотеке (PEP 3156) (c версии 3.4) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
22. Плюсы после обновления  Юникод по умолчанию  Keyword-Only Arguments (PEP 3102)  Доступ к переменным из внешнего замыкания (PEP 3104)  Function annotations (PEP 3107)  Улучшенная распаковка элементов (PEP 3132)  Asyncio в стандартной библиотеке (PEP 3156) (c версии 3.4)  f-строки (PEP 498) (c версии 3.6) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
23. Плюсы после обновления  Юникод по умолчанию  Keyword-Only Arguments (PEP 3102)  Доступ к переменным из внешнего замыкания (PEP 3104)  Function annotations (PEP 3107)  Улучшенная распаковка элементов (PEP 3132)  Asyncio в стандартной библиотеке (PEP 3156) (c версии 3.4)  f-строки (PEP 498) (c версии 3.6)  И т.д. Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
24. Что из себя представляет проект Континент TLS Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
25. Что из себя представляет проект Континент TLS  C++ Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
26. Что из себя представляет проект Континент TLS  C++  Python Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
27. Что из себя представляет проект Континент TLS  C++  Python  JavaScript (React) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
28. Что из себя представляет проект Континент TLS  C++  Python  JavaScript (React)  Redis Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
29. Что из себя представляет проект Континент TLS  C++  Python  JavaScript (React)  Redis  PostgreSQL Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
30. Python в Континент TLS Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
31. Python в Континент TLS Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
32. Python в Континент TLS Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
33. Используемые фреймворки и библиотеки в Континент TLS Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
34. Используемые фреймворки и библиотеки в Континент TLS  Django Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
35. Используемые фреймворки и библиотеки в Континент TLS  Django  Django REST Framework Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
36. Используемые фреймворки и библиотеки в Континент TLS  Django  Django REST Framework  Celery (Redis as broker) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
37. Используемые фреймворки и библиотеки в Континент TLS  Django  Django REST Framework  Celery (Redis as broker)  Cryptography Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
38. Используемые фреймворки и библиотеки в Континент TLS  Django  Django REST Framework  Celery (Redis as broker)  Cryptography  Python-ldap Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
39. Используемые фреймворки и библиотеки в Континент TLS  Django  Django REST Framework  Celery (Redis as broker)  Cryptography  Python-ldap  Requests Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
40. Как мы готовились к обновлению Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
41. Как мы готовились к обновлению Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk  Написали unittest’ы
42. Как мы готовились к обновлению Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk  Написали unittest’ы  Добавили еще unittest’ов
43. Как мы готовились к обновлению Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk  Написали unittest’ы  Добавили еще unittest’ов  Постарались покрыть unittest’ами как можно больше кода
44. Как мы готовились к обновлению Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk  Написали unittest’ы  Добавили еще unittest’ов  Постарались покрыть unittest’ами как можно больше кода  Опционально: использование библиотеки __future__ (unicode_literals, division, print_function)
45. Первый запуск тестов после обновления интерпретатора Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
46. Первый запуск тестов после обновления интерпретатора Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
47. Первый запуск тестов после обновления интерпретатора Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
48. Первые ошибки Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
49. Первые ошибки  Метод encode(decode)string из модуля base64 устарел, вместо него – encode(decode)bytes (начиная с версии 3.1) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
50. Первые ошибки  Метод encode(decode)string из модуля base64 устарел, вместо него – encode(decode)bytes (начиная с версии 3.1)  Отсутствие метода assertDictContainsSubset (после версии 3.2) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
51. Первые ошибки  Метод encode(decode)string из модуля base64 устарел, вместо него – encode(decode)bytes (начиная с версии 3.1)  Отсутствие метода assertDictContainsSubset (после версии 3.2)  Вместо assertItemsEqual – assertCountEqual (появился в версии 3.2) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
52. Первые ошибки  Метод encode(decode)string из модуля base64 устарел, вместо него – encode(decode)bytes (начиная с версии 3.1)  Отсутствие метода assertDictContainsSubset (после версии 3.2)  Вместо assertItemsEqual – assertCountEqual (появился в версии 3.2)  Mock в стандартной библиотеке unittest (появился в версии 3.3) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
53. Первые ошибки  Метод encode(decode)string из модуля base64 устарел, вместо него – encode(decode)bytes (начиная с версии 3.1)  Отсутствие метода assertDictContainsSubset (после версии 3.2)  Вместо assertItemsEqual – assertCountEqual (появился в версии 3.2)  Mock в стандартной библиотеке unittest (появился в версии 3.3)  encode/decode – теперь это не про кодировку строки Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
54. Первые ошибки  Метод encode(decode)string из модуля base64 устарел, вместо него – encode(decode)bytes (начиная с версии 3.1)  Отсутствие метода assertDictContainsSubset (после версии 3.2)  Вместо assertItemsEqual – assertCountEqual (появился в версии 3.2)  Mock в стандартной библиотеке unittest (появился в версии 3.3)  encode/decode – теперь это не про кодировку строки  True division (PEP 238) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
55. Первые ошибки  Некоторые функции (zip, map, filter), а также методы словарей (.keys(), .values(), .items()) возвращают итератор вместо списка Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
56. Первые ошибки  Некоторые функции (zip, map, filter), а также методы словарей (.keys(), .values(), .items()) возвращают итератор вместо списка  xrange отсутствует, вместо него – range Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
57. Первые ошибки  Некоторые функции (zip, map, filter), а также методы словарей (.keys(), .values(), .items()) возвращают итератор вместо списка  xrange отсутствует, вместо него – range  Новый urllib, состоящий из 2-х модулей – urllib.parse и urllib.request Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
58. Первые ошибки  Некоторые функции (zip, map, filter), а также методы словарей (.keys(), .values(), .items()) возвращают итератор вместо списка  xrange отсутствует, вместо него – range  Новый urllib, состоящий из 2-х модулей – urllib.parse и urllib.request  Модуль Cookie «переехал» в модуль http (http.cookie) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
59. Первые ошибки  Некоторые функции (zip, map, filter), а также методы словарей (.keys(), .values(), .items()) возвращают итератор вместо списка  xrange отсутствует, вместо него – range  Новый urllib, состоящий из 2-х модулей – urllib.parse и urllib.request  Модуль Cookie «переехал» в модуль http (http.cookie)  Новый формат применения прав в os.chmod (0755 устарел, осталось только 0о755) (PEP 3127) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
60. Первые ошибки  Некоторые функции (zip, map, filter), а также методы словарей (.keys(), .values(), .items()) возвращают итератор вместо списка  xrange отсутствует, вместо него – range  Новый urllib, состоящий из 2-х модулей – urllib.parse и urllib.request  Модуль Cookie «переехал» в модуль http (http.cookie)  Новый формат применения прав в os.chmod (0755 устарел, осталось только 0о755) (PEP 3127)  Отсутствие литеры L в конце больших чисел (PEP 237) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
61. Бонус Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
62. Бонус Формат DER Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
63. Бонус Формат DER Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
64. Бонус Формат DER Формат PEM Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
65. Бонус Формат DER Формат PEM Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
66. Вторая волна Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
67. Вторая волна – самописные модули с C++ extensions  PyString_* больше не используется, остался только PyUnicode_* Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
68. Вторая волна – самописные модули с C++ extensions  PyString_* больше не используется, остался только PyUnicode_*  PyInt_* больше не используется, остался только PyLong_* Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
69. Вторая волна – самописные модули с C++ extensions  PyString_* больше не используется, остался только PyUnicode_*  PyInt_* больше не используется, остался только PyLong_*  Новая инициализация модуля (PEP 3121) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
70. Новая инициализация C++ extensions Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
71. Новая инициализация C++ extensions Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
72. Новая инициализация C++ extensions  PyInit_<modulename> (раньше init<modulename>) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
73. Новая инициализация C++ extensions  PyInit_<modulename> (раньше init<modulename>)  Функция инициализации теперь возвращает PyObject* (раньше NULL) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
74. Новая инициализация C++ extensions  PyInit_<modulename> (раньше init<modulename>)  Функция инициализации теперь возвращает PyObject* (раньше NULL)  Структура PyModuleDef Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
75. Новая инициализация C++ extensions  PyInit_<modulename> (раньше init<modulename>)  Функция инициализации теперь возвращает PyObject* (раньше NULL)  Структура PyModuleDef  Создание объекта модуля - PyModule_Create (раньше Py_InitModule) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
76. Ещё один бонус – обновление DRF Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
77. Ещё один бонус – обновление DRF  DynamicListRoute устарел, остался только DynamicRoute Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
78. Ещё один бонус – обновление DRF  DynamicListRoute устарел, остался только DynamicRoute  Новый boolean kwarg для Route и DynamicRoute - detail Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
79. Ещё один бонус – обновление DRF  DynamicListRoute устарел, остался только DynamicRoute  Новый boolean kwarg для Route и DynamicRoute - detail  list_route/detail_route устарели, вместо них теперь action(detail: boolean) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
80. Ещё один бонус – обновление DRF  DynamicListRoute устарел, остался только DynamicRoute  Новый boolean kwarg для Route и DynamicRoute - detail  list_route/detail_route устарели, вместо них теперь action(detail: boolean)  filters переехали в django_filters.rest_framework (в 3 версии DRF) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
81. Что же в итоге? Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
82. Что же в итоге?  Снизилось потребление памяти Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
83. Что же в итоге?  Снизилось потребление памяти  Код стало удобнее писать Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
84. Что же в итоге?  Снизилось потребление памяти  Код стало удобнее писать  Chained exceptions – стало удобнее искать ошибку в коде Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
85. Что же в итоге?  Снизилось потребление памяти  Код стало удобнее писать  Chained exceptions – стало удобнее искать ошибку в коде  Удовлетворение от проделанной миграции Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
86. Ложка дегтя Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
87. Ложка дегтя Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
88. Ложка дегтя  Python-ldap – в результатах теперь bytestring Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
89. Ложка дегтя  Python-ldap – в результатах теперь bytestring  hashlib – на вход только bytestring (на выходе остался string) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
90. Ложка дегтя  Python-ldap – в результатах теперь bytestring  hashlib – на вход только bytestring (на выходе остался string)  Subprocess.communicate – теперь принимает только bytestring и возвращает также bytestring Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
91. Ложка дегтя bytestring = b’bytestring’ Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
92. Ложка дегтя bytestring = b’bytestring’ f”format with {bytestring}” -> “format with b’bytestring’” Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
93. Ложка дегтя bytestring = b’bytestring’ f”format with {bytestring}” -> “format with b’bytestring’” >> ‘some_string’ == b’some_string’ Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
94. Ложка дегтя bytestring = b’bytestring’ f”format with {bytestring}” -> “format with b’bytestring’” >> ‘some_string’ == b’some_string’ False Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
95. Ложка дегтя bytestring = b’bytestring’ f”format with {bytestring}” -> “format with b’bytestring’” >> ‘some_string’ == b’some_string’ False >> ‘test’ in b’test_string’ Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
96. Ложка дегтя bytestring = b’bytestring’ f”format with {bytestring}” -> “format with b’bytestring’” >> ‘some_string’ == b’some_string’ False >> ‘test’ in b’test_string’ TypeError Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
97. Ложка дегтя django.shortcuts.redirect Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
98. Ложка дегтя django.shortcuts.redirect  set_cookie(“cookie_key”, “куки”) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
99. Ложка дегтя django.shortcuts.redirect  set_cookie(“cookie_key”, “куки”)  force_text(“куки”) Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
100. Ложка дегтя django.shortcuts.redirect  set_cookie(“cookie_key”, “куки”)  force_text(“куки”)  Python2.7 -> “\u043a\u0443\u043a\u0438” Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
101. Ложка дегтя django.shortcuts.redirect  set_cookie(“cookie_key”, “куки”)  force_text(“куки”)  Python2.7 -> “\u043a\u0443\u043a\u0438”  Python3.6 -> “куки” Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
102. Ложка дегтя django.shortcuts.redirect  set_cookie(“cookie_key”, “куки”)  force_text(“куки”)  Python2.7 -> “\u043a\u0443\u043a\u0438”  Python3.6 -> “куки” RFC 5987 Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
103. Ложка дегтя django.shortcuts.redirect  set_cookie(“cookie_key”, “куки”)  force_text(“куки”)  Python2.7 -> “\u043a\u0443\u043a\u0438”  Python3.6 -> “куки” RFC 5987  encode(“unicode-escape”) -> b”\\u043a\\u0443\\u043a\\u0438” Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
104. Ложка дегтя django.shortcuts.redirect  set_cookie(“cookie_key”, “куки”)  force_text(“куки”)  Python2.7 -> “\u043a\u0443\u043a\u0438”  Python3.6 -> “куки” RFC 5987  encode(“unicode-escape”) -> b”\\u043a\\u0443\\u043a\\u0438”  decode(“utf-8”) -> “\\u043a\\u0443\\u043a\\u0438” Twitter, Medium: @alpolishchuk, Facebook: alxpolishchuk
105. Спасибо за внимание! info@securitycode.ru http://securitycode.ru Twitter, Medium: @alpolishchuk Facebook: alxpolishchuk