Problems of static analysis in Python

Transcript

1. Никита Соболев github.com/sobolevn
2. >_ X Проблемы статических анализаторов в Python
3. Мы живем в уникальное время
4. Проблемы накопились!
5. Цель: мотивировать вас присоединиться к разработке инструментов будущего
6. Важно! Пользоваться текущими инструментами все равно полезно
7. >_ X Карта текущих решений
8. Flake8 Плагины
9. Flake8 Плагины pylint Плагины
10. Flake8 Плагины pylint Плагины mypy Плагины
11. Flake8 Плагины pylint Плагины mypy Плагины pylance
12. Flake8 Плагины pylint Плагины mypy Плагины pylance pytype
13. Flake8 Плагины pylint Плагины mypy Плагины pylance pytype pyre-check
14. Flake8 Плагины pylint Плагины mypy Плагины pylance pytype pyre-check black
15. Flake8 Плагины pylint Плагины mypy Плагины pylance pytype pyre-check black autopep8
16. Flake8 Плагины pylint Плагины mypy Плагины pylance pytype pyre-check black autopep8 fixit
17. Flake8 Плагины pylint Плагины mypy Плагины pylance pytype pyre-check black autopep8 fixit yapf
18. Flake8 Плагины pylint Плагины mypy Плагины pylance pytype pyre-check black autopep8 fixit yapf pyupgrade
19. Flake8 Плагины pylint Плагины mypy Плагины pylance pytype pyre-check black autopep8 fixit yapf pyupgrade Линтеры
20. Flake8 Плагины pylint Плагины mypy Плагины pylance pytype pyre-check black autopep8 fixit yapf pyupgrade Тайпчекеры Линтеры
21. Flake8 Плагины pylint Плагины mypy Плагины pylance pytype pyre-check black autopep8 fixit yapf pyupgrade Тайпчекеры Линтеры Авто-форматеры
22. >_ X Что лежит в основе?
23. ast = abstract syntax tree
24. print(name_with_meaning, second_name_with_meaning, third) 24
25. <_ast.Module> ┗━ body ┣━ [0] <_ast.Expr> ┃ ┗━ value: <_ast.Call> ┃ ┣━ args ┃ ┃ ┣━ [0] <_ast.Name> ┃ ┃ ┃ ┗━ id: first_long_name_with_meaning ┃ ┃ ┣━ [1] <_ast.Name> ┃ ┃ ┃ ┗━ id: second_very_long_name_with_meaning ┃ ┃ ┗━ [2] <_ast.Name> ┃ ┃ ┗━ id: third ┃ ┗━ func: <_ast.Name> ┃ ┗━ id: print 25
26. Используется > Почти во всех линтерах для анализа кода
27. Проблемы
28. Проблемы > Неконсистентность между версиями Python
29. Проблемы > Неконсистентность между версиями Python > Нет информации о типах
30. Проблемы > Неконсистентность между версиями Python > Нет информации о типах > Нет нюансов синтаксиса
31. Проблемы > Неконсистентность между версиями Python > Нет информации о типах > Нет нюансов синтаксиса > Нет комментариев
32. tokenize
33. 29 print("test", a, b)
35. Используется
36. Используется > Для проверки нюансов синтаксиса
37. Используется > Для проверки нюансов синтаксиса > Для авто-форматирования в некоторых инструментах
38. Проблемы
39. Проблемы > Представляет собой не "структуру", а простой список
40. Проблемы > Представляет собой не "структуру", а простой список > Вообще ничего не знает / не умеет
41. Проблемы > Представляет собой не "структуру", а простой список > Вообще ничего не знает / не умеет > Очень сложен в работе для правил с хоть какой-то логикой
42. libcst = Concrete Syntax Tree
43. Используется
44. Используется > В инфраструктуре Инстаграма
45. Используется > В инфраструктуре Инстаграма > Во многих новых библиотеках для авто-форматирования
46. Используется > В инфраструктуре Инстаграма > Во многих новых библиотеках для авто-форматирования > Для проверки нюансов синтаксиса
47. Используется > В инфраструктуре Инстаграма > Во многих новых библиотеках для авто-форматирования > Для проверки нюансов синтаксиса > Для анализа кода
48. Проблемы
49. Проблемы > Сбоит на некоторых синтаксических конструкциях Python3.9
50. Проблемы > Сбоит на некоторых синтаксических конструкциях Python3.9 > Не работает с Python3.10+
51. typed-tree* *(такого нет)
52. Используется
53. Используется > В любом тайпчекере для представления нашего кода с типами
54. Используется > В любом тайпчекере для представления нашего кода с типами > Для каждого тайпчекера - оно свое
55. Проблемы
56. Проблемы > У каждой реализации они свои!
57. Проблемы > У каждой реализации они свои! > Нет единого стандарта
58. Проблемы > У каждой реализации они свои! > Нет единого стандарта > В каждом тайпчекере поддерживается далеко не все возможности
59. Проблемы > У каждой реализации они свои! > Нет единого стандарта > В каждом тайпчекере поддерживается далеко не все возможности > Нигде (кроме mypy) нет возможности подключать плагины
60. >_ X Пару слов про устаревшие инструменты
61. Flake8
62. Flake8 > Примитивная конфигурация
63. Flake8 > Примитивная конфигурация > Нет типов
64. Flake8 > Примитивная конфигурация > Нет типов > Невозможно нормально внедрить
65. Pylint
66. Pylint > Примитивная конфигурация
67. Pylint > Примитивная конфигурация > Нет типов
68. Pylint > Примитивная конфигурация > Нет типов > Но лучше бы их совсем не было
69. Pylint > Примитивная конфигурация > Нет типов > Но лучше бы их совсем не было > Невозможно нормально внедрить
70. Black
71. Black > Супер примитивный
72. Black > Супер примитивный > Использует lib2to3
73. >_ X Новые проблемы
74. Новый парсер / новая грамматика
75. Аннотации
76. Pattern Matching
77. >_ X Так что делать?
78. typed-linter > Нормальная конфигурация в духе eslint > Провайдеры типов > Авто-форматирование на токенах > Нормальное внедрение
79. Есть одно "но" github.com/sobolevn
80. А пока
81. Самый строгий линтер в мире github.com/wemake-services/wemake-python-styleguide
82. sobolevn.me/2019/10/complexity-waterfall 52
83. Подключайтесь к работе!
84. sobolevn.me Вопросы? github.com/sobolevn