Что внутри у Питона: как работает интерпретатор

Злата Обуховская (Nvidia) @ Moscow Python Meetup 60

"Это первая из трёх лекций в цикле «Внутренности Питона». Мы разберёмся, как устроен Питон, посмотрим на этапы работы интерпретатора, построение деревьев разбора и генерацию байткода, а также выясним, какое пространство для оптимизаций нам это дает.

Если хотите больше знать про язык, на котором пишете, то приходите. Если уже все знаете, всё равно приходите".

Видео: http://www.moscowpython.ru/meetup/60/inside-python1/

Transcript

1. Что внутри у питона Как работает интерпретатор Злата Обуховская
2. Зачем понимать, как работает питон?
4. Зачем понимать, как работает питон? • повседневные прикладные задачи зачастую не повышают уровень инженерных навыков: ◦ проектирование архитектуры ◦ выбор подходящих для задачи технологий ◦ решение задачи оптимальным по трудозатратам способом • хорошие инженерные навыки помогают выполнять работу качественнее и быстрее • понимание внутренностей питона — один из способов повысить свой уровень
6. Часть 1: Компиляция
7. Спойлер Компиляция в CPython устроена почти, как в учебнике Ахо Ульмана
9. Типичный компилятор
10. Типичный CPython
11. Как интерпретируется 1.py
12. Инициализация 1. pymain_main — точка входа 2. _Py_InitializeCore инициализует: • interpreter state • thread state • GIL • подгружает sys • подгружает builtins 3. PyRun_FileExFlags выделяет память, компилирует и интерпретирует
13. Разбор кода PyParser_ParseFileObject: • инициализует токенайзер • разбивает файл на токены • использует LL-грамматику, определенную в Parser/Python.asdl • строит дерево разбора (parse tree)
14. Грамматика
15. Дерево разбора 1.py
16. Дерево разбора a = 0
17. Дерево разбора • это список всех цепочек вывода для распаршенных токенов • для работы с деревьями вывода есть модуль parser • идентификаторы токенов можно найти в модулях symbol и token
18. AST 1.py
19. AST a = 0
20. Abstract Syntax Tree • строится в PyAST_FromNodeObject • представляет программу в независимом от синтаксиса виде • может использоваться для оптимизаций программы • для работы с синтаксическими деревьями есть модуль ast
21. Control Flow Graph и генерация байткода Генерация происходит в PyAST_CompileObject: • код разделяется на блоки • определяются области видимости переменных (global, local, builtins) • строится таблица символов • строится CFG • обходится граф • для каждого узла CFG генерится байткод и производятся оптимизации
22. Узел Control Flow Graph для блока кода
23. Блок кода с инструкциями
24. Инструкции корневого блока 1.py
25. Инструкции блока функции f
26. Результатом компиляции является code object
27. Репрезентация code object в питоне
28. Этап компиляции Переводит код в code object
29. Часть 2: Интерпретация
30. Интерпретация байткода Code object попадает в _PyEval_EvalCodeWithName: • инициализуется фрейм для выполнения кода • инициализует параметры вызова функции, переменные замыканий • вызывает _PyEval_EvalFrameDefault • попадает в цикл с огромным свитчем
31. Великий свитч ceval.c
32. Байткод 1.py
33. Фреймы
34. Фреймы
35. CALL_FUNCTION
36. CALL_FUNCTION
37. Много разных стейтов
38. Этап интерпретации Выполняет инструкции в фрейме в стеке в стейте треда Переключает треды И кое-что еще
39. Часть 3. Кое-что об оптимизациях
40. Куда засунуть оптимизации?
41. Генерация байткода: peephole optimizer имплементирован в Python/peephole.c • удаляет ненужные инструкции • оптимизирует jump-инструкции • арифметические оптимизации
42. AST оптимизации в CPython можно сделать: • вычисление констант • copy propagation • dead code elimination • разворачивание циклов • builtins в константы нужны проверки изменения переменных
43. Когда в CPython будет JIT? • никогда
44. Откуда так много питонов? • CPython • Stackless (свои микротреды) • Unladen swallow (все на llvm) • PyPy (RPython) • IronPython (генерят байткод для Mono) • Numba (подмножество питона, llvm, есть JIT) ТЫСЯЧИ ИХ!
45. Выводы • CPython позволяет добиться тотальной мутабельности • Скорость выполнения при этом теряется • Оптимизации возможны за счет переписывания виртуальной машины • Можно оптимизировать процесс исполнения инструкций в vm • А можно вводить оптимизации из теории компиляторов