PythoNN: Василий Рябов – "Парсинг бинарных данных с помощью ctypes, или пишем на питоне как на Си"

Доклад: https://youtu.be/qahf7QGRVsA

1. Парсинг бинарных данных, или пишем на Python как на C Василий Рябов, Huawei, Нижний Новгород PythoNN meetup #1 14 июля 2023
2. С_одержимое • Как не надо делать! (а по рукам?) • Как надо/можно делать (сахарок) • чистый Python • Python зовёт C • Python зовёт C++ • Python берёт C++ к себе • Какое оно внутри?
3. Примеры прикладных задач • Обновить прошивку на флешке устройства • прочитать, изменить некоторые поля, записать обратно • Распарсить сетевой пакет: TCP/IP стек или свой протокол • хотя есть scapy ☺ • Сериализация/десериализация при плотной упаковке бит • Реверс инжиниринг / security checkers
4. Разбор ELF файла • ELF – Executable & Linkable Format (Linux) • .exe • .o • .so, .ko, .mod • core dump
5. Разбор ELF файла • ELF header (разберём его) • Program header • Section header • Symbol table
6. Разбор ELF файла • ELF header (разберём его) • Program header • Section header • Symbol table
7. Разбор ELF файла # readelf -h /usr/bin/python3 ELF Header: Magic: 7f 45 4c 46 02 01 01 00 00 00 00 00 00 00 00 00 Class: ELF64 Data: 2's complement, little endian Version: 1 (current) OS/ABI: UNIX - System V ABI Version: 0 Type: DYN (Position-Independent Executable file) Machine: Advanced Micro Devices X86-64 Version: 0x1 ...
8. А по-русски? • Порядок байт: • little-endian • big-endian • сетевой – это какой из них? • ABI – Application Binary Interface (почти как API, только жёстче)
10. Как не надо делать! (а по рукам?)
11. Как не надо делать! (а по рукам?)
12. Как не надо делать! (а по рукам?) • магические числа – для маглов!
13. Как не надо делать! (а по рукам?)
14. Как не надо делать! (а по рукам?)
15. Как не надо делать! (а по рукам?) • магические буквы!
16. Как надо/можно делать (чистый Python)
17. Как надо/можно делать (чистый Python)
18. Как надо/можно делать (чистый Python)
19. Как надо/можно делать (чистый Python) .from_buffer() .from_buffer_copy() .from_address()
20. Как надо/можно делать (чистый Python)
21. Как надо/можно делать (чистый Python) magic=b'\x7fELF' elf_class=2 endianness=1 elf_version=1 os_abi=0 reserved=<__main__.c_ubyte_Array_8 object at 0x000001C2D16049C0>
22. Как надо/можно делать (чистый Python)
23. Как надо/можно делать (чистый Python)
24. Как надо/можно делать (чистый Python) magic = b'\x7fELF’ elf_class = 2 endianness = little-endian (1) elf_version = 1 os_abi = UNIX System V ABI (0)
25. Как надо/можно делать (чистый Python) magic = b'\x7fELF’ elf_class = 2 endianness = little-endian (1) elf_version = 1 os_abi = UNIX System V ABI (0)
26. Как надо/можно делать (чистый Python)
27. Как надо/можно делать (чистый Python) • Плюсы: • отладка на чистом Python • не зависим от версии Python и внешних библиотек • нет магических чисел и букв • Минусы: • если есть готовый C код, нужно его переписать на Python • ctypes.LittleEndianStructure • ctypes.BigEndianStructure
28. Python зовёт С • Зовём готовый C код из бинарной библиотеки (.dll, .so) <_FuncPtr object at 0x7f66834831c0>
29. Python зовёт С • Зовём готовый C код из бинарной библиотеки (.dll, .so) <_FuncPtr object at 0x7f66834831c0> readelf -Ws /usr/lib/x86_64-linux-gnu/libelf-0.186.so
30. Python зовёт С • Зовём готовый C код из бинарной библиотеки (.dll, .so) <_FuncPtr object at 0x7f66834831c0> readelf -Ws /usr/lib/x86_64-linux-gnu/libelf-0.186.so • Для Windows есть Dependency Walker
31. Python зовёт С Elf64_Ehdr * elf64_getehdr (Elf *elf);
32. Python зовёт С Elf64_Ehdr * elf64_getehdr (Elf *elf);
33. Python зовёт С • Компилируем готовый C код, обёрнутый в PyObject*, и зовём • .pyd / .so --> импортим как обычный Python модуль
34. Python зовёт С++ • pybind11 (в LLVM это 556 строк: 4 класса, 11 type casters) • Boost-Python (Boost – слишком большой) • SWIG (.i или .swig --> .c) (в LLVM это ~2K+ строк) • Все требуют компиляции для нескольких версий Python • Желательно создание .whl файлов (колёс) для PyPI
35. Python зовёт С++ (pybind11) #include <pybind11/pybind11.h> int add(int i, int j) { return i + j; } namespace py = pybind11; PYBIND11_MODULE(cmake_example, m) { m.doc() = R"pbdoc(Pybind11 example plugin)pbdoc"); m.def("add", &add, R"pbdoc(Add two numbers)pbdoc"); }
36. Python берёт C++ к себе • cppyy (си-пи-пи вай-вай!) • pip install cppyy • cppyy <-- cling (just-in-time, JIT) <-- clang (ahead-of-time, AOT) <-- LLVM • Из чистого Python можно: • #include <elf.h> • загрузить .c / .cpp файл • выполнить произвольное С/С++ выражение • Результат можно использовать в чистом Python
37. Python берёт C++ к себе • cppyy (си-пи-пи вай-вай!) • pip install cppyy • cppyy <-- cling (just-in-time, JIT) <-- clang (ahead-of-time, AOT) <-- LLVM • Из чистого Python можно: • #include <elf.h> • загрузить .c / .cpp файл • выполнить произвольное С/С++ выражение • Результат можно использовать в чистом Python
38. cppyy (что он умеет?) • Видит: • typedef’ы • классы • структуры • enum’ы • namespace’ы • template’ы • функции и методы • Не видит: • ни один #define  весит порядка 150 Мб
39. Разбор ELF файла через cppyy
40. Разбор ELF файла через cppyy e_ehsize = 64 e_entry = 2273792 e_flags = 0 e_ident = <cppyy.LowLevelView object at 0x7f727c9527b0> e_machine = 62 e_phentsize = 56 e_phnum = 13 e_phoff = 64 e_shentsize = 64 e_shnum = 34 e_shoff = 5910760 e_shstrndx = 33 e_type = 3 e_version = 1
41. Разбор ELF файла через cppyy
42. Какое оно внутри? • ctypes – это только преобразование типов • сигнатура функции • libffi : FFI == Foreign Function Interface (на чистом C) • конвенция вызовов (calling convention) в рантайме • __cdecl • __stdcall • __fastcall (MSVC != clang) • …
43. Так вот ты какой, ABI… • список экспортированных функций в .so файле • сигнатуры функций • конвенция вызовов • С++ name mangling (правило обезображивания имён) • exception propagation
44. Как устроены JIT компиляторы
45. Как устроены JIT компиляторы
46. Спасибо!