Как работает сборщик мусора в CPython во всех мучительных деталях

Transcript

1. Как работает сборщик мусора в CPython во всех мучительных деталях Злата Обуховская
2. char *src = malloc(len); char *dst = malloc(len); src = scanf("%s", len); dst = memcpy(dst, src, len); ... free(src); free(dst); def foo(): src = input() dst = src
3. int PyByteArray_Resize(PyObject *self, Py_ssize_t requested_size) { ... sval = PyObject_Malloc(alloc); memcpy(sval, PyByteArray_AS_STRING(self), Py_MIN((size_t)requested_size, (size_t)Py_SIZE(self))); PyObject_Free(obj->ob_bytes); obj->ob_bytes = obj->ob_start = sval;
4. _____ ______ ______ ________ [ int ] [ dict ] [ list ] ... [ string ] Python core | +3 | <----- Object-specific memory -----> | <-- Non-object memory --> | _______________________________ | | [ Python's object allocator ] | | +2 | ####### Object memory ####### | <------ Internal buffers ------> | ______________________________________________________________ | [ Python's raw memory allocator (PyMem_ API) ] | +1 | <----- Python memory (under PyMem manager's control) ------> | | __________________________________________________________________ [ Underlying general-purpose allocator (ex: C library malloc) ] 0 | <------ Virtual memory allocated for the python process -------> |
5. _____ ______ ______ ________ [ int ] [ dict ] [ list ] ... [ string ] Python core | +3 | <----- Object-specific memory -----> | <-- Non-object memory --> | _______________________________ | | [ Python's object allocator ] | | +2 | ####### Object memory ####### | <------ Internal buffers ------> | ______________________________________________________________ | [ Python's raw memory allocator (PyMem_ API) ] | +1 | <----- Python memory (under PyMem manager's control) ------> | | __________________________________________________________________ [ Underlying general-purpose allocator (ex: C library malloc) ] 0 | <------ Virtual memory allocated for the python process -------> |
6. Зачем используют аллокаторы?
7. Гитхаб сына маминой подруги
8. static void * _PyObject_Malloc(void *ctx, size_t nbytes) { void* ptr; if (pymalloc_alloc(ctx, &ptr, nbytes)) { _Py_AllocatedBlocks++; return ptr; } ptr = PyMem_RawMalloc(nbytes); if (ptr != NULL) { _Py_AllocatedBlocks++; } return ptr; }
9. static int pymalloc_alloc(void *ctx, void **ptr_p, size_t nbytes) { ... if (nbytes > SMALL_REQUEST_THRESHOLD) { return 0; } ... ...
10. Внутри питона очень много маленьких объектов
12. * Request in bytes Size of allocated block Size class idx * ---------------------------------------------------------------- * 1-8 8 0 * 9-16 16 1 * 17-24 24 2 * 25-32 32 3 * 33-40 40 4 * 41-48 48 5 * 49-56 56 6 * 57-64 64 7 * 65-72 72 8 * ... ... ... * 497-504 504 62 * 505-512 512 63
15. Освобождение памяти
16. typedef struct _object { _PyObject_HEAD_EXTRA Py_ssize_t ob_refcnt; struct _typeobject *ob_type; } PyObject;
17. Когда увеличивается счетчик ссылок?
18. TARGET(LOAD_CONST) { PyObject *value = GETITEM(consts, oparg); Py_INCREF(value); PUSH(value); FAST_DISPATCH(); } TARGET(POP_TOP) { PyObject *value = POP(); Py_DECREF(value); FAST_DISPATCH(); }
19. #define Py_DECREF(op) do { PyObject *_py_decref_tmp = (PyObject *)(op); if (_Py_DEC_REFTOTAL _Py_REF_DEBUG_COMMA --(_py_decref_tmp)->ob_refcnt != 0) _Py_CHECK_REFCNT(_py_decref_tmp) else _Py_Dealloc(_py_decref_tmp); } while (0)
20. Py_DECREF не приведет к удалению lst = [] lst.append(lst) del lst
21. Проблема: ссылки бывают циклическими
23. Выявление циклов — дорогая операция
24. Mark-and-sweep
26. Проблема всех GC на свете: Stop the world
27. В CPython используется generational GC
28. PyObject * _PyObject_GC_Alloc(int use_calloc, size_t basicsize) { ... size = sizeof(PyGC_Head) + basicsize; g = (PyGC_Head *)PyObject_Malloc(size); … state->generations[0].count++; /* number of allocated GC objects */ if (state->generations[0].count > state->generations[0].threshold { ... collect_generations(state); ... } ... op = FROM_GC(g); return op; }
29. typedef union _gc_head { struct { union _gc_head *gc_next; union _gc_head *gc_prev; Py_ssize_t gc_refs; } gc; double dummy; /* force worst-case alignment */ } PyGC_Head;
30. PyObject * _PyObject_GC_Alloc(int use_calloc, size_t basicsize) { size = sizeof(PyGC_Head) + basicsize; g = (PyGC_Head *)PyObject_Malloc(size); … struct _gc_runtime_state *state = &_PyRuntime.gc; state->generations[0].count++; /* number of allocated GC objects */ if (state->generations[0].count > state->generations[0].threshold { ... collect_generations(state); ... } ... op = FROM_GC(g); return op; }
31. Порог: 700 объектов
32. static Py_ssize_t collect(struct _gc_runtime_state *state, int generation, Py_ssize_t *n_collected, Py_ssize_t *n_uncollectable, int nofail) { … untrack_tuples(young); /* Move reachable objects to next generation. */ if (young != old) { if (generation == NUM_GENERATIONS - 2) { state->long_lived_pending += gc_list_size(young); } gc_list_merge(young, old); } else { /* We only untrack dicts in full collections, to avoid quadratic dict build-up. See issue #14775. */ untrack_dicts(young); state->long_lived_pending = 0;
33. Порог: 700 объектов Порог: 10 объектов
34. Порог: 700 объектов Порог: 10 объектов Порог: 10 объектов
35. При использовании сильно вложенных объектов память все равно будет фрагментироваться
36. Сборка мусора оптимизирована под работу с коротко живущими объектами
37. Future GC 3.9 Multiple interpreters, PEP-554 https://www.python.org/dev/peps/pep-0554/
38. void PyObject_GC_Del(void *op) { PyGC_Head *g = AS_GC(op); if (IS_TRACKED(op)) gc_list_remove(g); if (_PyRuntime.gc.generations[0].count > 0) _PyRuntime.gc.generations[0].count--; } PyObject_FREE(g); }