GC — жесть, о которой мы не заботимся

Александр расскажет об основных источниках проблем и о том, как с ними боролись — на котятах и примерах из жизни.

Transcript

1. GC .NET Александр Павлов
2. 2 Плюсы Автоматическое управление памятью
3. 3 Минусы Таки должен знать, как это работает
4. 4 Почему? © Мартин Клеппман “Высоконагруженные приложения. Программирование, масштабирование, поддержка”
5. 5 Как оно работает A B C ∞ NewObjPtr
6. 6 G-0 . . . . . . ∞ ↑new
7. 7 G-0 A B C . . . ∞ ↑new G-0 . . . . . . ∞ ↑new
8. 8 G-0 A B C D . . ∞ ↑new G-0 A B C . . . ∞ ↑new G-0 . . . . . . ∞ ↑new
9. 9 G-1 G-0 A C D . . . . ∞ ↑new
10. 10 G-1 G-0 A C D E F . . ∞ ↑new G-1 G-0 A C D . . . . ∞ ↑new
11. 11 G-2 G-1 G-0 C D E F . ∞ ↑new G-1 G-0 A C D E F . . ∞ ↑new G-1 G-0 A C D . . . . ∞ ↑new
12. 12 Виды GC Workstation - одна куча на всё приложение - приоритет сборки - уровня пользовательского потока Server - куча на каждое ядро - сборка в потоке с высоким приоритетом - отдельный тред на ядро для сборщика
13. 13 Виды GC Workstation - одна куча на всё приложение - приоритет сборки - уровня пользовательского потока Server - куча на каждое ядро - сборка в потоке с высоким приоритетом - отдельный тред на ядро для сборщика <configuration> <runtime> <gcServer enabled="true"/> </runtime> </configuration>
16. 16 GC Workstation
17. 17 GC Workstation
18. 18 GC
19. 19 GC Workstation https://docs.microsoft.com/en-us/sysinternals/downloads/vmmap
20. 20 GC Server
21. 21 GC Server
22. 22 Корни - не мусор - статические поля - переменные - события - очередь финализации
23. 23 Generation 2
24. 24 GC Workstation (G2)
25. 25 GC Server (G2?)
26. 26 Finalize
27. 27 Finalize
28. 28 Finalize
29. 29 Finalize
30. 30 Finalize (GC Server)
31. 31 Finalize (GC Server)
32. 32 Finalize (GC Server) Suspends the current thread until the thread that is processing the queue of finalizers has emptied that queue
33. 33 Finalize (GC Server)
34. 34 Finalize (GC Server)
35. 35 Finalize (GC Server)
36. 36 Finalize (GC Server)
37. 37 Finalize (GC Server)
38. 38 Never Finalized
39. 39 Unhandled Finalized
40. 40 Unhandled Finalized
41. 41 Unhandled Finalized
42. 42 Unhandled Finalized 
43. 43 Unhandled Finalized https://referencesource.microsoft.com/#mscorlib/system/gc.cs,279
44. 44 Unhandled Finalized https://referencesource.microsoft.com/#mscorlib/system/gc.cs,279
45. 45 Unhandled Finalized https://referencesource.microsoft.com/#mscorlib/system/gc.cs,279
46. 46 Unhandled Finalized
47. 47 CriticalFinalizerObject - SafeHandle - CriticalHandle
48. 48 Exception in Finalyzer
49. 49 LOH 1. Объекты 85000 a. x32 - new byte[84987] b. x64 - new byte[84976] 2. Отдельное адресное пространство 3. Не применяется сжатие a. см. GCLargeObjectHeapCompactionMode.CompactOnce 4. Фрагментация может привести к OutOfMemory 5. Относится к поколению 2
50. 50 Нужно малость Unmanaged памяти
55. 55 GC.TryStartNoGCRegion https://docs.microsoft.com/en-us/dotnet/api/system.gc.trystartnogcregion?view=netframework-4.8 Attempts to disallow garbage collection during the execution of a critical path.
56. 56 GC.TryStartNoGCRegion https://docs.microsoft.com/en-us/dotnet/api/system.gc.trystartnogcregion?view=netframework-4.8 Attempts to disallow garbage collection during the execution of a critical path.
57. 57 GC.TryStartNoGCRegion
58. 58 GC.TryStartNoGCRegion InvalidOperationException: The NoGCRegion mode was already in progress
59. 59 GC.TryStartNoGCRegion InvalidOperationException: NoGCRegion mode must be set
60. 60 GC.TryStartNoGCRegion InvalidOperationException: Garbage collection was induced in NoGCRegion mode
61. 61 GC.TryStartNoGCRegion InvalidOperationException: The NoGCRegion mode was already in progress
62. 62 Сборщик мусора LatencyMode
63. 63 LowLatency + TryStartNoGCRegion GC Server: SustainedLowLatency
64. 64 MemoryFailPoint Checks for sufficient memory resources before executing an operation https://referencesource.microsoft.com/#mscorlib/system/runtime/memoryfailpoint.cs,161
65. 65 Arrays var list = new List<double>(); for (int i = 0; i < ...; i++) { list.Add(i);
66. 66 ArrayPool (nuget System.Buffers) var pool = ArrayPool<double>.Shared; IList<double> list = pool.Rent(size); for (int i = 0; i < ...; i++) { list[i] = i; } pool.Return((double[])list, true); https://adamsitnik.com/Array-Pool/
67. 67 Chuncked Arrays var list = new MyChunckedList<double>(1000); for (int i = 0; i < ...; i++) { list.Add(i); }
68. 68 Chuncked Arrays
69. 69 Слабые ссылки Позволяют создать ссылку на объект Держать эту ссылку Но GC может удалить объект
70. 70 Слабые ссылки
71. 71 Слабые ссылки
72. 72 Слабые ссылки
73. 73 Слабые ссылки
74. 74 Ручная сборка GC.Collect() => GC.Collect(GC.MaxGeneration, GCCollectionMode.Optimized)
75. 75 Ручная сборка GC.Collect(GC.MaxGeneration, GCCollectionMode.Forced, blocking: true, compacting: true);
76. 76 Ручная сборка GCSettings.LargeObjectHeapCompactionMode = GCLargeObjectHeapCompactionMode.CompactOnce; GC.Collect(GC.MaxGeneration, GCCollectionMode.Forced, blocking: true, compacting: true);
77. 77 gcTrimCommitOnLowMemory (Aspnet.config) https://bit.ly/31kUbCc
78. 78 Админы староверы > testlimit64 -d -c 5000
79. 79 Админы староверы > testlimit64 -d -c 5000
80. 80 Помогайте GC string.Format( $"{{0:yyyy-MM-ddTHH:mm:ss.fff}}{ (artifactType.In(EArtifactType.None) ? "" : "Z") }", createDate );
81. 81 Помогайте GC string.Format( $"{{0:yyyy-MM-ddTHH:mm:ss.fff}}{ (artifactType.In(EArtifactType.None) ? "" : "Z") }", createDate ); res = createDate.ToString("yyyy-MM-ddTHH:mm:ss.fff"); if (artifactType != EArtifactType.None) res += "Z";
82. 82 https://sharplab.io/#gist:18bf7a776cb79aa19400654e5df9becd https://sharplab.io/#gist:299577c2fa542fa086d8aed399f971f9 https://sharplab.io/#gist:c946710d9728db254ae29e17def61c1d
83. 83 Ссылки https://bit.ly/2WdXNWS - официальная дока https://sharplab.io - online inspect C#, F#, VB.NET https://bit.ly/2HApjEK - GC - друг или враг (RavenDb) https://bit.ly/2YFcm3w - PerfView https://bit.ly/2QY3IKB - TestLimit https://bit.ly/2K5MhHq - dotnetbook @SanSYS https://github.com/SanSYS/trygc