Игорь Лабутин «Коллекционируем данные в .NET»

Любой разработчик сталкивается с выбором контейнеров для хранения данных программы. При разработке на платформе .NET несомненно первыми кандидатами будут массивы и коллекции из System.Collections(.Generic). Однако мир коллекций этим не ограничивается. Существуют неизменяемые (immutable) коллекции. Встречаются коллекции, оптимизирующие потребление памяти, и т.п. Мы рассмотрим популярные (но все же далеко не всегда широко известные) пакеты коллекции предлагаемые в .NET и методы работы с ними.

Transcript

1. Коллекционируем данные в .NET Игорь Лабутин, ilabutin@gmail.com, 19.12.2017
2. О себе 2  16 лет в разработке ПО  С/С++, .NET (C#)  Архитектор  Читаю, пишу код  Комментирую код и раздаю советы
3. Выбор коллекции 3
4. Выбор коллекции 4
5. Выбор коллекции 4
6. Выбор коллекции List<T> Dictionary<K,V> 4
7. Выбор коллекции List<T> Dictionary<K,V> HashSet<T> Queue<T> Stack<T> LinkedList<T> T[] ObservableCollection<T> 4
8. План  Классические коллекции  Потокобезопасность  Неизменяемость  Собственные коллекции  Коллекции в API 5
9. Классические коллекции  Массивы  Простые коллекции  List<T>, Queue<T>, Stack<T>  Сложные коллекции  Dictionary<K,V>, HashSet<T> 6
10. Простые коллекции 7
11.  Внутри – массив! List<T> Простые коллекции 7
12.  Внутри – массив!  Компактное хранение, но платим при росте List<T> Простые коллекции 7
13.  Внутри – массив!  Компактное хранение, но платим при росте List<T> Простые коллекции 7
14.  Внутри – массив!  Компактное хранение, но платим при росте List<T> Простые коллекции 7
15.  Внутри – массив!  Компактное хранение, но платим при росте List<T> Простые коллекции 7
16.  Внутри – массив!  Компактное хранение, но платим при росте List<T> Простые коллекции 7
17.  Внутри – массив!  Компактное хранение, но платим при росте List<T> Простые коллекции 7
18.  Внутри – массив!  Компактное хранение, но платим при росте List<T> Простые коллекции 7
19.  Внутри – массив!  Компактное хранение, но платим при росте List<T> Простые коллекции 7
20.  Внутри – массив!  Компактное хранение, но платим при росте  Растущий массив попадает в LOH  Дорогая сборка мусора  Фрагментация памяти List<T> Простые коллекции 7
21. А много ли памяти? for (int i = 0; i < N; i++) { list.Add(i); } 8
22. А много ли памяти? N 1 К 10 К 100 К Данных в списке 4 Кб 40 Кб 400 Кб Использовано памяти 8 Кб 128 Кб 1026 Кб Gen0 сборок (на 1000 запусков) 2.6 42 498 Gen1 сборок (на 1000 запусков) - - 254 Gen2 сборок (на 1000 запусков) - - 244 for (int i = 0; i < N; i++) { list.Add(i); } 8
23. А много ли памяти? N 1 К 10 К 100 К Данных в списке 4 Кб 40 Кб 400 Кб Использовано памяти 8 Кб 128 Кб 1026 Кб Gen0 сборок (на 1000 запусков) 2.6 42 498 Gen1 сборок (на 1000 запусков) - - 254 Gen2 сборок (на 1000 запусков) - - 244 for (int i = 0; i < N; i++) { list.Add(i); } 8
24. А много ли памяти? N 1 К 10 К 100 К Данных в списке 4 Кб 40 Кб 400 Кб Использовано памяти 8 Кб 128 Кб 1026 Кб Gen0 сборок (на 1000 запусков) 2.6 42 498 Gen1 сборок (на 1000 запусков) - - 254 Gen2 сборок (на 1000 запусков) - - 244 for (int i = 0; i < N; i++) { list.Add(i); } 8
25. А много ли памяти? N 1 К 10 К 100 К Данных в списке 4 Кб 40 Кб 400 Кб Использовано памяти 8 Кб 128 Кб 1026 Кб Gen0 сборок (на 1000 запусков) 2.6 42 498 Gen1 сборок (на 1000 запусков) - - 254 Gen2 сборок (на 1000 запусков) - - 244 for (int i = 0; i < N; i++) { list.Add(i); } 8
26. Что делать? 9
27. Что делать?  new List<T>(int capacity) 9
28. Что делать?  new List<T>(int capacity) 9 List<T>() 2000 List<T>(int capacity) 7 List<T>(IEnumerable<T>) 42
29. Что делать?  new List<T>(int capacity) 9 List<T>() 2000 List<T>(int capacity) 7 List<T>(IEnumerable<T>) 42
30. Что делать?  new List<T>(int capacity)  Пишем свой список  Список из «коротких» массивов из пула 9 List<T>() 2000 List<T>(int capacity) 7 List<T>(IEnumerable<T>) 42
31. Что делать?  new List<T>(int capacity)  Пишем свой список  Список из «коротких» массивов из пула  Готовый пул: ArrayPool<T>  Требует .NET Core 1.1, в .NET Fx встроенного нет 9 List<T>() 2000 List<T>(int capacity) 7 List<T>(IEnumerable<T>) 42
32. Что делать?  new List<T>(int capacity)  Пишем свой список  Список из «коротких» массивов из пула  Готовый пул: ArrayPool<T>  Требует .NET Core 1.1, в .NET Fx встроенного нет  Преимущества  Много коротких массивов – либо быстро умирают, либо переиспользуются  Нет копирования данных из короткого массива в длинный 9 List<T>() 2000 List<T>(int capacity) 7 List<T>(IEnumerable<T>) 42
33. Много ли памяти для array pool private List<int[]> chunks = new List<int[]>(); public void Add(int item) { if (length % ChunkSize == 0) chunks.Add(pool.TakeChunk()); chunks[length / ChunkSize][length % ChunkSize] = item; length++; } 10
34. Много ли памяти для array pool N 1 К 10 К 100 К Данных в списке 4 Кб 40 Кб 400 Кб Использовано памяти 8 Кб / 78 Кб 128 Кб / 78 Кб 1026 Кб / 470 Кб Gen0 сборок (на 1000 запусков) 2.5 / 25 42 / 25 498 / 90 Gen1 сборок (на 1000 запусков) - - 254 / 30 Gen2 сборок (на 1000 запусков) - - 244 / - private List<int[]> chunks = new List<int[]>(); public void Add(int item) { if (length % ChunkSize == 0) chunks.Add(pool.TakeChunk()); chunks[length / ChunkSize][length % ChunkSize] = item; length++; } 10
35. Много ли памяти для array pool N 1 К 10 К 100 К Данных в списке 4 Кб 40 Кб 400 Кб Использовано памяти 8 Кб / 78 Кб 128 Кб / 78 Кб 1026 Кб / 470 Кб Gen0 сборок (на 1000 запусков) 2.5 / 25 42 / 25 498 / 90 Gen1 сборок (на 1000 запусков) - - 254 / 30 Gen2 сборок (на 1000 запусков) - - 244 / - private List<int[]> chunks = new List<int[]>(); public void Add(int item) { if (length % ChunkSize == 0) chunks.Add(pool.TakeChunk()); chunks[length / ChunkSize][length % ChunkSize] = item; length++; } 10
36. Много ли памяти для array pool N 1 К 10 К 100 К Данных в списке 4 Кб 40 Кб 400 Кб Использовано памяти 8 Кб / 78 Кб 128 Кб / 78 Кб 1026 Кб / 470 Кб Gen0 сборок (на 1000 запусков) 2.5 / 25 42 / 25 498 / 90 Gen1 сборок (на 1000 запусков) - - 254 / 30 Gen2 сборок (на 1000 запусков) - - 244 / - private List<int[]> chunks = new List<int[]>(); public void Add(int item) { if (length % ChunkSize == 0) chunks.Add(pool.TakeChunk()); chunks[length / ChunkSize][length % ChunkSize] = item; length++; } 10
37. Много ли памяти для array pool N 1 К 10 К 100 К Данных в списке 4 Кб 40 Кб 400 Кб Использовано памяти 8 Кб / 78 Кб 128 Кб / 78 Кб 1026 Кб / 470 Кб Gen0 сборок (на 1000 запусков) 2.5 / 25 42 / 25 498 / 90 Gen1 сборок (на 1000 запусков) - - 254 / 30 Gen2 сборок (на 1000 запусков) - - 244 / - private List<int[]> chunks = new List<int[]>(); public void Add(int item) { if (length % ChunkSize == 0) chunks.Add(pool.TakeChunk()); chunks[length / ChunkSize][length % ChunkSize] = item; length++; } 10
38. Сложные коллекции  Внутри – опять массив  Или несколько  Дополнительные расходы на подсчет хэш-функций  Могут быть слишком велики для небольших коллекций 11
39. Хэш – это дешево 12
40. Хэш – это дешево  «Правильная» хэш-функция 12
41. Хэш – это дешево  «Правильная» хэш-функция  Мало элементов в словаре 12
42. Хэш – это дешево  «Правильная» хэш-функция  Мало элементов в словаре  Подсчет хэша vs линейный поиск в списке  Roslyn: Collection of imported PE Names (см. http://bit.ly/2wYE9lss) 12
43. 0 2 4 6 8 10 12 14 10 100 1000 мс List HashSet Хэш – это дешево  «Правильная» хэш-функция  Мало элементов в словаре  Подсчет хэша vs линейный поиск в списке  Roslyn: Collection of imported PE Names (см. http://bit.ly/2wYE9lss) Время поиска 10 000 раз в коллекции строк размером N 12
44. 0 2 4 6 8 10 12 14 10 100 1000 мс List HashSet Хэш – это дешево  «Правильная» хэш-функция  Мало элементов в словаре  Подсчет хэша vs линейный поиск в списке  Roslyn: Collection of imported PE Names (см. http://bit.ly/2wYE9lss) Время поиска 10 000 раз в коллекции строк размером N 12
45. Проблемы продолжаются Shape Triangle Rectangle 13
46. Проблемы продолжаются  Массивы ковариантны Shape Triangle Rectangle Triangle[] tr = ...; Shape[] shapes = tr; public void DoSomething(Shape[] t) { t[0] = new Rectangle(); } 13
47. Проблемы продолжаются  Массивы ковариантны Shape Triangle Rectangle Triangle[] tr = ...; Shape[] shapes = tr; public void DoSomething(Shape[] t) { t[0] = new Rectangle(); } ArrayTypeMismatchException 13
48. Проблемы продолжаются  Массивы ковариантны  Проверки типов в рантайме Shape Triangle Rectangle Triangle[] tr = ...; Shape[] shapes = tr; public void DoSomething(Shape[] t) { t[0] = new Rectangle(); } ArrayTypeMismatchException 13
49. Проблемы продолжаются  Массивы ковариантны  Проверки типов в рантайме  Почему так? Shape Triangle Rectangle Triangle[] tr = ...; Shape[] shapes = tr; public void DoSomething(Shape[] t) { t[0] = new Rectangle(); } ArrayTypeMismatchException 13
50. Проблемы продолжаются  Массивы ковариантны  Проверки типов в рантайме  Почему так?  “It was added to the CLR because Java requires it” © Eric Lippert (см. http://bit.ly/2wZetW3) Shape Triangle Rectangle Triangle[] tr = ...; Shape[] shapes = tr; public void DoSomething(Shape[] t) { t[0] = new Rectangle(); } ArrayTypeMismatchException 13
51. Вариантность в наши дни 14  Ковариантность и контравариантность  Для интерфейсов и делегатов  Проверки на этапе компиляции  Ключевые слова in/out interface IEnumerable<out T> delegate void Action<in T> delegate TResult Func<in T1, out TResult>(T1 arg1); IEnumerable<Circle> GetCircles(); IEnumerable<Shape> x = GetCircles(); void ProcessShapes(Action<Circle> action); Action<Shape> shapeAction = shape => shape.Draw(); ProcessShapes(shapeAction); 14
52. Вариантность в наши дни 14  Ковариантность и контравариантность  Для интерфейсов и делегатов  Проверки на этапе компиляции  Ключевые слова in/out interface IEnumerable<out T> delegate void Action<in T> delegate TResult Func<in T1, out TResult>(T1 arg1); IEnumerable<Circle> GetCircles(); IEnumerable<Shape> x = GetCircles(); void ProcessShapes(Action<Circle> action); Action<Shape> shapeAction = shape => shape.Draw(); ProcessShapes(shapeAction); 14
53. Вариантность в наши дни 14  Ковариантность и контравариантность  Для интерфейсов и делегатов  Проверки на этапе компиляции  Ключевые слова in/out interface IEnumerable<out T> delegate void Action<in T> delegate TResult Func<in T1, out TResult>(T1 arg1); IEnumerable<Circle> GetCircles(); IEnumerable<Shape> x = GetCircles(); void ProcessShapes(Action<Circle> action); Action<Shape> shapeAction = shape => shape.Draw(); ProcessShapes(shapeAction); 14
54. Вариантность в наши дни  Ковариантность и контравариантность  Для интерфейсов и делегатов  Проверки на этапе компиляции  Ключевые слова in/out interface IEnumerable<out T> delegate void Action<in T> delegate TResult Func<in T1, out TResult>(T1 arg1); IEnumerable<Circle> GetCircles(); IEnumerable<Shape> x = GetCircles(); void ProcessShapes(Action<Circle> action); Action<Shape> shapeAction = shape => shape.Draw(); ProcessShapes(shapeAction); 14
55. Классические коллекции - выводы  Следить за потреблением памяти  Явно использовать конструкторы с указанием размера  Писать свои коллекции при необходимости  Для словарей с малым количеством данных рассмотреть взамен списки 15
56. Оффтопик: MemoryStream  Не совсем коллекция, но ведет себя похоже  Массив внутри  Отсюда проблемы с LOH и потреблением памяти 16
57. 0 2000 4000 6000 8000 10000 10 100 1000 10000 Килобайты Килобайты Данные MemoryStream RecyclableMS MemoryStream - решение  Microsoft.IO.RecyclableMemoryStream  Доступен в .NET Standard 1.6, .NET 4.0+ Потребление памяти при добавлении N*1024 байт 17
58. План  Классические коллекции  Потокобезопасность  Неизменяемость  Собственные коллекции  Коллекции в API 18
59. Многопоточность  Все стандартные коллекции не потокобезопасны  При наличии операций записи  Нужны внешние блокировки  Блокировки  lock (…) {}  ReaderWriterLockSlim  Нужно передавать 2 объекта 19
60. Решение  BlockingCollection<T>  Сценарий producer-consumer  Поддерживает синхронные и асинхронные операции  System.Collections.Concurrent  Все привычные операции как правило имеют префикс Try..  Отсутствует ConcurrentList<T> 20
61.  Получение значения Потокобезопасность if (dictionary.ContainsKey(key)) { var value = dictionary[key]; // Do something with ‘value’ } 21
62.  Получение значения Потокобезопасность if (dictionary.ContainsKey(key)) { var value = dictionary[key]; // Do something with ‘value’ } if (concurrentDictionary.TryGetValue(key, out int value)) { // Do something with ‘value’ } 21
63.  Получение значения  Обновление значения Потокобезопасность if (dictionary.ContainsKey(key)) { var value = dictionary[key]; // Do something with ‘value’ } if (concurrentDictionary.TryGetValue(key, out int value)) { // Do something with ‘value’ } if (dictionary[key] == 10) { dictionary[key] = 20; } if (!concurrentDictionary.TryUpdate(key, 20, 10)) { // Handle somehow ?!? } 21
64.  Получение значения  Обновление значения Потокобезопасность if (dictionary.ContainsKey(key)) { var value = dictionary[key]; // Do something with ‘value’ } if (concurrentDictionary.TryGetValue(key, out int value)) { // Do something with ‘value’ } if (dictionary[key] == 10) { dictionary[key] = 20; } if (!concurrentDictionary.TryUpdate(key, 20, 10)) { // Handle somehow ?!? } 21 if (dictionary[key] == 10) dictionary[key] = 20; if (dictionary[key] == 10) dictionary[key] = 30;
65.  Получение значения  Обновление значения Потокобезопасность if (dictionary.ContainsKey(key)) { var value = dictionary[key]; // Do something with ‘value’ } if (concurrentDictionary.TryGetValue(key, out int value)) { // Do something with ‘value’ } if (dictionary[key] == 10) { dictionary[key] = 20; } if (!concurrentDictionary.TryUpdate(key, 20, 10)) { // Handle somehow ?!? } 21 if (dictionary[key] == 10) dictionary[key] = 20; if (dictionary[key] == 10) dictionary[key] = 30;
66.  Получение значения  Обновление значения Потокобезопасность if (dictionary.ContainsKey(key)) { var value = dictionary[key]; // Do something with ‘value’ } if (concurrentDictionary.TryGetValue(key, out int value)) { // Do something with ‘value’ } if (dictionary[key] == 10) { dictionary[key] = 20; } if (!concurrentDictionary.TryUpdate(key, 20, 10)) { // Handle somehow ?!? } 21 if (dictionary[key] == 10) dictionary[key] = 20; if (dictionary[key] == 10) dictionary[key] = 30;
67. Производительность  По возможности используется lock-free подход  Обычные блокировки тоже есть  Заточены под разные задачи  ConcurrentDictionary – lock-free чтение  ConcurrentBag – читатель/писатель  Queue/Stack – полностью lock-free  Сравнение от Stephen Toub - http://bit.ly/2vyv5DG 22
68. Потокобезопасность - выводы  Рассмотреть ConcurrentCollections с оглядкой на производительность  Практика: часто List<T> с lock() вполне хватает  Для словарей которые только читают – использовать обычный Dictionary<K, V> 23
69. Коллекции с async/await  TPL DataFlow: BufferBlock<T>  AsyncEx (https://github.com/StephenCleary/AsyncEx) 24
70. План  Классические коллекции  Потокобезопасность  Неизменяемость  Собственные коллекции  Коллекции в API 25
71. Неизменяемость  Изменение объекта посредством создания нового  Гарантированная потокобезопасность  Защита от изменений любым API 26
72. Неизменяемость  Всё просто: 27 var list = new List<int>(100); var readonlyList = list.AsReadOnly(); readonlyList.Add(5); // throws NotSupportedException
73. Неизменяемость  Всё просто:  На самом деле нет!  Readonly это не Immutable readonlyList ReadOnlyCollection<int> - List<int> list List<int> - int[] entries 27 var list = new List<int>(100); var readonlyList = list.AsReadOnly(); readonlyList.Add(5); // throws NotSupportedException
74. Неизменяемость  Всё просто:  На самом деле нет!  Readonly это не Immutable readonlyList ReadOnlyCollection<int> - List<int> list List<int> - int[] entries 27 var list = new List<int>(100); var readonlyList = list.AsReadOnly(); readonlyList.Add(5); // throws NotSupportedException var c1 = readonlyList.Count; // 100 list.Add(42); var c2 = readonlyList.Count; // 101
75. Неизменяемость - решение  System.Collections.Immutable  Поддержаны  .NET 4.5+  .NET Standard 1.6+  Знайте характеристики по производительности! 28
76. Неизменяемые Array и List - память a1: a2: a3: Stack GC Heap array: var a1 = new int[8]; var a2 = ImmutableArray.Create(a1); var a3 = a2.Insert(4, 5); 29
77. Неизменяемые Array и List - память a1: a2: a3: Stack GC Heap array: var a1 = new int[8]; var a2 = ImmutableArray.Create(a1); var a3 = a2.Insert(4, 5); 29
78. Неизменяемые Array и List - память a1: a2: a3: Stack GC Heap array: var a1 = new int[8]; var a2 = ImmutableArray.Create(a1); var a3 = a2.Insert(4, 5); array: 29
79. Неизменяемые Array и List - память a1: a2: a3: Stack GC Heap array: var a1 = new int[8]; var a2 = ImmutableArray.Create(a1); var a3 = a2.Insert(4, 5); array: 5 29
80. Неизменяемые Array и List - память 30 Stack GC Heap var list = ImmutableList.Create(a1); var list2 = list.Insert(4, 9);
81. Неизменяемые Array и List - память 30 Stack GC Heap var list = ImmutableList.Create(a1); var list2 = list.Insert(4, 9); a1: list: list2:
82. Неизменяемые Array и List - память 30 Stack GC Heap var list = ImmutableList.Create(a1); var list2 = list.Insert(4, 9); a1: list: list2:
83. Неизменяемые Array и List - память 30 Stack GC Heap var list = ImmutableList.Create(a1); var list2 = list.Insert(4, 9); a1: list: list2: root: key: int left: right: key: int left: right: key: int left: right:
84. Неизменяемые Array и List - память 30 Stack GC Heap var list = ImmutableList.Create(a1); var list2 = list.Insert(4, 9); a1: list: list2: root: key: int left: right: key: int left: right: key: int left: right:
85. Неизменяемые Array и List - память 30 Stack GC Heap var list = ImmutableList.Create(a1); var list2 = list.Insert(4, 9); a1: list: list2: root: key: int left: right: key: int left: right: key: int left: right: root: key: 9 left: right:
86. Неизменяемые Array и List - память 31 1 L1
87. Неизменяемые Array и List - память 31 1 L1 L1 2 L2 1
88. Неизменяемые Array и List - память 31 1 L1 L1 2 L2 1 L1 2 L2 1
89. Неизменяемые Array и List - память 31 1 L1 3 L1 2 L2 1 L1 2 L2 1
90. Неизменяемые Array и List - память 31 1 L1 3 2 L3 L1 2 L2 1 L1 2 L2 1
91. Неизменяемые Array и List - память 31 1 L1 3 2 L3 L1 2 L2 1 L1 2 L2 1
92. Неизменяемость - выводы  Создание новых объектов – нагрузка на GC 32
93. Неизменяемость - выводы  Создание новых объектов – нагрузка на GC  Использование неизменяемых объектов – архитектурное решение 32
94. План  Классические коллекции  Потокобезопасность  Неизменяемость  Собственные коллекции  Коллекции в API 33
95. Специализированные коллекции 34
96. Специализированные коллекции  System.Collections.Specialized 34
97. Специализированные коллекции  System.Collections.Specialized  Не надо использовать (не типизированы) 34
98. Специализированные коллекции  System.Collections.Specialized  Не надо использовать (не типизированы)  System.Collections.ObjectModel  Collection<T>, ReadOnlyCollection<T>  Упрощенный и расширяемый List<T> 34
99. Специализированные коллекции  System.Collections.Specialized  Не надо использовать (не типизированы)  System.Collections.ObjectModel  Collection<T>, ReadOnlyCollection<T>  Упрощенный и расширяемый List<T>  ObservableCollection<T>  Извещение об изменениях коллекции  Широко используется в WPF 34
100. Специализированные коллекции  System.Collections.Specialized  Не надо использовать (не типизированы)  System.Collections.ObjectModel  Collection<T>, ReadOnlyCollection<T>  Упрощенный и расширяемый List<T>  ObservableCollection<T>  Извещение об изменениях коллекции  Широко используется в WPF  abstract KeyedCollection<K, V>  До определенного момента – Collection<V> потом – еще и Dictionary<K, V> 34
101. Собственные коллекции 35
102. Собственные коллекции  Реализовывать необходимые интерфейсы  Или наследовать от встроенных коллекций 35
103. Собственные коллекции  Реализовывать необходимые интерфейсы  Или наследовать от встроенных коллекций  Собственный итератор – структура 35
104. Собственные коллекции  Реализовывать необходимые интерфейсы  Или наследовать от встроенных коллекций  Собственный итератор – структура interface IEnumerable<T> { IEnumerator<T> GetEnumerator(); } 35
105. Собственные коллекции  Реализовывать необходимые интерфейсы  Или наследовать от встроенных коллекций  Собственный итератор – структура interface IEnumerable<T> { IEnumerator<T> GetEnumerator(); } 35 class Collection<T> : IEnumerable<T> { IEnumerator<T> GetEnumerator() { ... } public struct Enumerator<T> : IEnumerator<T> { bool MoveNext() { ... } T Current { get { ... } } } }
106. Собственные коллекции  Реализовывать необходимые интерфейсы  Или наследовать от встроенных коллекций  Собственный итератор – структура interface IEnumerable<T> { IEnumerator<T> GetEnumerator(); } 35 class Collection<T> : IEnumerable<T> { IEnumerator<T> GetEnumerator() { ... } public struct Enumerator<T> : IEnumerator<T> { bool MoveNext() { ... } T Current { get { ... } } } }
107. Итератор-структура 36 var list = new List<int>(); ... foreach (var item in list) { // do something } var xList = (IList<int>)list; foreach (var xItem in xList) { // do something } var list = new List<int>(); ... List<int>.Enumerator e = list.GetEnumerator(); while (e.MoveNext()) { int item = e.Current; // do something } var xList = (IList<int>)list; IEnumerator<int> x = xList.GetEnumerator(); while (x.MoveNext()) { int xItem = x.Current; // do something }
108. Итератор-структура 36 var list = new List<int>(); ... foreach (var item in list) { // do something } var xList = (IList<int>)list; foreach (var xItem in xList) { // do something } var list = new List<int>(); ... List<int>.Enumerator e = list.GetEnumerator(); while (e.MoveNext()) { int item = e.Current; // do something } var xList = (IList<int>)list; IEnumerator<int> x = xList.GetEnumerator(); while (x.MoveNext()) { int xItem = x.Current; // do something }
109. Итератор-структура 36 var list = new List<int>(); ... foreach (var item in list) { // do something } var xList = (IList<int>)list; foreach (var xItem in xList) { // do something } var list = new List<int>(); ... List<int>.Enumerator e = list.GetEnumerator(); while (e.MoveNext()) { int item = e.Current; // do something } var xList = (IList<int>)list; IEnumerator<int> x = xList.GetEnumerator(); while (x.MoveNext()) { int xItem = x.Current; // do something }
110. Итератор-структура 36 var list = new List<int>(); ... foreach (var item in list) { // do something } var xList = (IList<int>)list; foreach (var xItem in xList) { // do something } var list = new List<int>(); ... List<int>.Enumerator e = list.GetEnumerator(); while (e.MoveNext()) { int item = e.Current; // do something } var xList = (IList<int>)list; IEnumerator<int> x = xList.GetEnumerator(); while (x.MoveNext()) { int xItem = x.Current; // do something }
111. Итератор-структура 36 var list = new List<int>(); ... foreach (var item in list) { // do something } var xList = (IList<int>)list; foreach (var xItem in xList) { // do something } var list = new List<int>(); ... List<int>.Enumerator e = list.GetEnumerator(); while (e.MoveNext()) { int item = e.Current; // do something } var xList = (IList<int>)list; IEnumerator<int> x = xList.GetEnumerator(); while (x.MoveNext()) { int xItem = x.Current; // do something } Stack allocation
112. Итератор-структура 36 var list = new List<int>(); ... foreach (var item in list) { // do something } var xList = (IList<int>)list; foreach (var xItem in xList) { // do something } var list = new List<int>(); ... List<int>.Enumerator e = list.GetEnumerator(); while (e.MoveNext()) { int item = e.Current; // do something } var xList = (IList<int>)list; IEnumerator<int> x = xList.GetEnumerator(); while (x.MoveNext()) { int xItem = x.Current; // do something } Stack allocation Boxing!
113. Итератор-структура 36 var list = new List<int>(); ... foreach (var item in list) { // do something } var xList = (IList<int>)list; foreach (var xItem in xList) { // do something } var list = new List<int>(); ... List<int>.Enumerator e = list.GetEnumerator(); while (e.MoveNext()) { int item = e.Current; // do something } var xList = (IList<int>)list; IEnumerator<int> x = xList.GetEnumerator(); while (x.MoveNext()) { int xItem = x.Current; // do something } Why do BCL Collections use struct enumerators, not classes? http://bit.ly/2ADagIs Stack allocation Boxing!
114. План  Классические коллекции  Потокобезопасность  Неизменяемость  Собственные коллекции  Коллекции в API 37
115. Коллекции в API  Для внутренних нужд классов в 99% случаев подойдет List<T> и другие обычные обобщенные коллекции  Для внешнего API все иначе  public members – это тоже API  Позаботьтесь о пользователях! 38
116. Принимаем коллекции  IEnumerable<T> в аргументах 39
117. Принимаем коллекции  IEnumerable<T> в аргументах 39
118. Принимаем коллекции  IEnumerable<T> в аргументах  «Guidelines for Collections» от Microsoft тоже советуют  Но еще советуют использовать ‘is’ для проверки «а не Collection<T> ли это». См. http://bit.ly/2xEbfEq 39
119. IEnumerable - проблемы 40
120. IEnumerable - проблемы 40  Несколько итераций
121. IEnumerable - проблемы 40  Несколько итераций
122. IEnumerable - проблемы 40  Несколько итераций  Защитная материализация
123. ToList<T>() и ToArray<T>() 41
124. ToList<T>() и ToArray<T>()  Что выбрать? 41
125. ToList<T>() и ToArray<T>()  Что выбрать?  Если не нужен конкретно массив, то однозначно ToList<T>()  Причины  Хранится внутри всё равно массив  ToArray<T>() требует дополнительную аллокацию для возврата массива точного размера 41
126. Принимаем коллекции - варианты  Если не нужно изменять:  IEnumerable<T> - только итерирование 42
127. Принимаем коллекции - варианты  Если не нужно изменять:  IEnumerable<T> - только итерирование  IReadOnlyCollection<T> - итерирование + количество 42
128. Принимаем коллекции - варианты  Если не нужно изменять:  IEnumerable<T> - только итерирование  IReadOnlyCollection<T> - итерирование + количество  IReadOnlyList<T> - произвольный доступ 42
129. Принимаем коллекции - варианты  Если не нужно изменять:  IEnumerable<T> - только итерирование  IReadOnlyCollection<T> - итерирование + количество  IReadOnlyList<T> - произвольный доступ  Если нужно изменять:  IList<T> 42
130. Возвращаем коллекции  Возвращать IEnumerable<T> 43
131. Возвращаем коллекции  Возвращать IEnumerable<T>  Одноразово-итерируемая структура 43
132. Возвращаем коллекции  Возвращать IEnumerable<T>  Одноразово-итерируемая структура  Iterator blocks (‘yield’) 43
133. Возвращаем коллекции  Возвращать IEnumerable<T>  Одноразово-итерируемая структура  Iterator blocks (‘yield’)  Иначе – более специфическую коллекцию  ReadOnlyCollection<T>  Collection<T>  Или своего наследника 43
134. Коллекции в API - выводы  Принимаем интерфейсы, возвращаем конкретные коллекции  Можно возвращать собственные коллекции-наследники  .ToList() вместо .ToArray() если возможно 44
135. Повторим  Классические коллекции  Потокобезопасность  Неизменяемость  Собственные коллекции  Коллекции в API 45
136. Ссылки  Специализированные коллекции в Roslyn: http://bit.ly/2wYE9ls  Рекомендации Microsoft по работе с коллекциями: http://bit.ly/2xEbfEq  Сравнение производительности ConcurrentCollections и явных блокировок (PDF): http://bit.ly/2vyv5DG  Серия статей от Eric Lippert про историю развития ко- и контравариантности в C#: http://bit.ly/2xEiqMO  Why do BCL Collections use struct enumerators, not classes? http://bit.ly/2ADagIs  Примеры и бенчмарки из доклада: https://github.com/ilabutin/spbdotnet2017/ 46
137. ilabutin@gmail.com https://github.com/ilabutin/ @ilabutin 47