Дмитрий Иванов «Библиотека JetBrains.Lifetimes — новый взгляд на реактивное программирование и структурную многопоточность»

Лайфтаймы, изначально созданные как замена IDisposable для управления ресурсами, превратились в нечто большее — основную сущность надежного реактивного программирования, многопоточности и (в случае Rider) даже межпроцессного взаимодействия для STATEFUL модели данных. По сути, это новый способ простого мышления о сложных вещах с большим количеством состояний.

Мы разберем с вами практическую задачу, которая часто даётся на интервью в JetBrains Rider и увидим с какой лёгкостью лайфтаймы позволяют её решить.

Transcript

1. RD Ideas and solutions behind JetBrains Rider Dmitry Ivanov, JetBrains korifey_ad
2. Из анонса выступления
3. Что расскажу… 1. Идеи и инсайты 2. Проблемы и решения 3. Технические приёмы 4. Конкретные библиотеки • https://github.com/JetBrains/rd • NuGet JetBrains.Lifetimes • NuGet JetBrains.RdFramework 5. Как попасть в JetBrains?
4. Как попасть в JetBrains ? Прямой путь • Подтянуть алгоритмы, структуры данных, многопоточность • Потренить 2 недели перед собесом на Сodeforces, Topcoder • Хорошо знать языки программирования • Решить задачку на дизайн (сегодня покажу пример) • Сделать тестовое задание Окольный путь • Сделать плагин для ReSharper/Rider • Показать очень крутое продуктовое мышление • Контрибьютить в OpenSource
5. LIFETIMES
6. NuGet
7. Проблема: управление ресурсами IDisposable TakeSomeResource() IDisposable Observable<T>.Observe(Action<T> handler) event += handler Пример: Отписка? Многопоточность? Нет ни одной подписки?
8. Проблемы c IDisposable IDisposable TakeSomeResource() • Забыли вызвать • Вызвали 2 раза • Куда складировать? • Кто отвечает за терминацию? • Зависимости на ресурсах (порядок терминации) f1 = Take1(); f2 = Take2(f1); … void Dispose() { f1.Dispose(); f2.Dispose(); }
9. Решение IntellijIDEA Статический Disposer Disposer.register(parentDisposable, childDisposable) Disposer.dispose(disposable) Вручную вызывать нельзя
10. Решение ReSharper Lifetimes IDisposable Observable<T>.Observe(Action<T> handler) Observable<T>.Observe(Lifetime lifetime, Action<T> handler) 1. Observable.Observe(handler) => handlers.Add(handler) 2. Observable.Dispose() => handlers.Remove(handler) { handlers.Add(handler); lifetime.OnTermination(() => handlers.Remove(handler)) } OLD NEW
11. Решение ReSharper Lifetimes IDisposable Observable<T>.Observe(Action<T> handler) ISource<T>.Advise(Lifetime lifetime, Action<T> handler) 1. Observable.Observe(handler) => handlers.Add(handler) 2. Observable.Dispose() => handlers.Remove(handler) { handlers.Add(handler); lifetime.OnTermination(() => handlers.Remove(handler)) } OLD NEW
12. Атомарные скобки Lifetimes ISource<T>.Advise(Lifetime lifetime, Action<T> handler) { lifetime.Bracket( () => handlers.Add(handler), () => handlers.Remove(handler) ) } can work with terminated lifetime ICollection.Add(lifetime, handler);
13. LifetimeDefinition LifetimeDefinition: IDisposable void Terminate() LifetimeDefefinition(Lifetime parent = default) Lifetime Action[] terminationActions void OnTermination(Action) using (var def = new LifetimeDefinition()) { DoSomething(def.Lifetime); } parent.OnTermination(() => child.Terminate())
14. Component Container A B C Lifetime - special object, created by CC ctor B(Lifetime lfB, A a) ctor A(Lifetime lfA) ctor C(Lifetime lfC, A a, B b)
15. Lifetime vs Definition • Lifetimes usually come from outer code: don't create LifetimeDefinitions manually except it absolutely necessary (say UI control with 'Close' button). • If you own LifetimeDefinition you must terminate it or pass someone for termination. Otherwise use Lifetime. • Sources for lifetimes: • using (var def = new LifetimeDefinition()) { … def.Lifetime …} • Component container • SequentialLifetimes.Next(): 1.def.Terminate(); 2. def = new LifetimeDefinition() • IViewable<T>.View(Lifetime, Action<Lifetime, T>))
16. View ViewableSet<Editor> editors = ObservableSet + View method editor1 application editor2 X X X editors.View(applicationLifetime, (editorLifetime, editor) => …)
17. MULTITHREADING
18. Проблема: доступ к ресурсам из другого потока Main thread Pool thread A init A destructure Working with A’s state FAIL
19. Atomic execution void lifetime.Execute(action) lifetime.IsAlive - не дает начаться терминации ресурсов lifetime.IsNotAlive - не выполняется Task lifetime.StartAttached(scheduler, action) Task lifetime.Start(scheduler, action) lifetime is CancellationToken void lifetime.ThrowIfCanceled() Lifetime.AsyncLocal.ThrowIfCanceled TaskFactory.StartNew(action, lifetime, scheduler)
20. Пример использования return lifetime.ExecuteAsync(async () => {) var x = ourComponent.Foo(); //component is guarded by lifetime await Task.Delay(200, lifetime); lifetime.ThrowIfTerminated(); var y = ourComponent.Boo(); return x + y }} BooVeryDeepInside() { Lifetime.AsyncLocal.ThrowIfTerminated(); } Task<T> Lifetime.ExecuteAsync(Func<Task<T>> asyncFunc)
21. Проблема: долгое закрытие Grandparent Parent Child Child’s pooled activity Grandparent’s pooled activity Parent’s pooled activity Lifetimes Activities wait terminate wait terminate wait
22. Решение: статус Canceled Grandparent Parent Child Child’s pooled activity Grandparent’s pooled activity Parent’s pooled activity Lifetimes Activities wait terminate wait terminate wait Lifetime state Action[] resources bool isTerminated Lifetime state object[] resources Status status int executing Status Alive Canceled Terminating Terminated Resource types LifetimeDefinition Action IDisposable
23. Алгоритм Terminate void Terminate() { if (Status > Canceled) return MarkCancellationRecursively() // for subtree: Status = Canceled WaitForExecutions(timeout) Status = Terminating // from this point adding resource throw exception resources.ForEachReversed ( item => { Log.Catch (() => { 1. Action a -> a() 2. LifetimeDefinition ld -> ld.Terminate() 3. IDisposable d -> d.Dispose() } } Status = Terminated }
24. ТЕХНИЧЕСКИЕ РЕШЕНИЯ
25. Проблема: ссылка вверх PARENT CHILD1 Child1 Child2 CHILD2 Parent.Terminate()
26. Проблема: ссылка вверх PARENT CHILD1 Child1 Child2 CHILD2 Parent Parent CHILD2.Terminate()
27. Решение: очищать амортизированно PARENT CHILD1 Child1 Child2 CHILD2 24 bytes
28. Решение: очищать амортизированно PARENT CHILD1 Child1 Child2 24 bytes
29. Решение: очищать амортизированно PARENT CHILD1 Child1 Child2 Child3 CHILD3
30. Решение: очищать амортизированно PARENT CHILD1 Child1 Child3 Child4 CHILD3 CHILD4
31. Подход для Observable Signal<T> Action<T> Action<T> lifetime.OnTermination(() => handlers.Remove(handler)) handlers
32. Решение: Lifetimed Signal<T> Lifetimed<Action<T>> Lifetimed<Action<T>> lifetime.OnTermination(lifetimed) handlers Lifetimed<T> : IDisposable { Lifetime lifetime; T Value; Dispose() => Value = default; }
33. THREADING MODELS
34. Single thread UI Thread Shared state await Use only one CPU core ! set 1 set 2 get != 2 0 1 2
35. Pessimistic locking a1 a2 b1 Thread A Thread B b2 lock
36. Readers-writer lock a1 a2 b1 Thread A Thread B b2 rwlock write read
37. Readers-writer lock a1 b1 Thread A Thread B b2 rwlock Thread C c1 a2
38. Readers-writer lock a1 b1 Thread A Thread B b2 rwlock Thread C c1 a2
39. ContentModelReadWriteLock UI Thread Background threads start: find completion calculate completion finish: show completion
40. UI Thread Background threads write activity: text change start: find completion calculate completion finish: show completion canceled ContentModelReadWriteLock
41. start: find completion calculate completion finish: show completion InterruptableReadActivity UI Thread Background threads interrupts here Should check CancellationToken canceled write activity: text change CheckAndThrow()
42. Problems with model start calc UI Thread Background threads interrupts here 1. UI smoothness 2. Lots of checks for interrupt 3. Lots of Assert(Read/Write) 4. Bad intermediate state write activity: text change start: finish canceled
43. Immutable model State Activity A Activity B State A State A’ State A’ State B State B’
44. Immutable model State Activity A Activity B State A State A’ State A’ State B State B’
45. Immutable TextEditor var s = `some 1MB string` 16 refs|counts 16 refs|counts 16 refs|counts 16 refs|counts … 256 bytes block = 16*8*2 = 128 chars 4 levels = 128*16*16*16 = 512K chars 16 refs|counts 128 chars 128 chars 128 chars
46. Software transactional memory Transaction 1 Transaction 2 read A write B Memory’ read B write C Memory
47. Практика
48. Задача Придумать архитектуру поиска использований символа (Find Usages), учитывая нюансы десктопной многопоточности.
49. Вспомогательные элементы • Глобальный ReadWriteLock (в компоненте ILocks) • ILocks.CurrentReadActivityLifetime - лайфтайм, который терминируется, когда UI поток хочет взять WriteLock • Набор extension методов у лайфтайма • lifetime.StartPoolRead(Func<T>) • lifetime.RetryWhileOperationCanceled(Func<Task<T>>)
50. Find Usages on Lifetimes async Task FindUsages(Symbol symbol, ILocks locks) { locks.AssertMainThreadReadLock(); var lf = locks.CurrentReadActivityLifetime(); DoPrepare(); var results = await lf.StartPoolRead(() => Find(symbol)); DoPresent(results); } dialogLifetime.RetryWhileOperationCanceled(symbol, locks)
51. Questions and answers YOU YOU YOU ME queue