Владимир Лобода "Как разделить монолит на части и выжить после этого"

Расскажу историю со счастливым концом о том, как мы переписывали подсистему подготовки данных для продуктов 2ГИС с VBA-скриптов, дробили монолит и интегрировали гетерогенный код в рамках одного приложения:
- как объединить разные источники данных с разной структурой
- как абстрагировать обработку данных и переиспользовать логику
- как интегрировать код разных команд на разных языках

Transcript

1. Как разделить монолит на части и выжить после этого #1
2. Обо мне Лобода Владимир Senior software developer, team lead #2
3. Long long ago... 2010 год #3
4. Монолит (DGPP) Карта Справочник Реклама Экспорт ДубльГИС ПК ДубльГИС Online #4
5. Монолит (DGPP) Карта Справочник Реклама Экспорт ДубльГИС ПК ДубльГИС Online ДубльГИС Mobile #5
6. Монолит (DGPP) Карта Справочник Реклама Экспорт ДубльГИС ПК ДубльГИС Online ДубльГИС Mobile #6 com lib
7. Монолит Карта Справочник Реклама Экспорт 2ГИС ПК 2ГИС Online 2ГИС Mobile 2ГИС API #7
8. Монолит Карта Справочник Реклама Экспорт 2ГИС ПК 2ГИС Online 2ГИС Mobile 2ГИС API #8
9. Монолит Карта Справочник Реклама Экспорт 2ГИС ПК 2ГИС Online 2ГИС Mobile 2ГИС API ESB #9 REST API
10. Монолит Карта Справочник Реклама Экспорт 2ГИС ПК 2ГИС Online 2ГИС Mobile 2ГИС API ESB Карта V2 #10 REST API REST API
11. Монолит Карта Справочник Реклама 2ГИС ПК 2ГИС Online 2ГИС Mobile 2ГИС API ESB Карта V2 Экспорт #11 REST API REST API
12. InfoRussia ERM Экспорт Fiji Flamp Casino Navi Online UniSearch Mobile PC 3D Map YouLa Buildman Bit #12
13. Эра Экспорта с 2010 года и по наши дни #13
14. • несколько источников однотипных данных Исходные данные #14
15. • несколько источников однотипных данных • разные способы доставки Исходные данные #15
16. • несколько источников однотипных данных • разные способы доставки • разная структура одних и тех же объектов Исходные данные #16
17. • несколько источников однотипных данных • разные способы доставки • разная структура одних и тех же объектов • постоянные изменения структуры данных Исходные данные #17
18. • разные форматы Потребители #18
19. • разные форматы • постоянные изменения формата Потребители #19
20. • разные форматы • постоянные изменения формата • агрегированные данные Потребители #20
21. • разные форматы • постоянные изменения формата • агрегированные данные • сложная пред- и пост-обработка Потребители #21
22. • разные форматы • постоянные изменения формата • агрегированные данные • сложная пред- и пост-обработка • требования на консистентность и валидность данных Потребители #22
23. • нужны ВСЕ данные Потребители #23
24. Абстрагируемся #24
25. #25 Источники Способы доставки Форматы данных Алгоритмы обработки
26. Абстрагируемся от разных источников и форматов данных #26
27. Source 1 Экспорт Source 2 Source 3 ISource ISource ISource #27
28. #28 public interface ISource : IDisposable { ISourceReader GetDeletedRows(); ISourceReader GetInsertedOrUpdatedRows(); byte[] GetDataVersion(); } public interface ISourceReader : IDisposable { bool Read(); object this[string columnName] { get; } }
29. #29 internal class FirmSetSource : ISource { public ISourceReader GetDeletedRows() { if(_lastDataVersion == null) return null var query = DataContext.ExecuteObject<EsbFirmDeleted>(_lastDataVersion); return new DeletedIdsSourceReader<long>(query.Select(x => x.Id).GetEnumerator()); } public ISourceReader GetInsertedOrUpdatedRows() { return new EnumeratorSourceReader(typeof(FirmSet), GetNewRows().GetEnumerator()); } public virtual byte[] GetDataVersion() { return DataContext.ExecuteObject<EsbFirm>().Max(x => x.RowVersion); } }
30. Абстрагируемся от способа доставки данных #30
31. Source 1 Экспорт Source 2 Source 3 ISource ISource ISource Data Object Stable Data Scheme #31
32. #32
33. Абстрагируемся от алгоритмов обработки данных #33
34. Workflow Sync Data Prepare Data Validate Data Export Process Results Stable Data Scheme #34
35. Export Prepare data and configuration Prepare data in custom BINARY format Optimize and compress #35
36. • подготовка данных Export по шагам #36
37. • подготовка данных • подготовка конфигурации (ресурсы, стили, конфиги) Export по шагам #37
38. • подготовка данных • подготовка конфигурации (ресурсы, стили, конфиги) • выгрузка в формате потребителя Export по шагам #38
39. .NET Process Intermediate format Foreign Process C++, Python, Java... Result in custom format #39
40. Intermediate text format #40 R[adm_div.region 1267655302447167] Text[Новосибирская область] Parent[adm_div.country 1] Weight[21986.56] Geometry[POLYGON((80.976493 54.314743,80.972756 ,80.969049 ...))] R[org 1267174266110329] Text[Авиакон Цитотранс] Field[][Авиакон Цитотранс] Field[HasWebsite][True] Feature[rubric 1266757654291981] Feature[organization_legal_form 1]
41. Intermediate XML format #41 <Node node_id="154080025718444192" control="0"> <out_edge_ids> <edge edge_id="1" edge_uid_gtk="196775" edge_uid_pk="2" edge_fiji_id="845142189670401" /> </out_edge_ids> <in_edge_ids> <edge edge_id="2" edge_uid_gtk="196775" edge_uid_pk="3" edge_fiji_id="845142189670401" /> </in_edge_ids> <coordinates x="2093180" y="-3459699" z="0" /> </Node>
42. Intermediate Sqlite format #42 CREATE TABLE geo_data ( id INTEGER NOT NULL, type INTEGER NOT NULL, geometry BLOB NOT NULL, attributes BLOB NULL, parent_id INTEGER NULL, PRIMARY KEY ( id ) ); CREATE INDEX idx_geo_data_type ON geo_data(type); CREATE INDEX idx_geo_data_parent_id ON geo_data(parent_id);
43. #43 Foreign Process C++, Python, Java... Intermediate format Result data Console output
44. • потребитель сам контролирует данные Плюсы #44
45. • потребитель сам контролирует данные • меняет алгоритмы, когда хочет Плюсы #45
46. • потребитель сам контролирует данные • меняет алгоритмы, когда хочет • легко решает проблемы Плюсы #46
47. • потребитель сам контролирует данные • меняет алгоритмы, когда хочет • легко решает проблемы • контролирует конфигурацию Плюсы #47
48. • потребитель сам контролирует данные • меняет алгоритмы, когда хочет • легко решает проблемы • контролирует конфигурацию • может вносить изменения в intermediate format в любой момент Плюсы #48
49. • требуется настройка окружения, в котором будет исполняться код Сложности #49
50. • требуется настройка окружения, в котором будет исполняться код • поддержка изменений в исходных данных со стороны экспорта требует времени и влияет на скорость поставки фич Сложности #50
51. Отладка #51
52. #52 DATA DATA DATA DATA DATA DATA Preparing Preparing Preparing Export Step 1 Export Step 2 Export Step 3
53. #53 DATA DATA DATA DATA DATA DATA Preparing Preparing Preparing X Export Step 1 Export Step 2 Export Step 3
54. #54 DATA DATA DATA DATA DATA DATA Preparing Preparing Preparing Export Step 1 Export Step 2 Export Step 3
55. Save points #55
56. SP 1 #56 Source 1 Database SP1 Source 2 Source 3 Export Весь процесс Часть, начиная от SP1
57. SP 2 #57 Preparing 1 Database Preparing 2 Preparing 3 Export Весь процесс Часть, начиная от SP2 Database SP2
58. SP 3 #58 Process 1 Database Process 2 Process 3 Export Весь процесс Часть, начиная от SP3 Result files (SP3) Export
59. • изолируйте код от источников данных Итоги #59 Source 1 Source 2 Source 3 YOUR APP ISource Intermediate Storage
60. • используйте многопроцессность вместо многопоточности Итоги #60 YOUR APP Process 1 Process 2 Process 3 YOUR APP
61. • используйте промежуточные форматы для интеграции с кодом сторонних команд Итоги #61 YOUR APP Intermediate format Foreign Code Foreign Code YOUR APP Foreign Code Intermediate format Intermediate format
62. Спасибо за внимание @Vloboda v.loboda@2gis.ru #62