ML и автоматизация классификации 100+ банковских операций: от старта до прода за 3 месяца

Наш опыт разработки и внедрения системы автоматизации проведения банковских выписок с применением ML в короткие сроки. Как генерили фичи, препроцессили данные, боролись с кривой разметкой, переносили на dotnet и выстраивали мониторинг.

Transcript

1. ML и автоматизация классификации 100+ банковских операций: от старта до прода за 3 месяца Владимир Цимбол, Byndyusoft
2. Data Scientist Более 4 лет автоматизирую разное с помощью ML t.me/vtsimbol Byndyusoft t.me/byndyusoft twitter.com/byndyusoft github.com/byndyusoft Цимбол Владимир 2
3. Что автоматизируем? 3
4. Как люди заполняют документы Пер-е ДС по ПП №123 4
5. Как люди заполняют документы Пер-е ДС по ПП №123 Перечисление денежных средств по платежному поручению №123 5
6. Как люди заполняют документы ЕФРСФДЮЛ 6
7. Как люди заполняют документы ЕФРСФДЮЛ Единый федеральный реестр юридически значимых сведений о фактах деятельности юридических лиц 7
8. Как люди заполняют документы Сокращения пер.д/c c тр.сч. = перечисление денежных средств с транзакционного счета Опечатки и отсутствие пробелов нолог = налог, чет = счет 8
9. Как люди заполняют документы Сокращения пер.д/c c тр.сч. = перечисление денежных средств с транзакционного счета Опечатки и отсутствие пробелов нолог = налог, чет = счет Транслит и опечатки в транслите schet и shet = счет 9
10. Как люди заполняют документы Сокращения пер.д/c c тр.сч. = перечисление денежных средств с транзакционного счета Опечатки и отсутствие пробелов нолог = налог, чет = счет Транслит и опечатки в транслите schet и shet = счет Текст на русском и английском языках 10
11. Великий и могучий русский язык Эти типы стали есть в прокатном цехе 11
12. Наша задача Автоматизировать часть процесса проведения банковских выписок в системе заказчика Банковская выписка – документ бухгалтерского учета, отражающий состояние счета и движение средств на нем 12
13. Описание процесса 13 Банковские выписки поступают в систему
14. Описание процесса 14 Операция 1, тип ? Операция 2, тип ? Операция 3, тип ? Операция 4, тип ? Операция 5, тип ? Банковские выписки поступают в систему Выписки состоят из операций, для дальнейшей обработки нужно определить тип каждой
15. Описание процесса 15 Операция 1, тип ? Операция 2, тип ? Операция 3, тип ? Операция 4, тип ? Операция 5, тип ? Банковские выписки поступают в систему Выписки состоят из операций, для дальнейшей обработки нужно определить тип каждой Сотрудник операционного отдела проверяет документ, определяет тип каждой операции
16. Описание процесса 16 Банковские выписки поступают в систему Выписки состоят из операций, для дальнейшей обработки нужно определить тип каждой Сотрудник операционного отдела проверяет документ, определяет тип каждой операции Операции отправляются в другие системы Операция 1, тип ? Операция 2, тип ? Операция 3, тип ? Операция 4, тип ? Операция 5, тип ? Операция 1, тип N Операция 2, тип M Операция 3, тип X Операция 4, тип Y Операция 5, тип Z
17. Описание процесса: цели — Прозрачность — Уменьшение ручного труда — Снижение количества ошибок 17 Операция 1, тип ? Операция 2, тип ? Операция 3, тип ? Операция 4, тип ? Операция 5, тип ? Операция 1, тип N Операция 2, тип M Операция 3, тип X Операция 4, тип Y Операция 5, тип Z
18. Описание процесса с ML 18 Операция 1, тип ? Операция 2, тип ? Операция 3, тип ? Операция 4, тип ? Операция 5, тип ? Операция 1, тип N Операция 2, тип M Операция 3, тип X Операция 4, тип Y Операция 5, тип Z ML
19. 19 Проблемы с данными
20. Проблемы с данными 20 Операция
21. Проблемы с данными 21 Операция Текстовые данные Выплата купонного дохода… Плата за найм…
22. Проблемы с данными 22 Операция Текстовые данные Выплата купонного дохода… Плата за найм… Категориальные данные Род сделки, тип счета, валюта…
23. Проблемы с данными 23 Операция Всего в системе 280 различных типов операций И много правил определения типа для каждой Текстовые данные Выплата купонного дохода… Плата за найм… Категориальные данные Род сделки, тип счета, валюта…
24. Проблемы с данными 24 Операция Всего в системе 280 различных типов операций И много правил определения типа для каждой Перевод по договору №12345 ➝операция X Перевод по договору №12345-АБВ ➝операция Y Текстовые данные Выплата купонного дохода… Плата за найм… Категориальные данные Род сделки, тип счета, валюта…
25. Проблемы с данными Операция Всего в системе 280 различных типов операций И много правил определения типа для каждой Перевод по договору №12345 ➝операция X Перевод по договору №12345-АБВ ➝операция Y Перевод по договору от ООО “Рога и Копыта” ➝операция Z 25 Текстовые данные Выплата купонного дохода… Плата за найм… Категориальные данные Род сделки, тип счета, валюта…
26. Проблемы с данными 26 ?! Операционист нашей системы «Контроллер» в следующей системе
27. Проблемы с данными 27 Какой тип операции мне проставить? ?! Операционист нашей системы «Контроллер» в следующей системе
28. Проблемы с данными 28 Какой тип операции мне проставить? Ставь X и отправляй мне! ?! Операционист нашей системы «Контроллер» в следующей системе
29. Проблемы с данными 29 Операция по всем входным данным должна быть Y, но в БД она сохраняется как X Какой тип операции мне проставить? Ставь X и отправляй мне! ?! Операционист нашей системы «Контроллер» в следующей системе
30. Проблемы с данными Операция по всем входным данным должна быть Y, но в БД она сохраняется как X В БД не сохраняется информация о том, почему Y стал X 30 Операционист нашей системы «Контроллер» в следующей системе ?! Какой тип операции мне проставить? Ставь X и отправляй мне!
31. 31 Готовим данные
32. Чистим кластеризацией
33. Чистим кластеризацией
34. Чистим кластеризацией 3 4
35. А что с текстом? Сокращения и аббревиатуры – словари замен ТС – торговая система или транзакционный счет? 35
36. А что с текстом? Сокращения и аббревиатуры – словари замен ТС – торговая система или транзакционный счет? Опечатки – расстояние Левенштейна и корпусы доменной лексики куХонный доход → куПонный доход 36
37. Борьба с транслитом Применили rule-based подход – используем правила прямой транслитерации из open-source библиотеки iuliia + свой алгоритм обратной транслитерации 37 Статья о транслитерации на хабре
38. Борьба с транслитом Применили rule-based подход – используем правила прямой транслитерации из open-source библиотеки iuliia + свой алгоритм обратной транслитерации Проблемы транслита: — Минимум 14 действующих “стандартов” 38
39. Борьба с транслитом Применили rule-based подход – используем правила прямой транслитерации из open-source библиотеки iuliia + свой алгоритм обратной транслитерации Проблемы транслита: — Минимум 14 действующих “стандартов” — Не все их корректно реализуют 39
40. Борьба с транслитом Применили rule-based подход – используем правила прямой транслитерации из open-source библиотеки iuliia + свой алгоритм обратной транслитерации Проблемы транслита: — Минимум 14 действующих “стандартов” — Не все их корректно реализуют — Некоторые придумывают свои стандарты 40
41. Обучение 41
42. Как обучали 42 Baseline: CatBoost Micro F1 = 0.8 Macro F1 = 0.6
43. Final: 2 BERT + FCNN Micro F1 = 0.9746 Macro F1 = 0.9144 Как обучали Baseline: CatBoost Micro F1 = 0.8 Macro F1 = 0.6 43
44. Как обучали 44 Final: 2 BERT + FCNN Micro F1 = 0.9746 Macro F1 = 0.9144 Baseline: CatBoost Micro F1 = 0.8 Macro F1 = 0.6 Micro – отражает точность по всем операциям
45. Как обучали 45 Micro – отражает точность по всем операциям Macro – усредненное качество по каждому типу операции Final: 2 BERT + FCNN Micro F1 = 0.9746 Macro F1 = 0.9144 Baseline: CatBoost Micro F1 = 0.8 Macro F1 = 0.6
46. Финальный пайплайн: BERTы Для русского текста взяли модель от Сбера Для английского текста взяли finbert 46
47. Финальный пайплайн 47 Препроцессинг текста BERT для русского текста BERT для английского текста Русский текст Возврат платежа… Английский текст Transfer of funds… regex извлечение фичей Эмбеддинг [0.96, … 0.64] Эмбеддинг [0.83, … 0.21] Категориальные фичи из текста НДС, НДФЛ, keywords… Текст назначения платежа Классификатор операций Категориальные фичи Род сделки, валюта и т.д. Операция Подготовка фичей Эмбеддинги [0.83, … 0.21] Эмбеддинги [0.83, … 0.21]
48. Выкатываем на прод 48
49. Требования и нагрузка 49 — Без GPU
50. Требования и нагрузка 50 — Без GPU — Все документы должны обрабатываться за час
51. — Без GPU — Все документы должны обрабатываться за час — За час ML необходимо обрабатывать до 60 000 операций Требования и нагрузка 51
52. Перенос ML на dotnet 52 — Переписываем все на C# – OnnxRuntime
53. Перенос ML на dotnet 53 — Переписываем все на C# – OnnxRuntime — Инференс моделей ускорился в 1.3-1.5 раза
54. Перенос ML на dotnet 54 — Переписываем все на C# – OnnxRuntime — Инференс моделей ускорился в 1.3-1.5 раза — Закэшировали наиболее частые назначения платежа – сократили количество запусков BERTов
55. Перенос ML на dotnet 55 — Переписываем все на C# – OnnxRuntime — Инференс моделей ускорился в 1.3-1.5 раза — Закэшировали наиболее частые назначения платежа – сократили количество запусков BERTов — Ускорение в 3.5 раза
56. Перенос ML на dotnet — Переписываем все на C# – OnnxRuntime — Инференс моделей ускорился в 1.3-1.5 раза — Закэшировали наиболее частые назначения платежа – сократили количество запусков BERTов — Ускорение в 3.5 раза — Добавили автоскейлинг 56
57. Мониторинг 57
58. “Гораздо легче что-то измерить, чем понять, что именно вы измеряете”. Джон Уильям 58
59. Мониторинг — Разделили метрики на бизнесовые и ML метрики 59
60. Мониторинг — Разделили метрики на бизнесовые и ML метрики — Спросили у бизнеса, что хотят видеть они 60
61. Мониторинг — Разделили метрики на бизнесовые и ML метрики — Спросили у бизнеса, что хотят видеть они — Понимаем, что должна видеть ML команда 61
62. Мониторинг — Разделили метрики на бизнесовые и ML метрики — Спросили у бизнеса, что хотят видеть они — Понимаем, что должна видеть ML команда — Настроили алерты 62
63. Итоги 63
64. Чего удалось достичь — Проект в стадии опытной эксплуатации 64
65. Чего удалось достичь — Проект в стадии опытной эксплуатации — На каждые 10 000 операций имеем 40-50 ошибок, которые необходимо найти и заменить, 200-250 операций не заполняем 65
66. Чего удалось достичь — Проект в стадии опытной эксплуатации — На каждые 10 000 операций имеем 40-50 ошибок, которые необходимо найти и заменить, 200-250 операций не заполняем — Продолжаем работу над качеством 66
67. Чего удалось достичь — Проект в стадии опытной эксплуатации — На каждые 10 000 операций имеем 40-50 ошибок, которые необходимо найти и заменить, 200-250 операций не заполняем — Продолжаем работу над качеством — Добились прозрачности процесса, покрыли метриками 67
68. Команда 3 be, 1 qa, 1 dev и 1 ds Принести бизнес-ценность за три календарных месяца ML и сроки 68
69. 60% Подготовка данных 30% Feature engineering 5% Обучение 5% Перенос на dotnet и выход в прод ML и данные 69
70. Общение, много общения с экспертами в доменной области ML и коммуникация 70
71. tsimbol@byndyusoft.com t.me/vtsimbol 71 Спасибо!