Как работает анализ документов

Transcript

1. Как работает анализ документов
2. Дан запрос: • Изображение страницы документа • Регион анализа • Пользовательские настройки: язык распознавания, нужно ли извлекать текст из изображений и т.д.
3. Необходимо извлечь информацию в виде блоков
4. Использование анализа документов в продуктах • FineReader использует анализ документов как промежуточный этап при конвертации сканов и pdf документов в редактируемый формат. • BusinessCardsReader использует анализ документов в режиме выделения текста как промежуточный этап при извлечении информации из визиток. • FlexiCapture использует анализ документов в режиме выделения текста как промежуточный этап при извлечении информации из финансовых документов. • И т.д.
5. Выделение объектов Модели Выбор лучшего результата
6. Что такое модели?
7. Модель одноколоночного документа Модель многоколоночного документа Модель документа с текстом на полях
8. Запрос Поиск релевантных вариантов анализа
9. Запрос Жадный алгоритм
10. Запрос Перебор
11. Запрос Эвристический поиск смог найти правильный вариант, но он находится не на первом месте 
12. Запрос Скоринговая функция ранжирует варианты
13. Выводы • Задачу анализа документов можно представлять себе как задачу поиска в пространстве состояний. • Жадные алгоритмы относительно просты в написании и обладают рядом преимуществ, в особенности - скорость работы. • Переборные алгоритмы позволяют сделать систему более устойчивой, что ведет к повышению качества на реальных документах ценой потери в скорости.
14. Как работает скоринговая функция?
15. Пара (запрос, результат анализа) описывается большим набором признаков • Признаки, зависящие только от запроса: правда ли, что задан CJK язык распознавания; правда ли, что задан RTL язык распознавания; правда ли, что исходный документ синтетический; правда ли, что исходный документ является фотографией и т.д. • Признаки, зависящие только от результата: согласованность блоков друг с другом; наличие блоков определенного вида; тип модели, сгенерировавшей результат и т.д. • Признаки, зависящие от запроса и результата: модельное качество результата; среднее качество блоков определенного типа; вес текста, не попавшего ни в один блок; соответствие блоков информации от нейросети и т.д. • Признаки, зависящие от всей выдачи: ранги результата при сортировке выдачи различными элементарными компараторами. Признаки из данной категории позволяют выявить лучший результат среди очень похожих вариантов.
16. Признаки, основанные на результатах работы сети DANet
17. Страница из обучающей выборки Эталонная разметка
18. Для всех пар (запрос, результат анализа) из обучающей выборки нам известно расстояние до разметки
19. 𝑓13 , 𝑡1 𝑓150 , 𝑡2 𝑓17 , 𝑡3 𝑓2 , 𝑡4 𝑦1 𝑦2 𝑦3 𝑦4 𝑦5 𝑓1 , 𝑡5 𝑓15 , 𝑡6 𝑓7 , 𝑡7 𝑓23 , 𝑡8 𝑦6 𝑦8 𝑦9 𝑦7 𝑦10 … Скоринговая функция – это линейная комбинация регрессионных деревьев
20. Выводы • Задача выбора лучшего результата анализа является частным случаем задачи ранжирования, и успешно решается методами из данной области. • Деревья рулят. • Нейросетевые признаки являются одними из самых значимых. Чистый профит от них составляет 3.2% качества работы системы.
21. Что можно улучшить? • С помощью нейросетей можно отображать запрос и результат анализа в единое семантическое пространство так, чтобы их скалярное произведение в этом пространстве аппроксимировало релевантность. Семантическое описание можно использовать в качестве признаков как запроса, так и результата. • Текущий алгоритм обучения хорошо оптимизирует суммарное количество ошибок системы, но не количество хорошо проанализированных страниц. Есть основания полагать, что обучение на парах будет лучше оптимизировать данную метрику. Предлагается двухуровневая схема: на первом уровне фильтруем плохие варианты функцией, оптимизирующей точечный функционал, на втором уровне отбираем лучшую гипотезу функцией, оптимизирующей парный функционал.
22. Почему система работает быстро в однопоточном сценарии?
23. Запрос Одноколоночная модель Многоколоночная модель Модель текста на полях
24. «Порежем» время исполнения на части
25. «Порежем» время исполнения на части Будем выполнять код по частям в порядке уменьшения их приоритетов T
26. «Порежем» время исполнения на части Будем выполнять код по частям в порядке уменьшения их приоритетов T
27. «Порежем» время исполнения на части Многоколоночная модель понизила свой приоритет T
28. «Порежем» время исполнения на части Одноколоночная модель сгенерировала результат T
29. «Порежем» время исполнения на части Конкурирующие модели поработали еще немного и отсеклись, т.к. поняли, что ничего лучше они выдать не смогут T
30. Выводы • Перераспределение вычислений может приводить к ускорению без потерь в качестве. • Алгоритм естественным образом адаптируется к сложности запроса. Чем проще запрос, тем меньше время работы отличается от теоретически оптимального. • Подход позволяет масштабировать количество моделей без заметных потерь в скорости.
31. Что можно улучшить? • Можно обучать отсечения. Например, для каждой модели можно обучить бинарный классификатор, предсказывающий, можно ли остановить модель в самом начале.
32. Почему анализ документов – это интересно?
33. Вчера Сегодня
34. Скорость (в среднем) Качество (в среднем) Управляемость
35. Динамика качества работы системы за последние 2 года
36. Планы на будущее • Увеличение качества работы системы на фотографиях и низкоконтрастных сканах. oИспользование нейросетевых признаков в задаче выбора лучшей гипотезы сегментации таблицы на ячейки. oАльтернативный способ выделения объектов с использованием нейросетей. • Увеличение качества работы на PDF документах за счет более полного и целенаправленного использования информации из PDF.