Новое_в__PolyAnalyst.pdf

Transcript

1. Новое в PolyAnalyst 6.5
2. ПЕРЕЧЕНЬ ОБНОВЛЕНИЙ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Аналитический клиент • Узел ручной ввод • Узел: создание публикации • Узел: замена категорий • Узел: замена категорий • Узел: параметры • Узел: граф • Узел: анализ социальных сетей • Узел: агрегированный график • Api: polyanalyst 6.5 java sdk (api) • Узeл: объединение • Узeл: дополнение • Узeл: применение таксономии • Узeл: извлечение ключевых слов • Узeл: объект gis • Узел: извлечение сущностей с обучением • OCR: оптическое распознавание символов • Графики: лассо-выделение • Скрипт: подсказки • Скрипт: палитра узлов Редактор отчетов • Картинка вместо фона • Разграничение доступа к данным • Сохранение представлений • Отчеты: глобальные компоненты • Текстовый редактор: пользовательские шрифты • Текстовый редактор: дополнительные иконки • Текстовый редактор: копирование форматирования • Текстовый редактор: сброс форматирования • Отчеты: кнопка • Отчеты: кнопка экспорта • Отчеты: вкладки компонентов • Комбинированный фильтр: множественный выбор • Текстовый редактор: авторазмер текста • Диапазонный фильтр: пользовательский диапазон • Отчеты: загрузка внешнего вида графика из клиента • Детализация: преобразование выражения • Отчеты: экспорт в pdf Функции pdl/xpdl/SRL • Функция: char() • Функция: number() • Функция: intersect() • Функция: include() • Функция: table() • Функция: length() • Функция: document() • Функция: docpart() • Новые форматирующие функции: преобразование типа данных и регистра • Функция: toposition(), todocmeta() • Функции приведения аргумента к фрагменту текста • Алгоритм: парсер зависимостей (dependency parser) для русского языка • Узел: экспорт в файл • Узел: экспорт в изображение • DLC: google font collection • Источники данных: файловые
3. ОСНОВНЫЕ НОВШЕСТВА PolyAnalyst 6.5
4. СОХРАНЕНИЕ ПРЕДСТАВЛЕНИЙ И ОГРАНИЧЕНИЕ ДОСТУПА ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Пользователь1 выставляет определенные Фильтры в отчете и сохраняет представление Пользователь2 может открыть в отчете представление, где выставлены настройки по фильтрам Пользователя1 Доступ к данным в отчете ограничен в зависимости от принадлежности Пользователя к определенной группе ГРУППА1 ГРУППА2 Сотрудник находит некоторые полезные данные в срезе, и это представление (конфигурация фильтров, дат, категорий и т.д.) он может сохранить и передать коллегам для изучения, т.е. им не нужно будет вручную выставлять эту конфигурация и делать срез. Два отдела имеют доступ к одному и тому же отчету, но теперь можно отдельные данные в отчете скрывать от одних групп и показывать другим. Отдел по работе с Северокавказским федеральным округом не увидит данных, относящихся к Сибирскому федеральному округу
5. УЗЕЛ: РУЧНОЙ ВВОД ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Узел Ручной ввод используется для ручного ввода исходной таблицы через Excel-подобный механизм. Вы сможете добавить пользовательскую таблицу непосредственно в Аналитическом клиенте, не запуская внешние приложения.
6. СОХРАНЕНИЕ ОТЧЕТОВ И ИХ ЭЛЕМЕНТОВ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Элемент отчета сохраняется в jpg Весь отчет сохраняется в pdf/pptx Датасет сохраняется в csv/xlsx/xml/html
7. Сценарий использования узла УЗЕЛ: ИЗВЛЕЧЕНИЕ СУЩНОСТЕЙ (ИС) С ОБУЧЕНИЕМ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Узел Извлечение сущностей с обучением извлекает сущности из входной таблицы. Для автоматического извлечения сущностей из исходного текста применяется обучение моделей. Узел Извлечение сущностей с обучением имеет сходство с узлом Извлечение сущностей. Однако для поиска сущностей в узле Извлечение сущностей используются правила, а в узле Извлечение сущностей с обучением применяется машинное обучение.
8. OCR: Оптическое Распознавание Символов •Благодаря модулю PA OCR значительно повышено качество распознавания строк текста •Усовершенствован алгоритм анализа разметки страницы ▪многоколоночные страницы ▪таблицы без обозначения границ ▪автоматический анализ ориентации страницы •Добавлена возможность вызова PA OCR из узла Файлы как опции импорта ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
9. АНАЛИТИЧЕСКИЙ КЛИЕНТ PolyAnalyst 6.5
10. УЗЕЛ: РУЧНОЙ ВВОД ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Узел Ручной ввод используется для ручного ввода исходной таблицы через Excel-подобный механизм. Вы сможете добавить пользовательскую таблицу непосредственно в Аналитическом клиенте, не запуская внешние приложения.
11. УЗЕЛ: СОЗДАНИЕ ПУБЛИКАЦИИ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Узел Создание публикации используется для публикации отчетов из текущего проекта. В настройках узла можно выбрать какие отчеты будут опубликованы при его выполнении, а также включить гостевой доступ к публикациям. В представлении узла будут отображены сведения о произведенных публикациях, в том числе их URL-ссылки.
12. УЗЕЛ: ЗАМЕНА КАТЕГОРИЙ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Теперь настройки узла Замена категорий можно экспортировать в XML-файл и импортировать их в другом узле, что упрощает перенос настроек между разными проектами. Также в Карте значений стало возможным назначить замену сразу для нескольких категорий, выбрав соответствующий пункт в контекстном меню или нажав кнопку на панели инструментов.
13. В окне просмотра результатов выполнения узла Замена категорий появились вкладки Отчет и Настройки. На вкладке Отчет отображается информация о количестве произведенных замен для каждой категории из карты значений, а на вкладке Настройки — конфигурация узла. Данные со вкладки Отчет также доступны в Производной таблице для узла Замена категорий. УЗЕЛ: ЗАМЕНА КАТЕГОРИЙ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
14. УЗЕЛ: ПАРАМЕТРЫ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Узел Параметры можно подключить к узлам: •Замена категорий •Создание публикации •Экспорт в изображение Значение по умолчанию для параметров, определяющих Цвет, теперь можно задать не только указав его шестнадцатеричное представление, но и выбрав цвет в палитре цветов.
15. УЗЕЛ: ГРАФ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС В узле Граф включена поддержка интерактивной настройки: вы сразу сможете увидеть, как изменение конфигурации влияет на отображение данных. * Режим интерактивной настройки также включен в узлах визуализации Агрегированный график и Пузырьковая диаграмма
16. УЗЕЛ: АНАЛИЗ СОЦИАЛЬНЫХ СЕТЕЙ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС В узле Анализ социальных сетей появилась возможность сгенерировать узел Граф.
17. УЗЕЛ: АГРЕГИРОВАННЫЙ ГРАФИК ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Теперь узел Агрегированный график позволяет отображать облако тэгов. * Узел Облако тегов больше не используется как отдельный узел, но вы можете продолжать работу с данным узлом в ранее созданных проектах.
18. API: POLYANALYST 6.5 JAVA SDK (API) ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Для аналитическогого клиента по адресу https://github.com/Megaputer/polyanalyst6api-java стала доступна JAVA SDK (API)
19. УЗEЛ: ОБЪЕДИНЕНИЕ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС В окне настройки узла Объединение схематически отображается тип объединения множеств в виде диаграммы Венна. Благодаря визуальной форме подачи информации диаграмма Венна облегчает осмысление процесса объединения исходных множеств (таблиц данных).
20. УЗEЛ: ДОПОЛНЕНИЕ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Настройки узла Дополнение также получили схематическое отображение его логики в виде диаграммы Венна. Кроме того, при соединении ко входу узла Дополнение первой исходной таблицы данных предлагается выбрать одну из ролей, которые для простоты понимания стали называться Супермножество (левая таблица) и Подмножество(правая таблица).
21. УЗEЛ: ПРИМЕНЕНИЕ ТАКСОНОМИИ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС В настройках узла Применение таксономии появилась опция Разделитель пути к категории, которая включается при выбранном способе применения: Список категорий таксономии. В результате в сгенерированной узлом колонке категории таксономии будут отделены друг от друга выбранным разделителем.
22. УЗEЛ: ИЗВЛЕЧЕНИЕ КЛЮЧЕВЫХ СЛОВ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС В настройках узла Извлечение ключевых слов появилась опция Подсчет локальной значимости, которая позволяет считать релевантность ключевых слов не для всего датасета, а отдельно для конкретного документа. Это позволяет выявлять аномалии, возникающие при неравномерном распределении ключевых слов среди документов.
23. УЗEЛ: ОБЪЕКТ GIS В контекстном меню узла Объект GIS появилась опция Сохранить в SVG, которая позволяет экспортировать векторное изображение карты. Такое изображение можно встроить в любой документ и масштабировать без потери качества. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
24. УЗEЛ: ОБЪЕКТ GIS На вкладке Результаты объединения появилась возможность сгенерировать отдельные узлы на основе вручную добавленных связей. Для связей с ключом размером в одну колонку оптимально использовать узел Замена категорий; для ключей большего размера - узел Производные колонки ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
25. Сценарий использования узла УЗЕЛ: ИЗВЛЕЧЕНИЕ СУЩНОСТЕЙ (ИС) С ОБУЧЕНИЕМ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
26. УЗЕЛ: ИС С ОБУЧЕНИЕМ Разметка данных для обучения Валидация разметки на уровне: • позиции в документе • документа • сущности разметки ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
27. УЗЕЛ: ИС С ОБУЧЕНИЕМ Создание разметки данных для обучения • Разметка может быть создана на основе существующих сущностей и отредактирована в дальнейшем, либо полностью вручную • Можно выбрать атрибуты используемые в разметке, либо добавить новые • Типы разметки могут объединять несколько типов существующих сущностей ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
28. УЗЕЛ: ИС С ОБУЧЕНИЕМ редактирование разметки данных Чтобы добавить новую сущность разметки, выделите токены в тексте и укажите для них атрибуты Чтобы отредактировать существующую сущность разметки, нажмите в ее аннотации кнопку Изменить ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
29. УЗЕЛ: ИС С ОБУЧЕНИЕМ Обучение на размеченных данных Диалог настройки обучения на размеченных данных • часть данных может не участвовать в обучении, а использоваться для корректной оценки качества модели • для обучения рекомендуется использовать GPU При завершении очередного этапа обучения (эпохи) информация подгружается в отчет Выбор разметки и запуск обучения Во время обучения можно продолжать работу в отчете узла ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
30. УЗЕЛ: ИС С ОБУЧЕНИЕМ Результаты обученной модели Обученная модель позволяет выделять • пересекающиеся сущности • атрибуты сущностей • разрывные сущности ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
31. Любые 2 разметки можно сравнить по значениям атрибутов и по позициям в тексте: • зеленым выделяются совпадения • красным отсутствующее позиции • розовым частичное совпадение • синим новые позиции УЗЕЛ: ИС С ОБУЧЕНИЕМ Сравнение разметок ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
32. OCR: Оптическое Распознавание Символов ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
33. OCR: Оптическое Распознавание Символов •Благодаря модулю PA OCR значительно повышено качество распознавания строк текста •Усовершенствован алгоритм анализа разметки страницы ▪многоколоночные страницы ▪таблицы без обозначения границ ▪автоматический анализ ориентации страницы •Добавлена возможность вызова PA OCR из узла Файлы как опции импорта ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
34. ГРАФИКИ: ЛАССО-ВЫДЕЛЕНИЕ В узлы визуализации добавлен инструмент “Лассо”, с помощью которого можно выделить произвольную область диаграммы. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Узлы, в которых доступно выделение “лассо”: - Объект GIS - Граф - Диаграмма связей - Агрегированный график
35. СКРИПТ: ПОДСКАЗКИ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Узлы анализа данных, осуществляющие классификацию и регрессионный анализ, получили более информативные всплывающие подсказки. Больше не нужно открывать окно просмотра результатов узла, чтобы увидеть эффективность классификации или точность прогнозирования. Для узла Нейронная сеть дополнительно отображается конфигурация сети.
36. СКРИПТ: ПАЛИТРА УЗЛОВ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС В Палитре узлов реализован поиск узлов по расширениям файлов, с которыми узел умеет работать.
37. ВЕБ АНАЛИТИЧЕСКИЙ КЛИЕНТ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС В веб версии аналитического клиента расширена поддержка узлов текстового анализа. Название узла текстового анализа Уровень поддержки в веб версии Примечание Автоматическая таксономия 100 % Анализ тональности 75 % Нет поддержки работы со словарями из режима просмотра, нет режима валидации Анализ трендов 75 % Нет поддержки работы со словарями из режима просмотра Анонимизация сущностей 100 % Восстановление сущностей 100 % Извлечение ключевых слов 75 % Ограниченные возможности по работе со словарями из режима просмотра Извлечение медицинских сущностей 75 % Нет поддержки работы со словарями из режима просмотра, нет режима валидации Извлечение сущностей 75 % Нет поддержки работы со словарями из режима просмотра, нет режима валидации Извлечение сущностей с обучением 75 % Нет режима выбора, ограниченная возможность редактирования сущностей в разметках, нет вкладки Модели, нет сохранения изменений, нет одновременного обучения нескольких моделей
38. ВЕБ АНАЛИТИЧЕСКИЙ КЛИЕНТ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Название узла текстового анализа Уровень поддержки в веб версии Примечание Извлечение фактов 75 % Нет поддержки работы со словарями из режима просмотра, нет режима валидации Индекс 75 % Нет поддержки работы со словарями из режима просмотра Классификация на основе таксономии 100 % Классификация текстов 75 % Нет поддержки работы со словарями из режима просмотра Кластеризация текстов 75 % Нет поддержки работы со словарями из режима просмотра Объединение таксономий 100 % Определение языка 100 % Перевод текстов 100 % Поисковый запрос 100 % Нет синхронизации настроек внешнего вида между веб и windows версиями приложения Проверка грамматики 100 % Проверка орфографии 80 % Ограниченные возможности по работе со словарями из режима просмотра
39. ВЕБ АНАЛИТИЧЕСКИЙ КЛИЕНТ ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС Название узла текстового анализа Уровень поддержки в веб версии Примечание Разметка текста 100 % Расшифровка сокращений 75 % Нет поддержки работы со словарями из режима просмотра Резюме 100 % Связь терминов 100 % Таксономия 70 % Нет множественного выделения элементов в дереве, нет поддержки режима ручной категоризации, нет редактирования флагов Тематика текстов 75 % Нет поддержки работы со словарями из режима просмотра Удаление фрагментов 100 % Уникальные тексты 100 % Экспорт в словарь 100 % Производные таблицы из узлов текстового анализа 100 %
40. РЕДАКТОР ОТЧЕТОВ PolyAnalyst 6.5
41. ОТЧЕТЫ: ГЛОБАЛЬНЫЕ КОМПОНЕНТЫ Теперь в отчетах можно превращать компоненты в глобальные с помощью ссылок на другие страницы. Любые изменения в таком компоненте будут автоматически применены ко всем его экземплярам. Основное назначение таких компонентов - создание глобальных фильтров. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
42. ТЕКСТОВЫЙ РЕДАКТОР: ПОЛЬЗОВАТЕЛЬСКИЕ ШРИФТЫ Через встроенный текстовый редактор теперь можно загружать и использовать произвольные пользовательские веб-шрифты. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
43. ТЕКСТОВЫЙ РЕДАКТОР: ДОПОЛНИТЕЛЬНЫЕ ИКОНКИ Во встроенном текстовом редакторе стал доступен для вставки широкий набор векторных иконок. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
44. ТЕКСТОВЫЙ РЕДАКТОР: КОПИРОВАНИЕ ФОРМАТИРОВАНИЯ Во встроенном текстовом редакторе доступна возможность копирования форматирования для выделенного фрагмента текста. Скопированное форматирование можно применить к любому выделенному тексту с помощью кнопки вставки форматирования ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
45. ТЕКСТОВЫЙ РЕДАКТОР: СБРОС ФОРМАТИРОВАНИЯ Во встроенном текстовом редакторе появилась возможность сброса форматирования для выделенного фрагмента текста. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
46. ОТЧЕТЫ: КНОПКА Теперь в отчеты можно добавлять компонент кнопка. При нажатии на кнопку можно выбрать одно из трех действий: сброс всех фильтров в публикации, переход на указанную страницу, переход по внешней ссылке. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
47. ОТЧЕТЫ: КНОПКА ЭКСПОРТА Теперь в отчетах от источников данных можно добавлять компонент кнопка экспорта. Она позволяет загрузить на компьютер пользователя таблицу с выбранными колонками и заданным в редакторе форматом. Таблица будет учитывать EDD. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
48. ОТЧЕТЫ: ВКЛАДКИ КОМПОНЕНТОВ В отчетах можно разместить несколько компонентов (графиков) в одном контейнере с вкладками ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
49. КОМБИНИРОВАННЫЙ ФИЛЬТР: МНОЖЕСТВЕННЫЙ ВЫБОР В настройках комбинированного фильтра появилась возможность включать режим множественного выбора ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
50. ТЕКСТОВЫЙ РЕДАКТОР: АВТОРАЗМЕР ТЕКСТА В текстовом виджете появилась возможность включить автоматическое изменение размера текста (текст будет уменьшаться при изменении размеров виджета без появления скролла) ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
51. ДИАПАЗОННЫЙ ФИЛЬТР: ПОЛЬЗОВАТЕЛЬСКИЙ ДИАПАЗОН В диапазонном фильтре появилась возможность предустановить значения диапазона, которые будут отображаться при открытии публикации ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
52. ОТЧЕТЫ: ЗАГРУЗКА ВНЕШНЕГО ВИДА ГРАФИКА ИЗ КЛИЕНТА Теперь внешний вид графиков можно сбросить к тому внешнему виду, который отображается в Аналитическом клиенте ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
53. ДЕТАЛИЗАЦИЯ: ПРЕОБРАЗОВАНИЕ ВЫРАЖЕНИЯ Теперь можно преобразовывать выражения расширенной детализации (использовать различные SRL или PDL выражения ) ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
54. ОТЧЕТЫ: ЭКСПОРТ В PDF Теперь можно экспортировать публикацию отчета в PDF ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
55. РЕДАКТОР ОТЧЕТОВ PolyAnalyst 6.5
56. ФУНКЦИЯ: CHAR() Добавлена поддержка алфавитной категории: arabic - токены, состоящие из символов арабского алфавита chinese - токены, состоящие из символов китайского алфавита cyrillic - токены, состоящие из символов кириллического алфавита greek - токены, состоящие из символов греческого алфавита hiragana - токены, состоящие из символов алфавита хирагана katakana - токены, состоящие из символов алфавита катакана korean - токены, состоящие из символов корейского алфавита latin - токены, состоящие из символов латинского алфавита mixed - токены, состоящие из символов разных алфавитов Добавлены параметры для поиска открывающих и закрывающих кавычек: lsquote, lsq, ‘ - символ левой одинарной кавычки rsquote, rsq, ’ - символ правой одинарной кавычки ldquote, ldq, « - символ левой двойной кавычки rdquote, rdq, » - символ правой двойной кавычки ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
57. ФУНКЦИЯ: NUMBER() Добавлен опциональный именованный параметр type, который задает формат написания чисел. Параметр принимает следующие значения: type:=numeral находит числа в любом написании (например, 125, 713.446.9307, 1-ый и т.д.) type:=digit находит числа, состоящие только из цифр (без запятых, точек, слэшей и т.д.) type:=word находит числа, записанные словами (пятьдесят, сорок три) type:=any находит числа, записанные как словами, так и цифрами (включая дроби) ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
58. ФУНКЦИЯ: INTERSECT() 1) Добавлена поддержка опционального именованного параметра match, который позволяет выбрать,что именно должно выводиться в результат: аргумент, пересечение аргументов или разность. Он принимает следующие значения: match:=first - первый аргумент целиком (значение по умолчанию) match:=second - второй аргумент целиком match:=intersection - пересечение аргументов match:=union - объединение аргументов match:=difference - симметрическая разность (все элементы первого и второго множества, кроме пересекающихся элементов) match:=difference_left - разность между первым и вторым аргументом match:=difference_right - разность между вторым и первым аргументом 2) Добавлен опциональный именованный параметр diff, задающий ограничение на различие аргументов в количестве слов. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
59. ФУНКЦИЯ: INCLUDE() 1) Добавлена поддержка опционального именованного параметра match, который позволяет выбрать,что именно должно выводиться в результат: аргумент, пересечение аргументов или разность. Он принимает следующие значения: match:=first - первый аргумент целиком (значение по умолчанию) match:=second - второй аргумент целиком match:=union - объединение аргументов match:=difference - симметрическая разность (все элементы первого и второго множества, кроме пересекающихся элементов) 2) Добавлен опциональный именованный параметр diff, задающий ограничение на различие аргументов в количестве слов. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
60. ФУНКЦИЯ: TABLE() 1) Добавлена поддержка новых опциональных именованных параметров: level – задает ограничение уровня вложенности таблицы (начиная с 1) с использованием операторов «>», «<», «>=», «<=», «!=». nested:=yes/no - задает поиск только вложенных таблиц. has_nested:=yes/no - задает поиск таблиц, содержащих вложенные таблицы. 2) Для ограничения поиска внутри числовых параметров теперь можно использовать операторы сравнения «>», «<», «>=», «<=», «!=», например, table(col:>1, col:<3, row:>4). Эти операторы поддерживаются и в функции docpart(), например, docpart(table, col:>1, col:<3, row:>1). ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
61. ФУНКЦИЯ: LENGTH() 1) Добавлен опциональный именованный параметр максимальная длина, который ограничивает максимальную длину искомого аргумента. Например, length(2,3, keyword()) найдет ключевые слова, состоящие из 2 или 3 символов. 2) Добавлен опциональный именованный параметр count:=, который позволяет указать единицу, в которой будет измеряться длина слова или предложения. Он может принимать следующие значения: character - длина в символах (значение по умолчанию) token - длина в токенах (токен — это последовательность символов между разделителями) word - длина в словах punctuation – задает количество знаков пунктуации ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
62. ФУНКЦИЯ: DOCUMENT() Добавлена новая функция document(), которая ищет документы внутри датасета. Синтаксис функции: document([мнимальный_номер,] [максимальный_номер,] [аргумент_1,] [аргумент_2,…​]) Например: case(upper, document()) найдет все документы, написанные в верхнем регистре document(1, 2) найдет первые два документа в массиве данных ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
63. ФУНКЦИЯ: DOCPART() Добавлен именованный параметр section, который позволяет выполнять поиск по разделу (главе) документа. Параметр может принимать следующие значения: name - имя раздела; whole (yes/no) - поиск имени раздела целиком или частично, по умолчанию whole:=yes; level - уровень раздела, соответствует уровню заголовка; field - поиск в теле/заголовке/теле и заголовке раздела; по умолчанию field:=any. Например: docpart(section, конфиденциальность, field:=body) найдет слово «конфиденциальность» в теле раздела, но не в заголовках. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
64. НОВЫЕ ФОРМАТИРУЮЩИЕ ФУНКЦИИ: ПРЕОБРАЗОВАНИЕ ТИПА ДАННЫХ И РЕГИСТРА str() конвертирует целочисленное или численное значение в строковое. num() конвертирует строковое или текстовое значение в число. textspan() преобразует аргумент в подстроку с сохранением оригинального форматирования и пунктуации. capitalize() делает заглавной первую букву каждого слова в строке; например, he likes станет He Likes. togglecase() переключает регистр каждой буквы в строке, например, We LikE станет wE lIKe. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
65. ФУНКЦИЯ: TOPOSITION(), TODOCMETA() toposition() - новая форматирующая функция XPDL, которая приводит позиции аргумента в тексте. todocmeta() - новая форматирующая функция XPDL, которая приводит метаинформацию о документе (название, автора документа, ключевые слова, тему, время создания, время последнего изменения, количество страниц). ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
66. ФУНКЦИИ ПРИВЕДЕНИЯ АРГУМЕНТА К ФРАГМЕНТУ ТЕКСТА tochunk() приводит аргумент к словосочетанию, где он был найден. toline() приводит аргумент к строке, где он был найден. tosentence() приводит аргумент к предложению, где он был найден. toparagraph() приводит аргумент к абзацу, где он был найден. todocpart() приводит аргумент к разделу документа, где он был найден. totable() приводит аргумент к разделу таблицы, где он был найден. todocument() приводит аргумент к документу, где он был найден. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
67. АЛГОРИТМ: ПАРСЕР ЗАВИСИМОСТЕЙ (dependency parser) для русского языка Позволяет построить для предложения граф, ребра которого показывают синтаксические и семантические зависимости между словами этого предложения. Результаты работы алгоритма в узле Разметка текста ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
68. УЗЕЛ: ЭКСПОРТ В ФАЙЛ В списке поддерживаемых форматов файлов для экспорта появился формат - JSON. Для этого формата, как и для каждого из остальных (CSV, XLS, HTML, XML, XLSX) предусмотрен свой набор настроек экспорта, разбитый на вкладки. При этом есть настройки, общие для нескольких форматов. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
69. УЗЕЛ: ЭКСПОРТ В ИЗОБРАЖЕНИЕ Возможность задать маску: \P - родительский узел \N - экспортируемый узел \T - время экспорта \D - дата экспорта ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
70. DLC: Google Font Collection Готовый набор из 25 шрифтов Состоит из: 5 serif 9 sans serif 3 condensed 2 slab 3 mono/code 3 декоративных шрифта Типы лицензий: Apache License, Version 2.0 Open Font License Ubuntu Font License ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС
71. ИСТОЧНИКИ ДАННЫХ: ФАЙЛОВЫЕ Для узлов - источников данных, импортирующих файлы (CSV, XML, JSON, Microsoft Excel, SPSS, E-Mail Архив, Lotus, PA6 Logfile) добавлена возможность импорта данных родительского узла либо из бинарных данных, либо из содержимого текстовых колонок. При наличии родительского узла элемент интерфейса для выбора файла в этих узлах отсутствует. Вместо него в узлах CSV, XML, JSON, PA6 Logfile есть выпадающий список Входная колонка для выбора одной из текстовых колонок родительского узла или бинарных данных. В узлах SPSS, Microsoft Excel, E-Mail Архив, Lotus такой список отсутствует, т.к. эти узлы могут импортировать только бинарные данные. ПЛАТФОРМА POLYANALYST МЕГАПЬЮТЕР ИНТЕЛЛИДЖЕНС