OpenTalks.AI - Сергей Терехов, Тензорная машина ассоциативного вывода

Transcript

1. Тензорная Машина Ассоциативного Вывода Гуманитарный искусственный интеллект и принятие решений Сергей А. Терехов РАИИ, РАНИ IV Открытая конференция по искусственному интеллекету OpenTalks.AI - 2021 ∘ 3–5 февраля 2021 года
2. Темы доклада Слабоструктурированные ситуации Когнитивные карты Тензорные ассоциации Время-Контекстные Мозаики Гуманитарный искусственный интеллект Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 2 / 20
3. Слабоструктурированные ситуации1 Комплексные задачи управления в социально-экономической, организационной, политической и других сферах: Система факторов и связей открыта к пополнениям и уточнениям процессе работы над проблемой принятия решения. Параметры являются не количественными, а качественными (лингвистическими). Наряду (или вместо) с измерениями используются экспертные и опросные оценки. Данные из разных источников имеют разную достоверность и могут отражать субъективные предпочтения экспертов. Схожие особенности имеют и многие деловые прикладные задачи, особенно на ранних стадиях разработок. Использование количественных методов моделирования и теории принятия решений в этих условиях затруднено. 1По публикациям [1], [2] О.П. Кузнецова, ИПУ РАН им. Трапезникова Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 3 / 20
4. Когнитивные карты Модель представления знаний экспертов о ситуации. Ориентированный граф с весовой матрицей смежности 𝑊 = [𝑤𝑖𝑗∈1...𝑛] Вершины 𝐶𝑖 - факторы, признаки, понятия. Направленные рёбра - причинно-следственные2 связи между факторами. 𝑤𝑖𝑗 = 0 означает отсутствие прямого влияния. Может отражать как текущую статическую структуру влияний факторов, так и динамику сценариев развития ситуации во времени. Графы КК составляются междисциплинарными коллективами, часто включающими пользователей моделей. Важная цель: выявление управляющих факторов (на которые можно воздействовать) и возможных альтернатив для принятия решений. 2Заимствованный термин - каузальные. Подчеркнём, что отношение «причина-следствие» может быть субъективным. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 4 / 20
5. Примеры когнитивных карт Широкий спектр, от простой иерархии mind map (слева) до моделей когнитивных карт с нечёткими вычислениями (справа). Сложности: масштаб, корреляция ̸= причина, устойчивость, «смешивающие» (confounding) факторы [3]. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 5 / 20
6. «Ложные» корреляции Учёт «смешивающей» структуры может влиять на выводы. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 6 / 20
7. Корреляция и причина Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 7 / 20
8. От когнитивных карт к тензорным декомпозициям Проблемная область описывается набором словарей («контекстов»). Каждый словарь состоит из знаков («слов»). Значимыми являются только сочетания знаков из разных контекстов. 6W : W ho does W hat by W hat for W hat, W here and W hen. Знаки из контекста 𝑑 кодируются латентными векторами 𝑈𝑑, а общая ассоциативная значимость контекстной ситуации описывается тензорной декомпозицией: 𝛽 ≈ 𝐵(𝑖1, 𝑖2, . . . 𝑖𝑑) = 𝑀 ∑︁ 𝑚=1 𝑈1(𝑖1, 𝑚) · 𝑈2(𝑖2, 𝑚) · ... · 𝑈𝑑(𝑖𝑑, 𝑚) (1) Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 8 / 20
9. Симметричные и направленные ассоциации Симметричные ассоциативные связи соответствуют канонической тензорной декомпозиции, формула (1) Для моделирования направленных (упорядоченных) ассоциаций может использоваться нейронная сеть «тензорного поезда» (TTNN - tensor train neural network, [5]). Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 9 / 20
10. Время-Контекстные Мозаики (ВКМ) Учителя наблюдают успехи в обучении как учеников, склонных к многошаговому логическому мышлению, так и учеников, обладающих способностями к запоминанию большого числа фактов и простых связей между ними. Значительное число задач адаптации и управления может быть решено без использования сложной рекуррентной логики, только опираясь на ассоциативную (долговременную) память. Этот подход более устойчив, и вычислительно более эффективен, чем, например, глубокие нейронные сети с рекуррентностью. Существенна память о «предшествованиях» и «контекстах», тензорная ассоциативная машина запоминает Время-Контекстные Мозаики. Этот тип вычислений можно отнести к модели «правополушарного» способа обработки информации. Он эффективно реализуем в тензорных ассоциаторах. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 10 / 20
11. Как это учится? Задача формулируется в виде набора контекстных словарей, сочетания элементов которых определяют конкретную ситуацию, оценка которой вычисляется тензорной машиной. Алгоритм обучается на основе примеров: с учителем, если имеются примеры ситуаций с оценками или измерениями, без учителя, когда примеры имевших место ситуаций отличаются от ситуаций со случайными сочетаниями контекстов, с подкреплением, с использованием одного из контекстов для кодирования управляющих решений в цепочках (сценариях) из ситуаций. ... а также из строгих логических ситуаций, которые декларируются как невозможные или достоверные. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 11 / 20
12. Как это работает? Тензорная машина пригодна для следующих типовых задач: Оценить заданную ситуацию (сочетание контекстов). Сравнить две ситуации. Заданы все переменные контекстов, кроме одной, управляющей. Выбрать значение для управляющего сигнала с максимальной ожидаемой оценкой. Выбрать набор альтернативных сигналов управления, с оценками не ниже 95% от максимальной Задана ситуация. Какую наиболее высокой оценки можно достигнуть, изменив значения 1 или 2 контекстных переменных? В ситуации известны значения большинства контекстов. Найти наиболее вероятные значения для остальных. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 12 / 20
13. Как это работает? /2 Даны две ситуации - начальная и конечная. Продвигаясь по шагам с изменением не более 1 переменной на шаге, достигнуть конечной ситуации с максимальными оценками на промежуточных шагах. Где провести следующий эксперимент? Для заданной ситуации какое из значений управляющей переменной имеет наивысшую оптимистичную верхнюю оценку? (UCB-бандит) Для заданной ситуации выбрать случайное управление, с вероятностью того, что оно оптимально? (Томпсоновские выборки) Другие задачи оценивания, поиска, управления, оценки риска и принятия решений. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 13 / 20
14. Как это работает? /3 Социальная функция простейших роботов (при использовании в них ассоциативных тензорных машин) реализуется через передачу ими друг другу «семантически осмысленных» (т.е. обученных на множестве сочетаний контекстов из индивидуального опыта) векторных представлений отдельных символов или целых фрагментов словарей. Получив такую порцию информации, робот далее может использовать ее для уточнения своих оценок для контекстов, а также для дальнейшего самообучения (адаптации векторов в новых контекстах). Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 14 / 20
15. «Машинное обучение» и «искусственный интеллект» Вышедшая недавно книга С.А. Шумского (рекомендую!) подробно охватила два слова из четырёх: «Машинный Интеллект». Остались еще два важных слова «Обучение Искусственному». Естественные науки дают нам актуальную и развивающуюся картину природной действительности. Как обучать новое поколение всему тому, что создано человеком и является искусственным? Это должно быть массовым, а потому - гуманитарным знанием. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 15 / 20
16. Гуманитарный искусственный интеллект Поддисциплинарный (донаучный) уровень - уровень повседневного, обыденного сознания (В.Г. Буданов [7], с 136). Ученые выделяют много уровней, но именно на этом, первичном уровне имеются наибольшие сложности и здесь должно начинаться приятие систем ИИ человеком. Буданов вслед за Д.С. Чернавским вводит термин “гуманитарная математика”. Здесь мы распространяем его еще дальше - до понятия “гуманитарный искусственный интеллект”. Речь не идет о междисциплинарном взаимодействии - применении методов науки об искусственном интеллекте в гуманитарных областях. Это новая форма, в которой интеллектуальная искусственно создаваемая система рождается в самой среде далеких от техники людей, на уровне интуиции. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 16 / 20
17. Гуманитарный искусственный интеллект /2 Гуманитарный искусственный интеллект направлен не на поверхностное упрощение интерфейса взаимодействия, а на полноценный обмен информацией с машиной на высоком, экспертном уровне. Речь идет о взаимодействии эксперта-человека и эксперта-машины. Предельная форма такого взаимодействия это культурный уровень. В плоскости современной практики, прообразом такого взаимодействия служит следующая ситуация. Используется тензорная машина ассоциативного вывода. В системе контекстов производится поиск оптимального решения, обладающего наибольшей оценкой, путем выбора "слов"по одной из тензорных переменных, имеющей смысл управления. Значения "слов"по остальным осям определяются ситуацией и заданы. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 17 / 20
18. Гуманитарный искусственный интеллект /3 Часть управляющих слов в данном контексте неприменима на уровне "культурных"норм, это известно и человеку, и машине. Затем, человек, будучи экспертом, исходя из своих знаний, задает ограничения, сужающие множество управлений. В оставшемся множестве быстрый поиск оптимального управляющего слова производит машина. Она дополнительно сообщает эксперту, насколько снижен уровень оптимальности вследствие применения экспертных ограничений. Далее, диалог может быть продолжен. Это глобальная потребность. Искусственный интеллект с ассоциативными вычислениями может и должен изучаться - прямо на гуманитарных факультетах. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 18 / 20
19. Литература [Кузнецов О.П., 2006] Кузнецов О.П. Анализ влияний при управлении слабоструктурированными ситуациями на основе когнитивных карт. В сб: Человеческий фактор в управлении, Москва, 2006, с.313-344. [Кузнецов О.П., 2009] Кузнецов О.П. Интеллектуализация поддержки управляющих решений и создание интеллектуальных систем. Проблемы управления, 2009, № 31, с.64-72. [Pearl J, 1988] Pearl J. Probabilistic reasoning in Intelligent Systems: Networks of Plausible Inference. Morgan Kaufmann, 1988, 1997. [Шумский С, 2019] Шумский С.А. Машинный интеллект. Очерки по теории машинного обучения и искусственного интеллекта. “ИНФРА-М”, 2019. [Terekhov S, 2020] Serge A. Terekhov. Tensor train neural networks in retail operations. In: Advances in Neural Computation, Machine Learning, and Cognitive Research III, pages 17–24, Cham, 2020. Springer. [Гильбоа И, 2017] Гильбоа И. Как принять наилучшее решение? М. Дело, 2017. [Мир человека, 2018] Институт философии РАН. Мир человека: неопределённость как вызов. Ред. Г.Л. Белкина, М.И.Фролова. М. Ленанд, 2018. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 19 / 20
20. Заметки J.Pearl [3], p.18: ”...a person might be hesitant to assess the likelihood of two events but feel confident about judging whether or not the events are relevant to each other. People provide such judgments swiftly and consistently because — we speculate — relevance relationships are stored explicitly as pointers in one’s knowledge base.” J.Pearl [3], p.53: if in trying to substantiate the conjecture "All ravens are black,"we observe n Australian ravens, all of them black, our subsequent confidence in the conjecture will be increased substantially if the (n + l)-th raven is a black Brazilian raven rather than another black Australian raven. Сергей А. Терехов (РАИИ) Тензорная Ассоциативная Машина 20 / 20