Искусственный интеллект и цифровая трансформация бизнеса

Transcript

1. Дмитрий Сошников, Ведущий эксперт по ИИ и маш.обучению, Microsoft Доцент, МФТИ/НИУ ВШЭ/МАИ http://soshnikov.com Облачные технологии и искусственный интеллект как двигатель цифровой трансформации
2. О ЧЕМ МЫ БУДЕМ ГОВОРИТЬ Как технологии и ИИ меняют мир Облачные технологии Искусственный интеллект и машинное обучение
3. Технологии меняют мир…
4. 1900 1910
5. Технологические революции Аграрная Индустриальная Информационная
6. Карантинная революция Мини-задание: Придумайте сферы жизни, которые были трансформированы в результате пандемии и самоизоляции.
8. Карантинная революция
9. Грядущие революции Искусственный интеллект Виртуальная и дополненная реальность
12. Люди vs. Компьютеры
13. Люди vs. компьютеры Рассуждения Эмоции / чувства Интуиция Вычисления Поиск / хранение / передача информации
14. Искусственный интеллект Искусственный интеллект – раздел информатики, изучающий реализацию в ЭВМ человеческих способов рассуждения и решения задач. Искусственный интеллект – наука, занимающаяся созданием интеллектуального компьютера.
15. Создание искусственного интеллектуального существа Решение компьютером задач, которые традиционно лучше решаются человеком Strong AI Weak AI
16. Что такое интеллект? Тест Тьюринга
17. Тест Тьюринга ЦентрНаучФильм Кто за стеной 1977 - YouTube Edu: Тест Тьюринга: Компьютер или человек? - YouTube
18. Плюсы и минусы теста Тьюринга Плюсы Минусы
19. Способы достижения ИИ IF (at bus stop AND bus arrives) THEN action (get into the bus) IF (on the bus AND paid AND empty seat) THEN action (sit down). IF (on bus AND unpaid) THEN action (pay charges). IF (bus arrives at destination) THEN action (get down from the bus). Символьные рассуждения Машинное обучение / нейросети Photo by Taylor Vatem and Alina Grubnyak on
20. Китайская комната
21. Семиотический подход • Сетевой • Семантические сети, концептуальные графы • Иерархический • Фреймы, сценарии • Логический • Логика предикатов (Prolog) • Дескрипционные логики (Semantic Web) • Процедурный • Продукционные правила • Business Process Modelling Представление знаний Поиск
22. Где ещё есть явное представление знаний
28. This Photo by Unknown Author is licensed under CC BY-SA
29. Доступные вычислительные мощности Открытые массивы данных Глубокое обучение, новые архитектуры сетей
30. Глубокое обучение + свёрточные сети
33. Сравнение двух подходов Явное представление знаний Нейросети Интерпретируемый Неинтерпретируемый Необходимы эксперты Необходимы данные (много) Понятное внесение изменений Для внесения изменений необходимо повторное обучение
34. Примеры Символьный подход Нейросетевой подход Постановка диагноза по симптомам Определение опухоли по рентгеновскому снимку Определение типа судебного дела по текстовому описанию Выбор подарка на новый год по набору пожеланий Подбор подарка на новый год по ограничениям (цена, размер) Предсказание исхода судебного дела
35. Гибридный подход
36. Case Study: Intelligent Robotic Pillow Reactive brain (algorithm) Reasoning brain Neural network + knowledge base Cloud Statistics and updates
37. Нисходящий подход Восходящий подход (Нейронные сети) Машинное обучение Эволюционный подход Моделирование в компьютере процессов рассуждений человека Моделирование в компьютере процессов головного мозга (как их понимали в середине XX века) Представление знаний Поиск Генетические алгоритмы, решение задачи оптимизации Извлечение знаний из данных (knowledge mining) Построение моделей, способных решать задачи (неявное представление знаний) Многоагентный подход Решение сложной задачи множеством более простых агентов за счет синеретического эффекта (эмерджентный интеллект)
38. Искусственный интеллект Машинное обучение Нейронные сети Глубокое обучение Статистика Computer Science математика
39. Технологии ИИ в бизнесе Source: Infosys
40. AI Business School https://aka.ms/aibuschool In partnership with • https://aka.ms/learn_aibus_govt - для гос. организаций • https://aka.ms/learn_aibus_health - для сферы здравоохранения • https://aka.ms/learn_aibus_retail - для сферы розничной торговли • https://aka.ms/learn_aibus_edu - для сферы образования • https://aka.ms/learn_aibus_manuf - для производственного сектора • https://aka.ms/learn_aibus_fintech - для отрасли финансовых услуг
41. Правило демократизации ИИ 80/20
42. Классификация задач • Распознавание специфичных объектов • Прогнозирование / предиктивная аналитика • Предиктивная поддержка • Распознавание типовых объектов на фотографии • Преобразование речи в текст • Машинный перевод • Создание чат-бота для техподдержки • Умный поиск в документах • Распознавание событий на видео • Прогнозирование исхода судебного дела по документам • Построение картинки по описанию Типовые Понятные Исследовательские 80% 15% 5%
44. Дмитрий Сошников, Ведущий эксперт по ИИ и маш.обучению, Microsoft Доцент, МФТИ/НИУ ВШЭ/МАИ http://soshnikov.com ЧАСТЬ 2: Облачные технологии
45. ОБЛАЧНЫЕ ТЕХНОЛОГИИ Облако – это способ абстрагироваться от того, где (на каком железе) будет работать программный код.
46. Разные виды облака Свой сервер Железо ОС Системное ПО Прикладное ПО Железо ОС Системное ПО Прикладное ПО Infrastructure as a Service Железо ОС Системное ПО Прикладное ПО Platform as a Service Железо ОС Системное ПО Прикладное ПО Software as a Service
47. Платформенные сервисы Платформенные сервисы – это конструктор, из которых можно сравнительно легко составлять сложные бизнес-системы. Bot Framework / Bot Service Cognitive Services Azure Web App IoT Hub / IoT Suite Azure Functions Azure Storage Azure Data Lake Azure ML
48. Когнитивный портрет http://eazify.net/cognitive_portrait
49. Facial Landmarks Аффинные преобразования
50. Дмитрий Сошников, «Взросление» 2020, когнитивный портрет
51. Облачный экспонат UWP App Exhibition 2 (ANYWHERE) Exhibition 1 (Moscow) CLIENT (AT MUSEUM) Облако UWP App https://soshnikov.com/museum/ peopleblender/
52. @peopleblenderbot UWP App Virtual Exhibit REAL Exhibit CLIENT (AT HOME) CLIENT (AT MUSEUM) CLOUD Web App
53. Ливневка Occupancy Energy used CO2 levels Amounts of coffee Water used Людей в здании Спортзал Lights Температура Toilet usage Electricity powered by Solar Energy Пример Опенспейс Энергопотребление Уровень CO2 Выпито кофе Расход воды Парковка Свет Туалеты ;) Электричества потреблено
54. 500 миллионов транзакций ежедневно https://aka.ms/ms_smart_campus
55. Microsoft IoT–классическая архитектура
56. Готовые предобученные модели Решение типовых задач практически без кода Azure Databricks Machine Learning VMs Популярные библиотеки Создание своих нейросетевых решение или использование образцов TensorFlow Keras Pytorch Onnx Azure Machine Learning Language Speech … Search Vision On-premises Cloud Edge Сервисы для обучения Решение сложных задач с большими данными и не только Мощная инфраструктура Для обучения и использования моделей глубокого обучения Гибкое развёртывание В своём ЦОД, с облаке или на устройствах ИИ-технологии в облаке Microsoft Azure
57. Когнитивные сервисы Object, scene, and activity detection Face recognition and identification Celebrity and landmark recognition Emotion recognition Text and handwriting recognition (OCR) Customizable image recognition Video metadata, audio, and keyframe extraction and analysis Explicit or offensive content moderation Vision Language detection Named entity recognition Key phrase extraction Text sentiment analysis Multilingual and contextual spell checking Explicit or offensive text content moderation PII detection for text moderation Text translation Customizable text translation Contextual language understanding Language Ad-free web, news, image, and video search results Trends for video, news Image identification, classification and knowledge extraction Identification of similar images and products Named entity recognition and classification Knowledge acquisition for named entities Search query autosuggest Ad-free custom search engine creation Search Speech transcription (speech-to-text) Custom speech models for unique vocabularies or complex environment Text-to-speech Custom Voice Real-time speech translation Customizable speech transcription and translation Speaker identification and verification Speech Q&A extraction from unstructured text Knowledge base creation from collections of Q&As Semantic matching for knowledge bases Customizable content personalization learning Knowledge http://aka.ms/coserv
58. Дмитрий Сошников, Ведущий эксперт по ИИ и маш.обучению, Microsoft Доцент, МФТИ/НИУ ВШЭ/МАИ http://soshnikov.com ЧАСТЬ 3: АНАЛИЗ ИЗОБРАЖЕНИЙ И текста
59. Когнитивные сервисы Object, scene, and activity detection Face recognition and identification Celebrity and landmark recognition Emotion recognition Text and handwriting recognition (OCR) Customizable image recognition Video metadata, audio, and keyframe extraction and analysis Explicit or offensive content moderation Vision Language detection Named entity recognition Key phrase extraction Text sentiment analysis Multilingual and contextual spell checking Explicit or offensive text content moderation PII detection for text moderation Text translation Customizable text translation Contextual language understanding Language Ad-free web, news, image, and video search results Trends for video, news Image identification, classification and knowledge extraction Identification of similar images and products Named entity recognition and classification Knowledge acquisition for named entities Search query autosuggest Ad-free custom search engine creation Search Speech transcription (speech-to-text) Custom speech models for unique vocabularies or complex environment Text-to-speech Custom Voice Real-time speech translation Customizable speech transcription and translation Speaker identification and verification Speech Q&A extraction from unstructured text Knowledge base creation from collections of Q&As Semantic matching for knowledge bases Customizable content personalization learning Knowledge http://aka.ms/coserv
60. a group of people sitting at a table a man in a suit and tie person, building, outdoor, man, cake, holding, carrying, standing, street, wearing, walking, young, food, woman, table, large, suit, city, people, riding table, indoor, person, sitting, child, food, group, eating, laptop, computer, woman, people, front, small, boy, young, little, cake, man, desk, baby, room, plate, white Когнитивные сервисы: Vision API
62. Heedbook.com
64. Heedbook: архитектура
65. Финансовый университет+ZeroBit ▪ https://customers.microsoft.com/story/fa-edu-auzre-ru-russia ▪ Cognitive Services + IoT Hub + PowerBI 500 83% 77% аудиторий Вовлеченность студентов
66. Custom Vision Service http://aka.ms/custvision
67. Типовые задачи анализа изображений
68. Пример: подсчёт птиц Задача Контролировать поведение популяции чаек на Аляске с помощью видео Проблема Нет готовых обученных моделей и датасетов Решение Правильная разметка датасета https://www.microsoft.com/developerblog/2017/10/24/ bird-detection-with-azure-ml-workbench/ https://www.youtube.com/watch?v=nt__1605oTM
69. Project Kitting Проверка полноты комплектации набора инструментов Для обучения использовали реальные фото + 3D-модели Лучший результат – смесь реальных и искусственных изображений Custom Vision – немногим хуже RetinaNet
70. Как начать свой проект Object Detection • Разметка – Visual Object Tagging Tool • Обучение – прямо из VOTT или программно Custom Vision • В дальнейшем – RetinaNet • Для больших объемов данных – параллельное обучение с horovod http://aka.ms/NeuroWorkshop -> Notebooks -> ObjectDetection-CustVision.ipynb
71. Распознавание событий на видео
72. Выделение временных паттернов Dense Optical Flow VGG-16 Embeddings Focused Optical Flow
73. Объединённая модель ▪ https://github.com/sulasen/race-events-recognition-1 73
74. Выделение событий в футболе
75. Задание 1 Проблема: в школе никто не хочет носить маски Задача: • Придумать какое-нибудь решение проблемы без IT • Придумать решение проблемы с помощью IT и ИИ Что нужно: • Предложить идею решения • Нарисовать диаграмму решения: какие облачные сервисы оно может использовать, и как они будут связаны между собой • Какие шаги надо будет предпринять для реализации и внедрения –> чем проще – тем лучше!
76. Case Study: Crowdness Index from WebCam Dataset E.g. HollywoodHeads Custom Vision Training RetinaNet On Azure ML Model CosmosDB Database PowerBI Dashboard
77. Анализ текста - ведение диалога - извлечение смысла
78. Бот: Здравствуйте! Вы можете заказать пиццу! Я: Прекрасно, хочу! Бот: Скажите «заказать» чтобы приступить к заказу. Я: Заказать. Бот: Спасибо! Вы хотите закрытую или открытую пиццу? Я: Открыую. Бот: Я вас не понял. Скажите «открытую» (или 1) или «закрытую» (2) Я: 1 Бот: Отлично! На тонком или толстом тесте? Я: На тонком. Бот: Вы хотите пиццу пепперони, капрезе, кваттро стаджони? Напишите «состав пепперони», чтобы узнать подробнее состав пиццы. Я: пепперони. Бот: А не хотите ли вместо обычного теста сделать слоёное? …
79. Lowell Banking ▪ https://customers.microsoft.com/story/753060-lowell-banking- capital-markets-azure-cognitive-services ▪ Microsoft Bot Framework + Cognitive Services ▪ Локальная работа когнитивных сервисов для соответствия законодательству 60% времени сотрудников – рутинная коммуникация 40% запросов отрабатываются чат-ботом 50% 70% first-call resolution rate
80. Microsoft Bot Framework Логика бота (WebAPI в облаке) https://docs.botframework.com/
81. LUIS: Language Understanding Intelligent Service Hello! What is the temperature in Moscow today? Предложения (utterance) Намерения (intent) Greeting Weather Сущность (entity) location datetime user defined
82. https://github.com/microsoft/AzureSearch_JFK_Files
83. ВНИМАНИЕ: Онлайн- курсы! • https://aka.ms/learn_cognitive_image - Обработка и классификация изображений с помощью Azure Cognitive Vision Services • https://aka.ms/learn_cognitive_text - Оценка текста с помощью Azure Cognitive Language Services • https://aka.ms/learn_cognitive_translate - Обработка и перевод речи с помощью Azure Cognitive Speech Services
84. Text Generation Why Hedgehogs are dangerous. Abstract: In this blog post, we will scientifically prove that hedgehogs present a significant menace to the existence of the humankind. We will do so by studying their genome. Hedgehog population in last years started growing exponentially and they have been spreading all over the world. They were even spotted in Canada! This is very worrying for us humans because it means that they could become an invasive species if not controlled now. Different means of stopping hedgehog expansion were proposed: 1. Using poison gas on them 2. Putting them into cages with other animals (like rats) and shooting at them from helicopters 3. Doing CRISPR-CAS9 genetic manipulations. We will investigate which of these methods will be most effective in eliminating them, focusing on different approaches to gene editing. Previously, it has been demonstrated [1,2] that hedgehog genome closely corresponds to one of a banana. This leads us to think that the fruit is in fact the key to eliminating the hedgehogs once and for all. We propose that we systematically transform all the food that humans eat into bananas, to see how the population will respond. There is one problem, however, which we have raised in our previous work [3], and which Schwatzenbaum also notes in his essay [4]. Banans do not provide sufficient protein intake for human population, which presents a possible danger in the long term. Schwatzenbaum proposes to use wheat, which humans eat in large quantities, as a substitute.
85. Генерация текста Британские исследователи университета им. Джона Леннона в Ливерпуле на прошлой неделе закончили исследования, посвященные влиянию вируса на музыкальные предпочтения английской молодёжи. Они обнаружили, что у людей, заражённых вирусом иммунодефицита человека, музыкальные вкусы изменились. В результате, по мнению специалистов, в будущем, как минимум, половина британцев будет слушать музыку с преобладанием рок- мелодий. В исследовании принимали участие более 100 молодых британцев в возрасте от 14 до 18 лет. В результате оказалось, что среди участников эксперимента, заражённых вирусом иммунодефицита, рок-музыку слушали только 13%, а в группе, заражённой не-ВИЧ-вирусом - только 7%. По словам профессора Гарварда Майкла О'Салливана, результаты исследования говорят о том, что музыкальное развитие молодых людей в Великобритании находится в прямой зависимости от наличия у них вируса иммунодефицита человека. «Наше исследование показывает, что если у людей, заражённых вирусом иммунодефицита человека, музыка будет преобладать в жизни, то у тех, у кого его нет, она не будет иметь особого значения. И наоборот, если у молодых людей будет преобладать рок-музыка, то в будущем их музыкальные вкусы, вероятно, изменятся», - сказал профессор.
86. Enjoy Book of AI Coauthored Short Stories http://eazify.net/presentbook
87. Решаемые задачи в области анализа текстов • Кластеризация • Определение тональности текста (sentiment) • Извлечение сущностей • Классификация интентов • Семантический поиск • Машинный перевод • Генерация текстов
88. Примеры
89. Задание 2 Проблема: большое количество статей о COVID-19, медицинское сообщество не успевает читать Задача: • Придумать какое-нибудь решение проблемы без ИИ • Придумать решение проблемы с помощью ИИ Что нужно: • Предложить идею решения • Какие методы анализа текстов будем использовать? • Какие шаги надо будет предпринять для реализации и внедрения –> чем проще – тем лучше!
90. Дмитрий Сошников, Ведущий эксперт по ИИ и маш.обучению, Microsoft Доцент, МФТИ/НИУ ВШЭ/МАИ http://soshnikov.com ЧАСТЬ 4: МАШИННОЕ ОБУЧЕНИЕ
91. Машинное обучение С учителем Без учителя x x x x x Регрессия x x x о о Классификация о x x x о о Кластеризация о + + Обучение с подкреплением
92. Предсказание стоимости квартиры Комнат Площадь До метро Тип дома Стоимость 1 36 0 Панель 3.5 1 50 10 Панель 5 2 54 5 Монолит 6 2 84 20 Панель 7 3 80 5 Монолит 8 3 100 10 Монолит 10 Признаки (Xi ) Метка (Yi ) Обучающая выборка
93. Простейшее предсказание: один признак Площадь 5 x x x x x x x x x x 50 Цена Модель: Y = f(X) = aX+b Задача: Найти a и b, такие, что L(a,b) → min Ошибка: L(a,b) – сумма расстояний от всех крестиков до прямой
94. Пример: Титаник Label ---------- ---------- ---------- ---------- features ---------- ---------- -------- Логистическая регрессия Деревья решений Метод опорных векторов Нейросети Бустинг
95. Azure ML Studio Classic http://aka.ms/azmlstudio
96. Основные виды моделей Линейные Деревья решений Нейросети Машины опорных векторов Бустинг
97. Azure ML: AutoML
98. Fizzyo ▪ https://customers.microsoft.com/en-us/story/731791-fizzyo ▪ IoT + Azure Machine Learning ▪ Специальное устройство для детей для управления игрой ▪ Установление зависимости между физической активностью (FitBit) и параметрами дыхания
99. Переобучение Линейная модель, число параметров = 2 x x x x x o o o - тестовая выборка, x - обучающая Обучающая ошибка = 5.3 Проверочная ошибка = 5.1 x x x x x o o Модель 6 степени, число параметров = 7 Обучающая ошибка = 0 Проверочная ошибка = 20
100. Нейросети vs. Машинное обучение Классическое машинное обучение Нейронные сети Небольшое количество параметров Огромное количество параметров Сравнительно немного обучающих примеров Очень много обучающих примеров Необходим ручной подбор фич Автоматически подбирают фичи, исходные данные на вход Сравнительно быстрое обучение Очень ресурсоёмкое обучение (на GPU) Разделяющие поверхности специфической формы Произвольные разделяющие поверхности
101. ВНИМАНИЕ: Онлайн- курсы! • https://aka.ms/learn_azml - Создание решений искусственного интеллекта с помощью службы машинного обучения Azure • https://aka.ms/learn_datatools - Разработка решения искусственного интеллекта с помощью служб обработки и анализа данных в Azure
102. AI и искусство http://aka.ms/creative_ai
103. Матрица и опасности ИИ
104. ОПРОС: Основные опасности ИИ
105. Основные причины опасаться ИИ Мы уже живем в матрице 01 ИИ может оказаться враждебным 02 ИИ может лишить нас работы 03
106. Ответственный подход к ИИ: FATE Fairness Accountability Transparency Ethical Is anyone treated differently? Is the training data representative/relevant? Are there systems in place to detect and address potential unfairness? Is there a mechanism to feedback/challenge results? Is there ultimately a human accountable? Is the AI behaviour verifiable (in the real world)? Is it clear an AI is being used? Is the AI clear, understandable and well-described? Are inadequacies/limitations clearly shared? Does it comply with privacy laws and contain appropriate use controls? What are the societal implications (think suffering, autonomy, equality)? Are there protections against unintended behaviour? Is there human monitoring? If lives are impacted, it’s important people understand how the decision was made
107. Сингулярность
109. Правило 80/20: 80% практических задач может быть решено готовыми сервисами или AutoML Для решения задач ИИ нужны данные, их надо начать собирать заранее! 1 2 3 Искусственный интеллект – последний штрих на пути к полной цифровой трансформации
110. Microsoft AI School: https://aischool.microsoft.com Документация Microsoft Docs: https://aka.ms/ai_docs Мои контакты: http://soshnikov.com 1 2 3
111. Спасибо за онлайн-внимание! Вопросы: http://t.me/shwarsx В презентации использованы изображения следующих авторов с Unsplash: Ramón Salinero, Tom Barrett, Franck V., Daniele Levis Pelusi