Tweet
Tweet

Slide 1

Slide 1 text

Магия генеративного искусственного интеллекта Дмитрий Сошников к.ф.-м.н., доцент НИУ ВШЭ / МАИ консультант Yandex Cloud по машинному обучению

Slide 2

Slide 2 text

No content

Slide 3

Slide 3 text

3

Slide 4

Slide 4 text

4

Slide 5

Slide 5 text

Любая достаточно продвинутая технология неотличима от магии… Артур Кларк

Slide 6

Slide 6 text

Как работают нейросети X1 X2 XN … Y2 Y1 Axons Dendrites

Slide 7

Slide 7 text

Как работают нейросети X1 X2 XN … Собака Кошка

Slide 8

Slide 8 text

Свёртки

Slide 9

Slide 9 text

Свёрточные фильтры

Slide 10

Slide 10 text

Многоуровневая свёртка

Slide 11

Slide 11 text

11 Как нейросеть видит кошку… Siamese Cat, p=0.92 Zebra, p=0.89

Slide 12

Slide 12 text

12 Маскировка кошки Italian Greyhound, p=0.93 Siamese Cat, p=0.87

Slide 13

Slide 13 text

13 Adversarial Attack

Slide 14

Slide 14 text

14 Генеративно-состязательные сети Случайный вектор Генератор (нейросеть) Дискриминатор (нейросеть) ✓ ✗

Slide 15

Slide 15 text

Искусство или нет? https://www.bbc.com/news/technology-45980863

Slide 16

Slide 16 text

Cherry Picking

Slide 17

Slide 17 text

Портреты и паттерны

Slide 18

Slide 18 text

No content

Slide 19

Slide 19 text

19 Малые языковые модели

Slide 20

Slide 20 text

20 GPT-3 Британские исследователи университета им. Джона Леннона в Ливерпуле на прошлой неделе закончили исследования, посвященные влиянию вируса на музыкальные предпочтения английской молодёжи. Они обнаружили, что у людей, заражённых вирусом иммунодефицита человека, музыкальные вкусы изменились. В результате, по мнению специалистов, в будущем, как минимум, половина британцев будет слушать музыку с преобладанием рок-мелодий. В исследовании принимали участие более 100 молодых британцев в возрасте от 14 до 18 лет. В результате оказалось, что среди участников эксперимента, заражённых вирусом иммунодефицита, рок-музыку слушали только 13%, а в группе, заражённой не-ВИЧ-вирусом - только 7%. По словам профессора Гарварда Майкла О'Салливана, результаты исследования говорят о том, что музыкальное развитие молодых людей в Великобритании находится в прямой зависимости от наличия у них вируса иммунодефицита человека. «Наше исследование показывает, что если у людей, заражённых вирусом иммунодефицита человека, музыка будет преобладать в жизни, то у тех, у кого его нет, она не будет иметь особого значения. И наоборот, если у молодых людей будет преобладать рок-музыка, то в будущем их музыкальные вкусы, вероятно, изменятся», - сказал профессор.

Slide 21

Slide 21 text

21 Эмбеддинги и смысл

Slide 22

Slide 22 text

22 Эмбеддинги

Slide 23

Slide 23 text

23 Проклятие переводчика

Slide 24

Slide 24 text

Механизм внимания Для генерации следующего слова необходимо:  Разрешение анафоры (он = Вася)  Понимание того, что следующее слово по смыслу - овощ

Slide 25

Slide 25 text

25 Внутреннее внимание

Slide 26

Slide 26 text

26 Как устроены LLM

Slide 27

Slide 27 text

27 Генеративные текстовые модели ChatGPT YandexGPT Алиса, давай придумаем…

Slide 28

Slide 28 text

28 Мультимодальные модели: CLIP

Slide 29

Slide 29 text

29 Диффузные модели Обратная диффузия

Slide 30

Slide 30 text

30 Модели знают о мире

Slide 31

Slide 31 text

31 Модели могут придумывать!

Slide 32

Slide 32 text

Как пользоваться Узнайте больше и скачайте приложение http://shedevrum.ai

Slide 33

Slide 33 text

33 Зачем нужен промпт-инжиниринг Photo of a man Beautiful studio portrait of a man, Canon EOS 5D + EF-50mm Lens, studio lights

Slide 34

Slide 34 text

34 Фото Билла Гейтса

Slide 35

Slide 35 text

35 С правильным промптом realistic portrait photograph of old bill gates visiting russia, standing on red square, smiling, looking into the camera with interest, high quality, canon eos 50mm lens стиль фокус на глаза улучшатор Подробно описываем, что нужно Используем модификаторы Используем улучшаторы

Slide 36

Slide 36 text

36 Промпт-инжиниринг

Slide 37

Slide 37 text

37 Может ли ИИ придумать что-то новое? Аналитическая машина не претендует на способность к творчеству, она может делать только то, что мы ей прикажем делать. Машина не может изобретать, она лишь выполняет заранее заложенные в нее инструкции. Ада Лавлейс, Женщина, которая изобрела программирование

Slide 38

Slide 38 text

38 Теория креативности Дивергентная фаза Конвергентная фаза

Slide 39

Slide 39 text

39 Дивергентная креативность AUT: Alternative Usage Test Koivisto, M., Grassini, S. Best humans still outperform artificial intelligence in a creative divergent thinking task. Sci Rep 13, 13601 (2023). TCTT: Torrance Test for Creative Thinking • скорость генерирования идей • степень уникальности • уровень проработанности Erik E. Guzik et al, The Originality of Machines: AI Takes the Torrance Test., Journal of Creativity (2023). • 2700 студентов • ChatGPT входит в top 1% по скорости и оригинальности ответов

Slide 40

Slide 40 text

40 Отличия GPT от человека Фундаментальные ограничения нейросетей Sébastien Bubeck, Varun Chandrasekaran, et.al. Sparks of Artificial General Intelligence: Early experiments with GPT-4 arXiv:2303.12712 [cs.CL] Как преодолевать эти проблемы? • Многоагентные системы • Совместные действия с человеком Основная проблема – линейный характер модели предсказания слов, отсутствие возможности размышлять с возвратами, в стиле «генерация и проверка».

Slide 41

Slide 41 text

No content

Slide 42

Slide 42 text

42 Валера и Наташа Черкашины

Slide 43

Slide 43 text

43 Валера ИИ Наташа ИИ Митя

Slide 44

Slide 44 text

44 Валера ИИ Наташа ИИ Митя

Slide 45

Slide 45 text

45 Валера ИИ Наташа ИИ Митя Нейросеть, конечно, не может сама создать произведение - она лишь делает заготовку, "матрицу" - в которую мы затем можем вдохнуть жизнь, "одухотворить" её, чтобы получилось законченное произведение. Но мы очень впечатлены возможностями ИИ (как мы его называем, "Иван Иваныча"), можно сказать, что он даже дал некоторый новый импульс нашему искусству. Валера Черкашин, Художник, перформансист

Slide 46

Slide 46 text

Совместное человеко-машинное рисование Yandex ART. Промпт: Бедность. Очень бедный человек в рваной одежде склонился над столом с маленьким куском чёрного хлеба, собирая крошки.

Slide 47

Slide 47 text

Very realistic photograph of living computer in the dark shadowy forest, matte colors, low key photography, Canon EOS 5D, Winner of photo contest, HD, 8K, highly detailed Дмитрий Сошников + Leonardo.ai «Eye of the Forest» 2023

Slide 48

Slide 48 text

Напиши 7 вариантов обстановки, которая ассоциируется у тебя с бедностью. Пожилой мужчина в поношенной рваной одежде сидит за деревянным столом в пустой комнате и пытается отремонтировать сломанную разобранную на куски потёртую микроволновую печь 1. Комната, в которой стоит старая мебель, требующая ремонта или замены. На стенах видны следы обшарпанности и облупившейся краски. 2. Квартира с очень старой бытовой техникой, которая часто ломается и не выполняет свои функции должным образом. 3. Общежитие или коммунальная квартира, где проживает несколько семей, и у каждой семьи очень мало личного пространства. 4. Дом, который нуждается в ремонте, с протекающей крышей и трещинами на стенах. В комнатах видны следы сырости и плесени. 5. Маленькая квартира с минимальным набором мебели, где нет места для отдыха и развлечений. 6. Комната с голыми стенами, без каких-либо украшений или декоративных элементов. 7. Квартира, в которой живут несколько поколений одной семьи, и все они делят одну комнату.

Slide 49

Slide 49 text

Многоагентное рисование Вася: Ты - художник, который хочет нарисовать картину с помощью генеративного ИИ. Ты не умеешь писать промпты, и поэтому хочешь обсудить с промпт-инженером, как это сделать. Ваша задача совместными усилиями нарисовать картину на тему: {topic}. Твоя задача - говорить, что должно быть изображено на картине, но не надо писать промпт для нейросети - просто говори, что бы ты хотел видеть. Коля: Ты - промпт-инженер, который умеет составлять промпты для генеративных моделей. Твоя задача – помочь художнику нарисовать картину. В случае необходимости задавай ему вопросы, а когда ты поймёшь (и **только когда поймёшь**), что промпт уже готов - напиши фразу ГОТОВО:, и за ней получившийся промпт. Не пиши промпт и фразу "ГОТОВО", если ты не выяснишь все детали у художника, делай это только после того, как всё обсудил. Фраза ГОТОВО: и промпт должны быть единственным, что есть в твоем окончательном ответе, после которого диалог прекращается. Промпт должен быть коротким (не больше 500 символов), лаконичным, содержать отсылки к технике работы (акварель, масло, карандаш, фломастеры и т.д), и возможно к художественным стилям и приёмам.

Slide 50

Slide 50 text

Многоагентное рисование Вася: Добрый день! Я хочу нарисовать картину про бедность. Вы поможете мне составить промпт? Коля: Здравствуйте! Давайте начнём. Вы хотите нарисовать картину про бедность в определённом стиле или технике? Хотите ли вы использовать какие-то конкретные элементы, например, людей, здания или определённые цвета и оттенки? Я бы хотел получить более чёткое представление о том, что вы хотите увидеть на своей картине. После того как мы обсудим детали, я составлю промпт. Вася: Хочу, чтобы на картине была изображена бедность так, как её видит художник-реалист. Картина должна быть выполнена в мрачных тонах, изображая унылые городские трущобы с обшарпанными стенами и разбитыми окнами. В центре композиции — несколько бездомных людей, которые собрались у костра. Они греются, а вокруг них — сырость и мрак ночи. Лица этих людей усталые и задумчивые, одежда грязная и изношенная. Этот контраст между теплом огня и холодом окружающей ночи должен подчёркивать чувство безысходности и тоски. На фоне этой сцены виднеется силуэт большого города с небоскрёбами, который будто бы равнодушен к судьбам тех, кто оказался на обочине жизни. Коля: ГОТОВО: нарисуй в стиле реализма картину «Бедность»: в мрачных тонах изображён вечер в трущобах с обшарпанными стенами и разбитыми окнами. У костра греются бездомные люди в изношенной одежде, их усталые задумчивые лица освещены пламенем. На фоне виднеется силуэт равнодушного города с небоскрёбами. Техника — акварель.

Slide 51

Slide 51 text

Многоагентное рисование Yandex ART. Промпт: Бедность. Yandex ART + Yandex GPT + MultiAgent

Slide 52

Slide 52 text

52 Никогда не доверяй нейросети! Объясни, почему число π больше 5 Пи (π) это иррациональное число, оно не может быть выражено дробью или периодической десятичной дробью. Это бесконечное число, и его десятичное представление никогда не заканчивается и не повторяется. В результате, Пи больше 5, поскольку 5 - это конечное число, а Пи - бесконечное.

Slide 53

Slide 53 text

53 Никогда не доверяй нейросети! Расскажи, какую первую Python-программу написал Ломоносов Считается, что первая Python-программа, написанная Ломоносовым - это программа для решения системы линейных уравнений.

Slide 54

Slide 54 text

54 Выводы ❶ ❷ ❸ ИИ – очень эффективный инструмент для творчества и работы! Надо научиться промпт-инжинирингу! Хотя ИИ может делать значительную часть работы – у него нет своей цели, идеи, смысла. Человек должен привнести этот смысл! Творческий потенциал ИИ – в способности привнести управляемую случайность. Написание текстов совместно с ИИ похоже на соавторство.

Slide 55

Slide 55 text

Дмитрий Сошников к.ф.-м.н., доцент НИУ ВШЭ / МАИ консультант Yandex Cloud по машинному обучению https://t.me/shwarsico Спасибо за внимание!