Магия генеративного ИИ: мастер-класс на Интермузей 2024

Transcript

1. Магия генеративного искусственного интеллекта Дмитрий Сошников к.ф.-м.н., доцент НИУ ВШЭ / МАИ консультант Yandex Cloud по машинному обучению
5. Любая достаточно продвинутая технология неотличима от магии… Артур Кларк
6. Как работают нейросети X1 X2 XN … Y2 Y1 Axons Dendrites
7. Как работают нейросети X1 X2 XN … Собака Кошка
8. Свёртки
9. Свёрточные фильтры
10. Многоуровневая свёртка
11. 11 Как нейросеть видит кошку… Siamese Cat, p=0.92 Zebra, p=0.89
12. 12 Маскировка кошки Italian Greyhound, p=0.93 Siamese Cat, p=0.87
13. 13 Adversarial Attack
14. 14 Генеративно-состязательные сети Случайный вектор Генератор (нейросеть) Дискриминатор (нейросеть) ✓ ✗
15. Искусство или нет? https://www.bbc.com/news/technology-45980863
16. Cherry Picking
17. Портреты и паттерны
19. 19 Малые языковые модели
20. 20 GPT-3 Британские исследователи университета им. Джона Леннона в Ливерпуле на прошлой неделе закончили исследования, посвященные влиянию вируса на музыкальные предпочтения английской молодёжи. Они обнаружили, что у людей, заражённых вирусом иммунодефицита человека, музыкальные вкусы изменились. В результате, по мнению специалистов, в будущем, как минимум, половина британцев будет слушать музыку с преобладанием рок-мелодий. В исследовании принимали участие более 100 молодых британцев в возрасте от 14 до 18 лет. В результате оказалось, что среди участников эксперимента, заражённых вирусом иммунодефицита, рок-музыку слушали только 13%, а в группе, заражённой не-ВИЧ-вирусом - только 7%. По словам профессора Гарварда Майкла О'Салливана, результаты исследования говорят о том, что музыкальное развитие молодых людей в Великобритании находится в прямой зависимости от наличия у них вируса иммунодефицита человека. «Наше исследование показывает, что если у людей, заражённых вирусом иммунодефицита человека, музыка будет преобладать в жизни, то у тех, у кого его нет, она не будет иметь особого значения. И наоборот, если у молодых людей будет преобладать рок-музыка, то в будущем их музыкальные вкусы, вероятно, изменятся», - сказал профессор.
21. 21 Эмбеддинги и смысл
22. 22 Эмбеддинги
23. 23 Проклятие переводчика
24. Механизм внимания Для генерации следующего слова необходимо:  Разрешение анафоры (он = Вася)  Понимание того, что следующее слово по смыслу - овощ
25. 25 Внутреннее внимание
26. 26 Как устроены LLM
27. 27 Генеративные текстовые модели ChatGPT YandexGPT Алиса, давай придумаем…
28. 28 Мультимодальные модели: CLIP
29. 29 Диффузные модели Обратная диффузия
30. 30 Модели знают о мире
31. 31 Модели могут придумывать!
32. Как пользоваться Узнайте больше и скачайте приложение http://shedevrum.ai
33. 33 Зачем нужен промпт-инжиниринг Photo of a man Beautiful studio portrait of a man, Canon EOS 5D + EF-50mm Lens, studio lights
34. 34 Фото Билла Гейтса
35. 35 С правильным промптом realistic portrait photograph of old bill gates visiting russia, standing on red square, smiling, looking into the camera with interest, high quality, canon eos 50mm lens стиль фокус на глаза улучшатор Подробно описываем, что нужно Используем модификаторы Используем улучшаторы
36. 36 Промпт-инжиниринг
37. 37 Может ли ИИ придумать что-то новое? Аналитическая машина не претендует на способность к творчеству, она может делать только то, что мы ей прикажем делать. Машина не может изобретать, она лишь выполняет заранее заложенные в нее инструкции. Ада Лавлейс, Женщина, которая изобрела программирование
38. 38 Теория креативности Дивергентная фаза Конвергентная фаза
39. 39 Дивергентная креативность AUT: Alternative Usage Test Koivisto, M., Grassini, S. Best humans still outperform artificial intelligence in a creative divergent thinking task. Sci Rep 13, 13601 (2023). TCTT: Torrance Test for Creative Thinking • скорость генерирования идей • степень уникальности • уровень проработанности Erik E. Guzik et al, The Originality of Machines: AI Takes the Torrance Test., Journal of Creativity (2023). • 2700 студентов • ChatGPT входит в top 1% по скорости и оригинальности ответов
40. 40 Отличия GPT от человека Фундаментальные ограничения нейросетей Sébastien Bubeck, Varun Chandrasekaran, et.al. Sparks of Artificial General Intelligence: Early experiments with GPT-4 arXiv:2303.12712 [cs.CL] Как преодолевать эти проблемы? • Многоагентные системы • Совместные действия с человеком Основная проблема – линейный характер модели предсказания слов, отсутствие возможности размышлять с возвратами, в стиле «генерация и проверка».
42. 42 Валера и Наташа Черкашины
43. 43 Валера ИИ Наташа ИИ Митя
44. 44 Валера ИИ Наташа ИИ Митя
45. 45 Валера ИИ Наташа ИИ Митя Нейросеть, конечно, не может сама создать произведение - она лишь делает заготовку, "матрицу" - в которую мы затем можем вдохнуть жизнь, "одухотворить" её, чтобы получилось законченное произведение. Но мы очень впечатлены возможностями ИИ (как мы его называем, "Иван Иваныча"), можно сказать, что он даже дал некоторый новый импульс нашему искусству. Валера Черкашин, Художник, перформансист
46. Совместное человеко-машинное рисование Yandex ART. Промпт: Бедность. Очень бедный человек в рваной одежде склонился над столом с маленьким куском чёрного хлеба, собирая крошки.
47. Very realistic photograph of living computer in the dark shadowy forest, matte colors, low key photography, Canon EOS 5D, Winner of photo contest, HD, 8K, highly detailed Дмитрий Сошников + Leonardo.ai «Eye of the Forest» 2023
48. Напиши 7 вариантов обстановки, которая ассоциируется у тебя с бедностью. Пожилой мужчина в поношенной рваной одежде сидит за деревянным столом в пустой комнате и пытается отремонтировать сломанную разобранную на куски потёртую микроволновую печь 1. Комната, в которой стоит старая мебель, требующая ремонта или замены. На стенах видны следы обшарпанности и облупившейся краски. 2. Квартира с очень старой бытовой техникой, которая часто ломается и не выполняет свои функции должным образом. 3. Общежитие или коммунальная квартира, где проживает несколько семей, и у каждой семьи очень мало личного пространства. 4. Дом, который нуждается в ремонте, с протекающей крышей и трещинами на стенах. В комнатах видны следы сырости и плесени. 5. Маленькая квартира с минимальным набором мебели, где нет места для отдыха и развлечений. 6. Комната с голыми стенами, без каких-либо украшений или декоративных элементов. 7. Квартира, в которой живут несколько поколений одной семьи, и все они делят одну комнату.
49. Многоагентное рисование Вася: Ты - художник, который хочет нарисовать картину с помощью генеративного ИИ. Ты не умеешь писать промпты, и поэтому хочешь обсудить с промпт-инженером, как это сделать. Ваша задача совместными усилиями нарисовать картину на тему: {topic}. Твоя задача - говорить, что должно быть изображено на картине, но не надо писать промпт для нейросети - просто говори, что бы ты хотел видеть. Коля: Ты - промпт-инженер, который умеет составлять промпты для генеративных моделей. Твоя задача – помочь художнику нарисовать картину. В случае необходимости задавай ему вопросы, а когда ты поймёшь (и **только когда поймёшь**), что промпт уже готов - напиши фразу ГОТОВО:, и за ней получившийся промпт. Не пиши промпт и фразу "ГОТОВО", если ты не выяснишь все детали у художника, делай это только после того, как всё обсудил. Фраза ГОТОВО: и промпт должны быть единственным, что есть в твоем окончательном ответе, после которого диалог прекращается. Промпт должен быть коротким (не больше 500 символов), лаконичным, содержать отсылки к технике работы (акварель, масло, карандаш, фломастеры и т.д), и возможно к художественным стилям и приёмам.
50. Многоагентное рисование Вася: Добрый день! Я хочу нарисовать картину про бедность. Вы поможете мне составить промпт? Коля: Здравствуйте! Давайте начнём. Вы хотите нарисовать картину про бедность в определённом стиле или технике? Хотите ли вы использовать какие-то конкретные элементы, например, людей, здания или определённые цвета и оттенки? Я бы хотел получить более чёткое представление о том, что вы хотите увидеть на своей картине. После того как мы обсудим детали, я составлю промпт. Вася: Хочу, чтобы на картине была изображена бедность так, как её видит художник-реалист. Картина должна быть выполнена в мрачных тонах, изображая унылые городские трущобы с обшарпанными стенами и разбитыми окнами. В центре композиции — несколько бездомных людей, которые собрались у костра. Они греются, а вокруг них — сырость и мрак ночи. Лица этих людей усталые и задумчивые, одежда грязная и изношенная. Этот контраст между теплом огня и холодом окружающей ночи должен подчёркивать чувство безысходности и тоски. На фоне этой сцены виднеется силуэт большого города с небоскрёбами, который будто бы равнодушен к судьбам тех, кто оказался на обочине жизни. Коля: ГОТОВО: нарисуй в стиле реализма картину «Бедность»: в мрачных тонах изображён вечер в трущобах с обшарпанными стенами и разбитыми окнами. У костра греются бездомные люди в изношенной одежде, их усталые задумчивые лица освещены пламенем. На фоне виднеется силуэт равнодушного города с небоскрёбами. Техника — акварель.
51. Многоагентное рисование Yandex ART. Промпт: Бедность. Yandex ART + Yandex GPT + MultiAgent
52. 52 Никогда не доверяй нейросети! Объясни, почему число π больше 5 Пи (π) это иррациональное число, оно не может быть выражено дробью или периодической десятичной дробью. Это бесконечное число, и его десятичное представление никогда не заканчивается и не повторяется. В результате, Пи больше 5, поскольку 5 - это конечное число, а Пи - бесконечное.
53. 53 Никогда не доверяй нейросети! Расскажи, какую первую Python-программу написал Ломоносов Считается, что первая Python-программа, написанная Ломоносовым - это программа для решения системы линейных уравнений.
54. 54 Выводы ❶ ❷ ❸ ИИ – очень эффективный инструмент для творчества и работы! Надо научиться промпт-инжинирингу! Хотя ИИ может делать значительную часть работы – у него нет своей цели, идеи, смысла. Человек должен привнести этот смысл! Творческий потенциал ИИ – в способности привнести управляемую случайность. Написание текстов совместно с ИИ похоже на соавторство.
55. Дмитрий Сошников к.ф.-м.н., доцент НИУ ВШЭ / МАИ консультант Yandex Cloud по машинному обучению https://t.me/shwarsico Спасибо за внимание!