Магия генеративного ИИ: Как он работает и как говорить с ним на одном языке

Презентация с мероприятия https://events.kommersant.ru/events/troe-v-chate-ne-schitaya-gpt-kak-generativnyj-ii-dopolnyaet-korporativnye-kommunikaczii

Transcript

1. Магия генеративного ИИ Дмитрий Сошников к.ф.-м.н., доцент, НИУ ВШЭ/МАИ Тех.руководитель лаборатории генеративного ИИ Школы дизайна НИУ ВШЭ, ex-Microsoft http://soshnikov.com – http://t.me/shwarsico как он работает и как говорить с ним на одном языке
7. Созерцатель, седовласый старец, сидит, скрестив ступни, средь столетних сосен. Сумерки сгущаются, сотворяя синеватые силуэты. Сторож старинной сказочной сторожки смотрит, словно святой. Слабый свист соловья соскальзывает со стволов, созидая странную симфонию. Старец схватывает старинный свиток, содержащий секретный соблазнительный соус. Сбирает сочные стрючки, сельдерей, спаржу, сладкий салат-латук, спелые сливки. Следом старец спешит к ставку, стараясь сачком словить серебристых судаков - способ славных соплеменников. Солнце садится, уносит сиреневатый ствол сияния. Сумрак сгущается, создает синеватые силуэты строгих стволов. Старик сворачивается в старинном сундуке. Светозарное солнышко справляло свой сабантуй, светило сказочно светло, сияло самозабвенно. Самоцветно синела садовая сирень, старались сладкоголосые соловьи, стрекотали стрекозы, строилось ситро, сахарился сладкий сливовый сироп. Серебристым симпатичным смехом синхронно смеялись совершенно счастливые супруги. Седовласая стерлядь скандировала стройные строфы сонета. Солнце стало склоняться севернее, сгущались сизые сумерки. Смеркалось. - Сукин сын! Слюнтяй! Солдафон! Стервец! - сказала сому строгая солёная святейшая селёдка, сиротливо скучавшая среди салаки, скумбрии, сёмги. - Сама скотина, склочница, симулянтка! Свинские слова слышу! - смачно сплюнув, свирепо сказала сумасбродной соседке седоусая сметливая свежепросоленная сардинка, спокойно спавшая среди сетей.
8. Любая достаточно продвинутая технология неотличима от магии… Артур Кларк
9. Тест Тьюринга 1966 2014 2021 GPT-3 ELIZA - Расскажите мне о вашей семье - Мой отец заботится обо мне - Кто ещё из вашей семьи заботится о вас? - Моя мать - Ваша мать? Eugene Goostman 2012 Нейросетевая революция
10. GPT-3 Британские исследователи университета им. Джона Леннона в Ливерпуле на прошлой неделе закончили исследования, посвященные влиянию вируса на музыкальные предпочтения английской молодёжи. Они обнаружили, что у людей, заражённых вирусом иммунодефицита человека, музыкальные вкусы изменились. В результате, по мнению специалистов, в будущем, как минимум, половина британцев будет слушать музыку с преобладанием рок-мелодий. В исследовании принимали участие более 100 молодых британцев в возрасте от 14 до 18 лет. В результате оказалось, что среди участников эксперимента, заражённых вирусом иммунодефицита, рок-музыку слушали только 13%, а в группе, заражённой не-ВИЧ-вирусом - только 7%. По словам профессора Гарварда Майкла О'Салливана, результаты исследования говорят о том, что музыкальное развитие молодых людей в Великобритании находится в прямой зависимости от наличия у них вируса иммунодефицита человека. «Наше исследование показывает, что если у людей, заражённых вирусом иммунодефицита человека, музыка будет преобладать в жизни, то у тех, у кого его нет, она не будет иметь особого значения. И наоборот, если у молодых людей будет преобладать рок-музыка, то в будущем их музыкальные вкусы, вероятно, изменятся», - сказал профессор.
11. Как могла бы быть устроена генерация… Мой дядя самых честных правил… Дядя самых (p=0.12) Ваня (p=0.09) … Проект объёмный, над ним работает несколько технологов. Чтобы посетители не вытоптали остатки леса, за заграждения заходить нельзя. Они как бы ограничивают распространение изменений. Мы пишем такие «переходники», которые делают опасное вождение неудобным.
12. Как работают нейросети X1 X2 XN … Y2 Y1 Axons Dendrites
13. Распознавание изображений X1 X2 XN … Dog 1 0 Cat min
14. Сети для распознавания образов This Photo by Unknown Author is licensed under CC BY-SA
15. Нейросети для естественного языка Я люблю играть в Футбол 0.34 Шашки 0.12 Огурец 0.00
17. Машинный перевод и его проблемы I was angry before, but now I am fine 0 Я был зол но теперь всё хорошо <eos>
18. Механизм внимания I was angry before, but now I am fine 0 Я был зол но теперь всё хорошо <eos> Контекст
19. Внешнее и внутреннее внимание The animal didn’t cross the street because it was too tired The animal didn’t cross the street because it was too wide
20. GPT Контекст …. 0,01 во 0,21 программирования 0,03 Из 0,00 колбаса 0,01 индейцев 0,10 на 0,07 который 0,00 кефир Я хочу рассказать тебе о самом лучшем языке
21. Переведи с русского на английский: собака => dog Переведи с русского на английский: птица => bird кошка => cat собака => dog Zero-Shot Few-Shot Пожалуйста, ответь на вопрос ребенка в похожем стиле, продолжив диалог: [Ребенок]: Расскажи мне о терпеливости. [Родитель]: Терпеливость - это как бесконечная река, которая течет сквозь равнины, и никогда не заканчивается. Этой реке никогда не надоедает течь, потому что она всегда спокойна и умиротворена. [Ребенок]: Расскажи мне об искренности. [Родитель]: Искренность - это как маленький ручеек, который пробивает себе дорогу через камни и препятствия. Искренность не боится препятствий, она просто продолжает течь, и в конце концов преодолевает все трудности.
22. Диалоговые vs. Генеративные модели When were computers invented? The first electronic digital computer, called the Electronic Numerical Integrator and Computer (ENIAC), was developed by J. Presper Eckert and John Mauchly in the United States in 1945. However, the concept of a programmable machine dates back to the early 1800s, with the development of Charles Babbage's Difference Engine and Analytical Engine. These were mechanical machines that were designed to perform mathematical calculations, but they were never fully completed during Babbage's lifetime. What was the first computer? What was the first computer program?
23. Как учили ChatGPT Base LLM GPT-3.5 Instruct GPT ChatGPT Весь интернет + ещё немного Вопрос-ответные пары Рейтинг ответов модели Fine-Tuning RLHF
24. Как строится диалог. Контекст. Prompt Ч: Ты разумна? LLM Продолжение ИИ: Да Prompt Ч: Ты разумна? ИИ: Да H: Почему ты так думаешь? LLM 4096- 200K
25. Первое правило промпт-инжиниринга Никому не рассказывать про промпт-инжиниринг Если с первого раза не получился хороший результат – не отчаиваться. Почти всегда нужно несколько попыток, чтобы подобрать идеальный промпт.
26. Пример Напиши описание игрушки-самолёта для каталога. Игрушка-самолет - это отличный выбор для тех, кто любит приключения и путешествия. Этот яркий и красочный самолет выполнен из качественных материалов, которые безопасны для детей. Он оснащен вращающимися пропеллерами, которые создают реалистичный звук двигателя, и светящимися огнями, которые делают игру еще более увлекательной. Игрушка-самолет может летать на большие расстояния и выполнять различные трюки в воздухе, что позволяет детям развивать свои навыки управления и координации движений. Кроме того, эта игрушка-самолет легко управляется с помощью пульта дистанционного управления, что делает ее идеальным подарком для детей любого возраста.
27. Пример Ты – опытный маркетолог в премиальном магазине игрушек. Сгенерируй описание игрушки длинною в два абзаца текста, по приведённым ниже в тройных обратных кавычках данным, ориентированное на пятилетнего ребенка. ``` Название: супер-самолёт Материал: пластмасса Стоимость: 250 р. Возраст: 5+ ``` Привет, малыш! Я хочу рассказать тебе о супер-самолёте, который ты можешь купить в нашем магазине. Этот самолёт сделан из пластмассы, что делает его очень прочным и безопасным для игры. Ты можешь летать на нём по всей комнате и представлять себя настоящим пилотом! А ещё, знаешь что? Этот самолёт стоит всего 250 рублей! Это очень доступная цена для такой классной игрушки. Ты можешь играть с ним каждый день и не переживать о том, что он сломается или потеряется.
28. Структура промпта Элемент промпта Пример Начальная установка Ты – опытный маркетолог в премиальном магазине игрушек., Задание Сгенерируй описание игрушки для каталога Длина результата длинною в два абзаца текста, Использование ограничителей по приведённым ниже в тройных обратных кавычках данным Целевая аудитория / стиль ориентированное на пятилетнего ребенка. Формат результата Сформируй результат в формате HTML ДЕМО
29. Приёмы промпт-инжиниринга Sondos Mahmoud Bsharat, Aidar Myrzakhan, Zhiqiang Shen. Principled Instructions Are All You Need for Questioning LLaMA-1/2, GPT-3.5/4. arXiv:2312.16171 [cs.CL]
30. Chain-of-Thought / «Опиши как ты это делаешь» Твоя задача - решать школьные задачки по математике. Задача 1: У Маши было 6 яблок, у Коли - на 4 больше, в у Насти - в два раза меньше, чем у Маши и у Коли вместе. Сколько всего яблок было у всех детей вместе? Ответ: 24. Задача 2: У Олега была одна конфета, у Оли - в два раза больше, а у Сергея - столько же, сколько у Олега и Оли. Сколько конфет у всех детей? Ответ: 1 Твоя задача - решать школьные задачки по математике. Задача 1: У Маши было 6 яблок, у Коли - на 4 больше, в у Насти - в два раза меньше, чем у Маши и у Коли вместе. Сколько всего яблок было у всех детей вместе? Решение: У Маши 6 яблок, у Коли - на 4 яблока больше, т.е. 10 яблок. У Маши и Коли вместе 16 яблок. У Насти - в два раза меньше, т.е. 8 яблок. Всего яблок 16+8=24. Ответ: 24 Задача 2: У Олега была одна конфета, у Оли - в два раза больше, а у Сергея - столько же, сколько у Олега и Оли. Сколько конфет у всех детей? Решение: У Оли в два раза больше конфет, чем у Олега, т.е. 2*1=2 конфеты. У Сергея столько же, сколько у Олега и Оли, т.е. 1+2=3 конфеты. Всего конфет 1+2+3=6. Few-Shot Prompting Few-Shot + CoT Prompting
31. Engineering Prompt http://eazify.net/prompteng
32. Как относиться к GPT GPT не испытывает эмоций Но его можно хвалить GPT не помнит весь интернет GPT похож на неопытного подростка, который много читал
33. Основные задачи, решаемые LLM Трансформация текста Суммаризация / антисуммаризация Тональная трансформация текста Перевод на другой язык Извлечение данных и генерация по данным Ответы по тексту GPT-плагины для доступа в интернет Интеллектуальные поисковые системы Мозговой штурм
34. Приём: извлечение данных из текста У меня есть список отзывов из ресторанов. Пожалуйста, сформируй таблицу, в которой для каждого отзыва напиши: * Название ресторана * Оценку его позитивности или негативности по шкале -5..5 * Общую оценку: позитивный он или негативный * Оценка кухни ресторана: от 0 до 5 * Оценка обслуживания ресторана: от 0 до 5 * Список позитивных моментов * Список негативных моментов Вот список отзывов: * Я был а Макдональдсе четыре раза, и каждый раз это было удивительно! Столько вкусов мороженого я никогда не пробовал! И все официантки за кассой очень молодые и симпатичные! * Бургер кинг - ужасное заведение! Я очень долго ждал, пока заказ приготовится. При этом бургер был жестким, и соус немного отдавал машинным маслом. Никогда больше туда не приду! * Я слышал, что в Макдональдсе котлеты готовят из костей животных, и сегодня я в этом убедился сам! В котлете попалось что-то жесткое, и я чуть не сломал зуб! * Хочу выразить благодарность сотрудникам "Чебуречная №1" - мы прекрасно отметили там мой день рождения! Официант Игорь был очень услужлив, и даже зажег свечку, воткнутую в чебурек, чтобы мы могли отметить день рождения! Их квас выше всех похвал!
35. Результаты Название ресторана Общая оценка Словом Оценка кухни Оценка обслуживания Позитивные моменты Негативные моменты Макдональдс 5 Позитивный 5 5 Вкусов мороженого, молодые и симпатичные официантки - Бургер Кинг -5 Негативный 1 1 - Долгое ожидание, жесткий бургер, соус с привкусом машинного масла Макдональдс -3 Негативный 2 3 - Жесткое что-то в котлете, риск сломать зуб Чебуречная №1 5 Позитивный 5 5 Услужливый официант Игорь, зажигание свечки в чебуреке, высоко оцененный квас - Чебуречная №1 3 Позитивный 4 4 Вкусные чебуреки, особенно с сыром, неплохой морс Холодный борщ, маленькие куски мяса, отсутствие кваса Пивбар 4 Позитивный - 5 Красивые официантки, особенно Оля -
36. Генерация диаграмм По этой таблице сгенерируй две круговых диаграммы с количеством позитивных и негативных отзывов по кухне и по обслуживанию. Позитивные отзывы - это те, у которых балл больше 3.
37. Теория креативности Дивергентная фаза X Конвергентная фаза
38. А что насчет креативности? Придумайте 10 необычных и разнообразных способов использовать куриные яйца не по назначению (не в пищу)
39. Естественный удобритель – раздробленные скорлупы яиц можно использовать в качестве кальциевого удобрения для садовых растений. Основа для декора – чистые скорлупы яиц можно окрашивать, лакировать и использовать для создания мелких декоративных элементов, например, ваз для миниатюрных цветов или небольших пасхальных поделок. Чистящее средство – измельченная скорлупа, смешанная с немного воды, хорошо подходит для чистки труднодоступных мест или предметов с шероховатой поверхностью, например, грязной посуды. Средство от вредителей – рассыпанная вокруг растений измельченная скорлупа яиц может отпугивать некоторых вредителей, таких как слизни и улитки. Наполнитель для подушек – тонко измельченная скорлупа яиц может быть использована как один из компонентов наполнителя для декоративных подушек. Компонент для изготовления мозаики – использование фрагментов скорлупы в качестве мозаичных камней при создании картин или украшений. Основа для миниатюрных садов – половинки скорлупы можно использовать как контейнеры для выращивания мелких растений или трав. Плавающие свечи – половинки чистых скорлуп можно заполнить воском и фитилем, создав оригинальные плавающие свечи для украшения водоемов или ванны. Упаковочный материал – измельченная скорлупа может служить защитным буферным материалом при упаковке хрупких предметов. Натуральная косметика – порошок из скорлупы яиц можно использовать в домашних скрабах для лица или тела, благодаря его абразивным свойствам.
40. Дивергентная креативность AUT: Alternative Usage Test Koivisto, M., Grassini, S. Best humans still outperform artificial intelligence in a creative divergent thinking task. Sci Rep 13, 13601 (2023). TCTT: Torrance Test for Creative Thinking • скорость генерирования идей • степень уникальности • уровень проработанности Erik E. Guzik et al, The Originality of Machines: AI Takes the Torrance Test., Journal of Creativity (2023). • 2700 студентов • ChatGPT входит в top 1% по скорости и оригинальности ответов
41. Отличие ChatGPT от человека Фундаментальные ограничения нейросетей Sébastien Bubeck, Varun Chandrasekaran, et.al. Sparks of Artificial General Intelligence: Early experiments with GPT-4 arXiv:2303.12712 [cs.CL] Основная проблема – линейный характер модели предсказания слов, отсутствие возможности размышлять с возвратами, в стиле «генерация и проверка». Как преодолевать эти проблемы? • Многоагентные системы • Совместные действия с человеком
42. Совместная работа человека и ИИ!
43. Лаборатория искусственной пьесы (ММОМА)
44. Никогда не доверяй нейросети! Объясни, почему число π больше 5 Пи (π) это иррациональное число, оно не может быть выражено дробью или периодической десятичной дробью. Это бесконечное число, и его десятичное представление никогда не заканчивается и не повторяется. В результате, Пи больше 5, поскольку 5 - это конечное число, а Пи - бесконечное.
45. Выводы: ❶ ❷ ❸ ИИ – очень эффективный инструмент для творчества и работы! Надо научиться промпт- инжинирингу! Хотя ИИ может делать значительную часть работы – у него нет своей цели, идеи, смысла. Человек должен привнести этот смысл! Творческий потенциал ИИ – в способности привнести управляемую случайность. Написание текстов совместно с ИИ похоже на соавторство.
46. http://soshnikov.com http://t.me/shwarsico http://vk.com/shwars