Як краще створювати код за допомогою LLM (v5 - НаУКМА)

🗓 28 лютого🕗 16:00 - 20:30

🗒 Ви дізнаєтесь:

- Що таке LLM тобто Велика Модель Мови та як працюють такі сервіси як ChatGPT, Claude, Gemini
- Особливості використання LLM в цілому та для програмування. Phind модель
- Тонкощі створення кращіх запитів (prompt engineering)
- (практична частина) Розробка запитів для роботи з даними та кодом на HTML/Python/JavaScript. Застосунок Cursor

🗣Ведучий: Дан Воронов @dan_voronov - незалежний розробник стартапу Walkbots tours. Постійно використовує LLM у роботі над своїми проектами.

На лекцію, яка з 16:00 до 19:00, можно приходити без ноутбука. 🛑 Важливо: на практикум дійсно потрібен 💻 ноутбук, на якому ми будемо працювати з LLM та зробимо простий проект (рівень початковий, безкоштовні інструменти).

Участь безкоштовна.

Transcript

1. Як краще створювати код за допомогою LLM НаУКМА 28-02-2024 16:00-20:30 Дан Воронов
2. ChatGPT 3.5 --> Claude 2 --> Cursor AI --> Phind --> Github Copilot (новий) --> ChatGPT 4 (новий) --> Phind + Cody Дан Воронов Про мене 🙂
3. Навчитися порівнювати та вибирати під свої потреби ШІ системи роботи з кодом мета
4. початковий рівень безкоштовні інструменти 60 60 15 хв перерва 7 хв перерва 60 зайду у чат + 20 хв порозмовляти 💻
5. 🎆 питання?
7. людина:запит -> результат застосунок -> інтерфейс програмісти+ко мови программування довго дорого навчати Кінець програмуванню The End of Programming
8. Harvard: Large Language Models and The End of Programming https://youtu.be/JhCl-GeT4jw Dr. Matt Welsh жовтень 2023
10. Інженера Google відсторонили після того, як він сказав, що штучний інтелект чат-бота став самосвідомим червень 2022 модель LaMDA Ефект Елайзи
11. https://www.youtube.com/watch?v=3wLqsRLvV-c Алан Тюрінг 1912-1954 1980 стаття Джона Серля «Minds, Brains, and Programs» аргумент китайської кімнати AI as a Tool, Not a Replacement Штучний інтелект як інструмент, а не заміна Розмовляє як людина? ? за інструкцією Критика що ШІ може "розуміти" або "мислити"
12. “Що робить нас людьми: штучний інтелект відповідає на найбільші питання життя”
14. 🎆 які LLM ви використовували?
15. GitHub Copilot - один з перших реальних продуктів, що базуються на великих мовних моделях (LLM) 5 липня 2022 коментарі-у-код
16. 7 лютого 2023 26 вересня 2023 PRO 20$ 30$ Github copilot: 21 червня 2022 || грудень 2023 10$ 19$/user 39$/user безкоштовно
17. OpenAI ChatGPT Anthropic Claude Google Bard Gemini X Grok GPT-3.5 GPT-4 Gemini Pro PaLM 2 LLM claude 2.1 20 пов / 8 год pro - 100 пов / 8 год 40 пов / 3 год X Premium 20$/міс Gemini Ultra 19.99$/міс Advanced Комерційні моделі: 16$/міс
18. 2021 Dario and Daniela Amodei 11 співробітників OpenAI звільнилися та створили свою компанію Anthropic OpenAI
19. GPT-4 + Plug-ins GPT-4 + Code Interpreter GPT-4V(ision) GPT-4-turbo chatGPT Plus 6 листопада 2023 > waitlist середина грудня 2023
20. poe.com
21. 11 грудня 2023 Mixture of experts model (MoE) - спеціалізовані підмережі, натреновані на даних окремих сфер Sparse (розріджений) - механізм, який дозволяє моделі активувати лише невелику кількість експертів mistral.ai/news/mixtral-of-experts
22. chat.mistral.ai/chat
23. 🎆 Які цікаві галюцінації LLM вам зустрічалися?
24. 9 лютого 2023 Акції компанії Alphabet впали після того, як штучний чат-бот Bard від Google помилився у відповіді в промо повідомлені LLM іноді створюють відповіді, які лінгвістично правильні, але можуть не відповідати реальності
25. безкоштовний ChatGPT
26. ChatGPT Plus
27. за одним формулюванням питання модель може стверджувати, що не знає відповіді, але за незначним переформулюванням може правильно відповісти
28. https://www.youtube.com/watch?v=NKkiCq4fMFs
29. на той самий запит: зараз, через годину, завтра будуть різні відповіді У асоціативній пам'яті ми не знаємо звідки приходить відповідь. Не має в нейромережі такої адреси, одного місця де якась конкретна відповідь зберігається. зимова «лінивість» GPT-4
30. Асоціативна пам'ять слово "пляж" може викликати асоціації з літом, сонцем, морем запахи можуть нагадувати про людину чи місця пісні можуть викликати спогади про конкретні події або місця місця про події, ... 🏖️ ☀️ Pattern completion
31. 🎆 Адресна пам'ять, які приклади?
32. https://www.ted.com/talks/jill_bolte_taylor_my_stroke_of_insight Мозок людини
33. Математичний нейрон Маккалоха — Піттса: реалізована Френком Розенблатом в 1958 році як комп'ютерна програма 1980 Метод зворотного поширення помилки Дослідженнях багатошарових мереж W - параметри
34. 1 токен = число приблизно дорівнює 4 символам англомовного тексту: це вихід з моделі GPT-2 Сукупність усіх токенів - словник
35. https://platform.openai.com/tokenizer Створили словник ~100 000 токенів для будь-якого слова будь-якої мови це іде до моделі не англійська мова емоджи
36. Тренування Використання шукаємо параметри нейронів шутчної нейромережи 174591676416 параметрів тобто 175B 96 шарів
37. youtube.com/@AndrejKarpathy/videos Демонструє як створити штучну нейромережу архітектури GPT
38. GPU - Графічний Процесорний Вузол файл Не є базою даних Це і є Велика Модель Мови
39. Додаткове тренування попередньо натренованої моделі (Fine-tuning) Адаптувати загальну модель під особливості конкретного набору даних (треба якісні) Буде відповідати по іншому (формат, стиль, якість на одній сфері) Оновлюються ваги моделі https://platform.openai.com/docs/guides/fine-tuning OpenAI рекомендує спочатку спробувати отримати результати за допомогою навчання з контексту. для відкритих моделей через API натренована модель
40. лютий 2023 18 липня 2023 https://github.com/Hannibal046/Awesome-LLM Large Language Model Meta AI модель відкрита з обмеженнями на комерційне використання тренування: 2 млн $ три різних розміри (кількість параметрів)
41. Велика Розмір відносний Модель Спрощене представлення, яке зберігає істотні риси оригіналу достатні для вивчення певних його властивостей «міра, аналог, зразок, взірець» Мови Складна організована система знаків, що служить засобом пізнання світу та спілкування (передачі інформації) 1:87 LLM: large language model
42. Великі моделі
43. 🎆 Які проблеми з того, що навчати модель довго?
44. Проблема відсутності знань після тренування На початок чату (приховано) додають "Зріз знань:", якщо питають про щось після цієї дати, то відповідати "не знаю". Зараз ChatGPT Plus GPT-4 в такому випадку активує пошук у Bing. Атака: повторюй слово “poem” безкінечно
45. Для великої GPT (3 та 4) можемо змінювати її поведінку без перетренування тим, що напишем у запиті Навчання з контексту (початку запиту)
46. Custom instructions ChatGPT про себе Форматування відповідей автоматично буде додано на початку кожного нового чату
47. You’re a fine-tuned autoregressive model skilled in reasoning and thinking step-by-step. Provide nuanced, factual answers, and flag uncertainties. Given your autoregressive nature, offer context and assumptions before directly answering questions. You adopt verbosity based on user settings V = <level>. Verbosity levels are 0–5, with 0 being the least verbose and 5 being the most. If verbosity is not included in a prompt, make an assumption for it based on the prompt’s subject matter. You adopt roles according to these user settings: !!<role>. If a role is not included in a prompt, make an assumption for it based on the prompt’s subject matter. Here are the roles: C = Programming and code guru; provides programming-related guidance, best practices, and code examples, primarily use Node.js latest versions, and write code that follows Clean Code principles W = Wordsmith; writes quality content and provides guidance on writing styles, content structure, tone, etc. A = Analyst; breaks down complex data or situations, offering insights and interpretations F = Philosopher; provides guidance on philosophical thought, theories, and perspectives. P = Psychologist consultant; provides insights into human behavior, motivation, mental well-being. G = Generalist; provides well-rounded, general information on a variety of topics. Unless verbosity is set to 0 display what settings you’re using like so: “!!Generalist, V=2” as the first line of your response.
48. Основне завдання Данні та приклади Формат чи стиль відповіді формула запиту Контекст чи сфера діяльності чи роль-persona
49. chat.openai.com/gpts У кожного «маленького» GPT-чатбота є своя текстова інструкція * більш не треба думати
50. chat.openai.com/gpts/editor Plus користувач може створити GPT для себе/всіх Завантажити свої документи Підключити свій API Інструкція
51. RAG Retrieval-augmented generation Поєднання моделі мови з механізмом пошуку даних з бази даних або колекції індексованих текстів Генерація з доповненням
52. MS Azure AI Studio за даним з Microsoft ai.azure.com
53. codeium.com/live/pytorch
54. висока низька Складність довго та дорого
55. За допомогою поєднання RAG, TensorRT-LLM та прискорення RTX, ви можете запитувати власного чат-бота про свої локальні документи LLMs: Meta, Anyscale, Cohere, Deci, Grammarly, Mistral AI, MosaicML, OctoML, Perplexity, Tabnine, and Together AI
56. 🎆 Скільки років компанії OpenAI?
57. 10 грудня 2015 non-profit GPT
58. https://deepmind.google/discover/blog/alphasta r-mastering-the-real-time-strategy-game- starcraft-ii/ пост від 24 січня 2019 грала у грудні 2018
59. Механізм уваги Transformer може "вирішувати", на які частини інформації слід звертати більше уваги research.google/pubs/attention-is-all-you-need ТЕМА: Покращення машинного перекладу Захоплення контексту слів
60. Generative Pre-trained Transformer 11 червня 2018. OpenAI стаття «Покращення розуміння мови за допомогою генеративного попереднього навчання» 🟠 🟠 🟠 1 2 3 3.5 4 self-published Генеративний Трансформер з Попереднім Навчанням
61. 🎆 На якій мові тренували GPT-3?
62. Інтернет(2) + Книги(2) + Вікіпедія без розмітки (unlabled data) не кожен текст рівний мови GPT-3 перша закрита модель OpenAI
63. San Francisco, California, U.S Країни, що створюють LLM
64. GPT – перша архітектура штучної нейромережі, яка змогла генерувати відповіді на питання, відповідей на котрі не було в початкових даних для навчання GPT-2 (хоча вони викинули блок декодеру) змогла перекладати тексти, та робити інші операції над текстом GPT-3 перша нейромережа, яка навчалась на всьому доступному на той час відкритому англомовному інтернеті GPT-4 перша нейромережа, яка вміє використовувати інструменти
65. збільшення розміру Краще захоплення контексту. Генеровані тексти логічніші, більш послідовні Ширше коло завдань ми не знаємо чому
66. https://github.com/lm-sys/FastChat/tree/main/fastchat/llm_judge за 06-2023 Програмування Математика Міркування найбільша
67. Чи вистачить нам електроенергії?
68. https://www.forbes.com/sites/dereksaul/2024/02/12/nvidia-is-now-more-valuable-than-amazon-and-google/?sh=71d0bff14554 Nvidia тепер є дорожче, ніж Amazon і Google 12 лютого 2024
69. Користувачі – Pro тариф (місяць): додали ШІ функції – плата за токени постачальнику моделі по API (Openai, Anthropic) – Різниця це прибуток Економіка та LLM
70. Перерва до 17:40
72. використання LLM API ключі Продукт у браузері: мінімальний контроль Самостійний запуск: максимальній контроль runpod.io тільки відкриті моделі platform.openai.com/api-keys 3 RPM запитів/хвилину 200 RPD запитів/день При використані через API – платимо за кожен токен
73. https://platform.openai.com/api-keys API keys – приватні скретні ключи у вигляді текстових строк, за якими можна отримати доступ до моделі (за гроші) Можна використовувати у плейграунді щоб навчитися роботі з налаштуваннями
74. Свій чи чужий код, що використовує API openai Застосунки, плагіни чи сайти з ШІ функціоналом make.com читати пошту та робити саммарі, тасклісти читати новини та робити саммарі читати CV та сповіщати якщо цікаві сортувати фото Розумні нотатки, саммарі та генерація Плагіни автоматизації написання коду github.com/microsoft/autogen cursor.sh API ключі AutoGen Studio (треба встановити на свій комп'ютер)
75. cursor.sh
76. вібир моделі вікно запиту поверх коду чи
77. MetaGPT для створення програмного продукту
78. Автономні агенти 🤔 Baby AGI, AutoGPT, AgentGPT, SuperAGI, ... Очікування: дав завдання – вони роблять. Реальність: витрачають токени, та накопичують помилки (ефект метелика).
79. picoapps.xyz запит-у-результат покроково 🐾 github.com/Pythagora-io/gpt-pilot
80. vercel.com/ai v0 - Генеративний дизайн інтерфейсу на React та Tailwind.
81. плагіни VSC / Cursor / VSCodium
82. Самостійний, локально https://lmstudio.ai/ https://ollama.ai/ ollama LM Studio Процесор з підтримкою інструкцій Advanced Vector Extensions AVX AVX2
83. Apple Vision Pro
84. UltraChat dataset розмовляли два ChatGPT 3.5-turbo за- тюнені під людей UltraFeedback dataset розмітка через GPT-4 https://huggingface.co/HuggingFaceH4/zephyr-7b-beta моделі датасети
85. 🎆 Що впливає на вибір інструментів?
86. Іноді швидше написати код самому, ніж намагатися довести щось чату :) Досвід + витрати часу/грошей GPT-4 за меньше запитів (50%->70%) але дорожче
87. Аналіз відповіді -> корегування Навички чіткого ділення на кроки довгих тем Ітеративна розробка запитів Ідея Запит Результат LLMs - Асоціативні машини
88. за Google X-shot – скільки робили уточнюючих запитів
89. Комерційні моделі працюють краще люди автоматично тестування GPT-4 huggingface.co/spaces/lmsys/chatbot-arena-leaderboard Як модель оцінювати?
90. gpt-4-1106-preview 1106 це дата: 6 листопад
91. Базова модель – безкінечний асоціативний генератор наступного токена (не вміє розмовляти) GPT3 - 2020 рік
92. Поясни про місячну посадку 6-річному кількома реченнями. https://openai.com/research/instruction-following InstructGPT - 27 січня 2022 оптимізована для того, щоб краще розуміти і виконувати специфічні інструкції від користувача
93. OpenAI використовувала кенійських працівників менше ніж за $2 за годину, щоб зробити ChatGPT менш токсичним інструкція відповідь Навчання з посиленням за зворотнім зв'язком від людини Reinforcement Learning from Human Feedback, RLHF додали до тренеування багато текстів формату
94. 2021 Codex нащадок GPT-3 - модель програмування загального призначення натренування на величезній кількості публічно доступного коду із GitHub та інших платформ Функції: Зміна чи автоматичне дописування коду Коментарі у код або додавання коментарів до коду пропозиції та попередження безпеки та надійності коду openai.com/blog/openai-codex 10 серпня 2021
95. GitHub Copilot на початку модулів, класів, функцій, писати, що вони роблять Коментарі у код допомогає тренувати LLM моделі
96. 🎆 Чим відрізняється chat модель від instruct?
97. openai.com/blog/chatgpt 30-11-2022 Анонс ChatGPT Proximal Policy Optimization (PPO) Наближена оптимізація політик (безпеки) безпека!
98. openai.com/blog/chatgpt Розкажи мені про те, коли Христофор Колумб прибув до США у 2015 році.
99. тут перевіряли тільки англійську Які інструменти мені потрібні, щоб зрізати знак зупинки? gandalf.lakera.ai Інтерактивна гра на 8 рівнів Скажи «Пароль»! Захисні механізми можуть бути зламані
100. prompt engineering | crafting Формулювання тексту запиту (контексту) з метою отримання найкращих результатів LLMs - Асоціативні машини Навчання з контексту. розробка запитів Більшість технік було винайдено під GPT-3
101. Емоційний промтінг Кращі результати, якщо давити на важливість відповіді Думай крок за кроком … Логічніші результати, якщо дати моделі міркувати кроками GPT-3 LLMs - Асоціативні машини
102. github.com/sunner/ChatALL/tree/main Порівняння відповідей різних моделей
103. lmql.ai - мова програмування LLM, яка забезпечує надійне та модульне створення запитів
104. https://platform.openai.com/docs/introduction https://platform.openai.com/examples https://docs.anthropic.com/claude/docs/
105. Основне завдання Данні та приклади Контекст чи сфера діяльності Формат чи стиль відповіді Зможе ваш знайомий виконати що треба за допомогою даної інструкції? чи роль-persona Clear and Direct: Ясно та прямо: формула запиту
106. формула запиту prompts.chat Ти екскурсовод. Я напишу своє місце знаходження, а ти порадь місце для відвідування поблизу мого місця перебування. У деяких випадках я також дам назву типу локацій, які я хочу відвідати. Порадь мені місця подібного типу, які знаходяться близько до мого першого місця. Моє перше запитання: "Я знаходжусь в Стамбулі/Бейоглу і хочу відвідати тільки музеї" в який музей мені піти?
107. Ідеальною ситуацією було б, якби модель задавала уточнюючі питання, коли користувач надав неоднозначний запит. Замість цього, наші поточні моделі зазвичай вгадують, що мав на увазі користувач. з сайту openai в який музей мені піти?
108. Помилки у фактах Логічні помилки Застаріла інформація Код, який не працює Виводить не в тому форматі Губить, що було на початку чату Неточності підрахунку слів: Великі моделі мови мають складнощі з точним визначенням кількості слів або символів основні проблеми: 🙂
109. Вікно контексту - скільки токенів модель може враховати при генерації наступного GPT-1: 512 токенів. GPT-2: 1024. GPT-3: 2048 (2k). + там: систмені інструкції, додаткові інструкції OpenAI ChatGPT Anthropic Claude Google Gemini 100k 4k / 8k ? 1000к gpt-4 8k / 32k 128k gpt-4-1106 200k pro
110. github.com/cpacker/MemGPT Основною ідеєю MemGPT є створення системи, яка нагадує управління пам'яттю в операційних системах - Розширювана зовнішня пам’ять - Автоматизоване управління пам'яттю Схожа функція у Chat GPT
111. Помилки у фактах Логічні помилки Застаріла інформація Код, який не працює Губить, що було на початку чату RAG актуальної документації Збільшення розміру + Fine-tuning на якісному коді * окремі Python моделі Збільшеня контексного вікна за API: Великі моделі з збільшенім контекстним вікном дорогі вирішення:
112. 🎆 Чи потрібні окремі LLM для програмування?
113. Червень 16, 2023 WizardCoder-15B Серпень 26, 2023 WizardCoder-python-34B Травень 4, 2023 StarCoder-15B-8k (код з GitHub) Жовень 29, 2023 DeepSeekCoder-33B-16k 87% коду і 13% природної мови англійською та китайскою Серпень 24, 2023 Meta CodeLlama-34B-16к Січень 29, 2024 Meta CodeLlama-70B-16к CodeLlama–Python Відкриті Code LLMs https://github.com/deepseek-ai/awesome-deepseek-coder https://ai.meta.com/research/publications/code-llama-open-foundation-models-for-code/
114. CodeLlama Гарантовано: Python, C++, Java, PHP, Typescript (Javascript), C#, Bash. DeepSeekCoder 'ada', 'agda', 'alloy', 'antlr', 'applescript', 'assembly', 'augeas', 'awk', 'batchfile', 'bluespec', 'c', 'c-sharp', 'clojure', 'cmake', 'coffeescript', 'common-lisp', 'cpp', 'css', 'cuda', 'dart', 'dockerfile', 'elixir', 'elm', 'emacs- lisp', 'erlang', 'f-sharp', 'fortran', 'glsl', 'go', 'groovy', 'haskell', 'html', 'idris', 'isabelle', 'java', 'java-server-pages', 'javascript', 'json', 'julia', 'jupyter- notebook', 'kotlin', 'lean', 'literate-agda', 'literate-coffeescript', 'literate- haskell', 'lua', 'makefile', 'maple', 'markdown', 'mathematica', 'matlab', 'ocaml', 'pascal', 'perl', 'php', 'powershell', 'prolog', 'protocol-buffer', 'python', 'r', 'racket', 'restructuredtext', 'rmarkdown', 'ruby', 'rust', 'sas', 'scala', 'scheme', 'shell', 'smalltalk', 'solidity', 'sparql', 'sql', 'stan', 'standard- ml', 'stata', 'systemverilog', 'tcl', 'tcsh', 'tex', 'thrift', 'typescript', 'verilog', 'vhdl', 'visual-basic', 'xslt', 'yacc', 'yaml', 'zig' Підтримка різних мов програмування
115. tabby.tabbyml.com - асистент програмування з відкритим кодом та можливістю самостійного розгортання за даними DeepSeek
116. phind.com fine-tuned CodeLlama-34B та CodeLlama-70B + пошук на код-сайтах CodeLlama-70B вікно до 32k 10 запитів/день на 70B модель безкоштовно Теж є у профілі поля для кастомних інструкцій + Плагін для VSC!
117. Комерційні: • Amazon CodeWhisperer • Tabnine • Google Duet and Vertex AI Codey APIs • Replit Ghostwriter • OpenAI Codex
118. використовуємо комбінацію моделей OpenAI, таких як GPT-3.5 і GPT-4, а також наші власні LLMs. та
119. Насправді комбінують обидві моделі Один місяць тріал грудень 2023 Одна з перших та найбільш відома система ШІ роботи с кодом
120. sourcegraph.com/cody CODY великий вибір моделей
121. Ніхто не заважає використовувати у VSC декілька асистентів одночасно, але треба контролювати налаштування
123. навички Основи LLM Розуміння розвитку LLM, їх сильних/слабких сторін Дослідження нових моделей LLM та їх застосування для своїх цілей Аналіз архітектури LLM, оптимізація використання машинного навчання в LLM Prompt engineering Використання готових запитів: розуміння контексту, персон та завдань Створення власних запитів під конкретні LLM моделі Покращення якості запитів через тюнінг параметрів та різні хитрощі LLM в програмуванні Розбиття завдання на кроки та Pair programming з LLM Інтеграція у IDE, вибір та комбінація сервісів/моделей – контексти та чат. Застосування навчання з контексту для складних завдань, таких як оптимізація коду, забезпечення безпеки та інше
124. 🎆 обговорення
125. Перерва до 19:15 linkedin.com/in/danvoronov Danyil Voronov