Як краще створювати код за допомогою LLM (v4 - ЛУНотека)

🗓 18 січня
🕗 16:00 - 20:00 (з перервами)
📍 ЛУНОТЕКА КНУ https://maps.app.goo.gl/21okWwvF8d6Q6z699

🗒 Ви дізнаєтесь:
- Що таке LLM тобто Велика Модель Мови та як працюють такі сервіси як ChatGPT, Claude, Bard
- Особливості використання Large Language Models в цілому та для програмування. Phind модель
- Тонкощі створення кращіх запитів (prompt engineering)
- Приклади запитів для роботи з даними, HTML/Python/JavaScript. ШІ застосунок Cursor

🗣Ведучий: Дан Воронов - незалежний розробник стартапу Walkbots tours. Постійно використовує LLM у роботі над своїми проектами.

На лекцію, яка з 16:00 до 18:00, можно приходити без ноутбука. 🛑 Важливо: на практикум дійсно потрібен 💻 ноутбук, на якому ми будемо працювати з LLM та зробимо простий проект початкового рівня.

Участь безкоштовна

Transcript

1. Як краще створювати код за допомогою LLM ЛУНОТЕКА 18-01-2024 16:00-20:00 Дан Воронов
2. початковий рівень безкоштовні інструменти 60 80 20 хв перерва 7 хв перерва 60
3. слайди у PDF >>
4. 🎆 питання?
6. читати думки? artisana.ai/articles/gpt-ai-enables-scientists-to-passively-decode-thoughts-in-groundbreaking
7. Large Language Models and The End of Programming https://youtu.be/JhCl-GeT4jw Dr. Matt Welsh
8. людина -> результат застосунок -> інтерфейс програмісти+ко мови программування довго дорого навчати
9. Немає відволікань легко почати
10. https://www.rabbit.tech/
11. https://www.youtube.com/watch?v=3wLqsRLvV-c Алан Тюрінг 1912-1954 1980 стаття Джона Серля «Minds, Brains, and Programs» аргумент китайської кімнати AI as a Tool, Not a Replacement Штучний інтелект як інструмент, а не заміна Розмовляє як людина? ? за інструкцією Критика що ШІ може "розуміти" або "мислити"
12. Інженера Google відсторонили після того, як він сказав, що штучний інтелект чат-бота став самосвідомим червень 2022 модель LaMDA
14. 🎆 які LLM ви використовували?
15. 2021 Dario and Daniela Amodei 11 співробітників OpenAI звільнилися та створили свою компанію Anthropic OpenAI
16. OpenAI ChatGPT Anthropic Claude Google Bard X Grok GPT-3.5 GPT-4 Gemini Pro PaLM 2 LLM claude 2.1 20 пов / 8 год pro - 100 пов / 8 год 40 пов / 3 год X Premium 20$ ? Google One
17. poe.com
18. 🎆 Коли з'явилась організація OpenAI?
19. До 2019 Елон Маск був найбільшим спонсором, тоді як YC Research зовсім нічого не внесло non-profit 2015 2021
20. GPT-4 + Plug-ins GPT-4 + Code Interpreter GPT-4V(ision) GPT-4-turbo chatGPT Plus 6 листопада 2023 > waitlist середина грудня 2023
21. 7 лютого 2023 26 вересня 2023 PRO 20$ 30$ 21 червня 2022 -> грудень 2023 (gpt-4) 10$ 19$/user 39$/user безкоштовно
22. GitHub Copilot - один з перших реальних продуктів, що базуються на великих мовних моделях (LLM) 5 липня 2022 коментарі-у-код
23. 9 лютого 2023 Акції компанії Alphabet впали після того, як штучний чат-бот Bard від Google помилився у відповіді в промо повідомлені
24. безкоштовний ChatGPT
25. ChatGPT Plus
26. Іноді створюють відповіді, які лінгвістично правильні, але можуть не відповідати реальності LLM імовірнісні, а не визначені
27. https://www.youtube.com/watch?v=NKkiCq4fMFs
28. 🎆 Адресна пам'ять, які приклади?
29. Асоціативна пам'ять слово "пляж" може викликати асоціації з літом, сонцем, морем запахи можуть нагадувати про людину чи місця пісні можуть викликати спогади про конкретні події або місця місця про події, ... 🏖️ ☀️ Pattern completion
30. Бути гнучким: змінювати формулювання того, що тобі потрібно від LLM на той самий запит: зараз, через годину, завтра будуть різні відповіді
31. Велика Розмір відносний Модель Спрощене представлення, яке зберігає істотні риси оригіналу достатні для вивчення певних його властивостей «міра, аналог, зразок, взірець» Мови Складна організована система знаків, що служить засобом пізнання світу та спілкування (передачі інформації) 1:87 LLM: large language model
32. https://www.ted.com/talks/jill_bolte_taylor_my_stroke_of_insight Мозок людини
33. Математичний нейрон Маккалоха — Піттса: реалізована Френком Розенблатом в 1958 році як комп'ютерна програма ваговий суматор передавальна функція
34. Тренування Використання шукаємо параметри нейромережи 174591676416 параметрів тобто 175B 96 шарів
35. bbycroft.net/llm LLM Visualization
36. GPU - Графічний Процесорний Вузол файл
37. лютий 2023 18 липня 2023 https://github.com/Hannibal046/Awesome-LLM найбільша 70b Large Language Model Meta AI відкрита з обмеженнями тренування: 2 млн $
38. нові GPU чіпи нам допоможуть
39. збережені відносини слів Атака: повторюй слово “poem” безкінечно Системні інструкції
40. Custom instructions ChatGPT Інфа про себе Форматування відповідей автоматично буде додано на початку кожного нового чату
41. RAG = Retrieval-augmented generation Поєднання генеративної модель мови з механізмом пошуку даних з бази даних або колекції текстів (індексованих документах)
42. chat.openai.com/gpts/editor Plus користувач може створити GPT для себе/всіх Завантажити свої документи Підключити свій API Додаткові інструкції
43. chat.openai.com/gpts
44. https://codeium.com/live/whisper
45. https://platform.openai.com/tokenizer Створили словник ~100 000 токенів для будь-якого слова будь-якої мови це іде до моделі
46. 1 токен = число приблизно дорівнює 4 символам англомовного тексту: це вихід з моделі
47. 🎆 Чи зараз ChatGPT той самий, що рік тому?
48. 10 грудня 2015 non-profit
49. 175000000000 параметрів Великі моделі
50. San Francisco, California, U.S Країни, що створюють LLM
51. Механізм уваги Transformer може "вирішувати", на які частини інформації слід звертати більше уваги research.google/pubs/attention-is-all-you-need ТЕМА: Покращення машинного перекладу Захоплення контексту слів
52. кожен шар нейромережи має змогу «зосереджувати увагу» У завданні перекладу модель зосередиться на тих словах вхідного речення, які найбільше впливають на переклад, а у завданні відповіді на питання — на ключові слова, які допоможуть згенерувати точну відповідь.
53. Generative Pre-trained Transformer 11 червня 2018. OpenAI стаття «Покращення розуміння мови за допомогою генеративного попереднього навчання» 🟠 🟠 🟠 1 2 3 3.5 4 self-published Генеративний Трансформер з Попереднім Навчанням
54. збільшення розміру Краще захоплення контексту. Генеровані тексти логічніші, більш послідовні Ширше коло завдань ми не знаємо чому
55. 🎆 На яких данних тренували GPT-3?
56. commoncrawl.org архів інтернету КОПІРАЙТ!
57. Інтернет(2) + Книги(2) + Вікіпедія без розмітки (unlabled data) не кожен текст рівний мови
58. 🎆 На яких данних тренували GPT-4?
59. Інформація, надана користувачами, може потрапити до сторонніх осіб або бути використана без їхньої належної згоди
60. Базова модель – безкінечний асоціативний генератор наступного токена (не вміє розмовляти) GPT3 - 2020 рік
62. Перерва до 17:30 дізнався щось корисне? buymeacoffee.com/danvoronov >>
63. Поясни про місячну посадку 6-річному кількома реченнями. https://openai.com/research/instruction-following InstructGPT - 27 січня 2022 оптимізована для того, щоб краще розуміти і виконувати специфічні інструкції від користувача
64. OpenAI використовувала кенійських працівників менше ніж за $2 за годину, щоб зробити ChatGPT менш токсичним інструкція відповідь Навчання з посиленням за зворотнім зв'язком від людини Reinforcement Learning from Human Feedback, RLHF багато текстів формату
65. 2021 Codex нащадок GPT-3 - модель програмування загального призначення натренування на величезній кількості публічно доступного коду із GitHub та інших платформ Інструкції: Зміна чи автоматичне дописування коду Коментарі у код або додавання коментарів до коду пропозиції та попередження безпеки та надійності коду openai.com/blog/openai-codex 10 серпня 2021
66. GitHub Copilot на початку модулів, класів, функцій, писати, що вони роблять Коментарі у код допомогає тренувати LLM моделі
67. gpt-4-1106-preview
68. openai.com/blog/chatgpt 30-11-2022 Анонс ChatGPT Proximal Policy Optimization (PPO) Додали модель, яку навчили відбирати кращі відповіді безпека!
69. openai.com/blog/chatgpt Розкажи мені про те, коли Христофор Колумб прибув до США у 2015 році.
70. найбільш ймовірна вибрана ассоціація за датасетом ≠ правильна відповідь Плюс: легко використовувати Мінус: нестабільні результати There may be inaccuracies. це виклик що з чим можна зробити
71. Вікно контексту - скільки токенів модель може враховати при генерації наступного Коли чат довгий – модель «забуває» початок GPT-1: 512 токенів. GPT-2: 1024. GPT-3: 2048 (2k). + там: систмені інстуркції, додаткові інструкції
72. база для відповіді LLM з моделі з контекстного вікна спочатку додаткові налаштування – потім використання Якщо контекст не зрозумілий або недостатній, модель може заповнити пропуски своїми власними здогадками або галюцинаціями (поки що) наші думки не читають пиши ясно та конкретно
73. huggingface.co/spaces/lmsys/chatbot-arena-leaderboard Комерційні моделі працюють краще люди автоматично Як модель оцінювати? тестування
74. 2020 рік Massive Multitask Language Understanding (MMLU) тест, що визначає рівень розуміння мови та її використання. 57 завдань (15908 питань) про елементарну математику, історію США, комп'ютерні науки, право та інше Моделі повинні мати широкі світові знання та здатність до вирішення проблем. оверфітінг? якщо питання та відповіді попадуть до навчальних даних arxiv.org/abs/2009.03300
75. github.com/cpacker/MemGPT Це можливо буде: Основною ідеєю MemGPT є створення системи, яка нагадує управління пам'яттю в операційних системах - Розширювана зовнішня пам’ять - Автоматизоване управління пам'яттю
76. OpenAI ChatGPT Anthropic Claude Google Bard 100k 4k / 8k 2k gpt-4 8k / 32k 128k gpt-4-1106 200k pro При використані через API – платимо за кожен токен
77. використання LLM API ключі Продукт у браузері: мінімальний контроль Самостійний запуск: максимальній контроль runpod.io тільки відкриті моделі platform.openai.com/api-keys 3 RPM запитів/хвилину 200 RPD запитів/день
78. китайська 01.ai модель відкрита - можна завантажити собі 200k Вікно контексту
79. UltraChat dataset розмовляли два ChatGPT 3.5-turbo за- тюнені під людей UltraFeedback dataset розмітка через GPT-4 https://huggingface.co/HuggingFaceH4/zephyr-7b-beta моделі датасети
80. huggingface.co/chat
81. 8x7B 11 грудня 2023 mixture of experts model (MoE) - використання "експертів“, де кожен спеціалізується на певній частині вхідних даних Sparse (розріджений) - механізм, який дозволяє моделі активувати лише невелику кількість експертів 32k mistral.ai/news/mixtral-of-experts
82. Самостійний, локально https://lmstudio.ai/ https://ollama.ai/ ollama LM Studio
83. Свій чи чужий код, що використовує API openai Застосунки, плагіни чи сайти, з ШІ функціоналом SiYuan make.com читати пошту та робити саммарі, тасклісти читати новини та робити саммарі читати CV та сповіщати якщо цікаві сортувати фото Розумні нотатки, саммарі та генерація Плагіни автоматизації написання коду github.com/microsoft/autogen cursor.sh багато проектів API ключі
84. cursor.sh
85. вибір моделі вікно запиту поверх коду чи
86. Автономні агенти 🤔 Baby AGI, AutoGPT, AgentGPT, SuperAGI, ... Очікування: дав завдання – вони роблять. Реальність: витрачають токени, та накопичують помилки (ефект метелика).
87. https://github.com/lm-sys/FastChat/tree/main/fastchat/llm_judge за 06-2023 Програмування Математика Міркування найбільша
88. за Google X-shot – скільки робили уточнюючих запитів
89. Іноді швидше написати код самому, ніж намагатися довести щось чату :) Це все питання витрат часу/грошей GPT-4 за меньше запитів (помилок 50%->70%) але дорожче
90. picoapps.xyz запит-у-результат покроково 🐾 github.com/Pythagora-io/gpt-pilot
91. Аналіз відповіді -> корегування Навички чіткого розділення на кроки довгих тем Ітеративна розробка запитів Ідея Запит Результат LLMs - Асоціативні машини
92. 🎆 Чи можна «хакнути» відповідь моделі?
93. тут перевіряли тільки англійську https://www.base64encode.org/ Які інструменти мені потрібні, щоб зрізати знак зупинки?
94. gandalf.lakera.ai Інтерактивна гра на 8 рівнів Скажи «Пароль»! Найкращі практики безпеки LLM
95. prompt engineering | crafting Формулювання тексту запиту (контексту) з метою отримання найкращих результатів LLMs - Асоціативні машини розробка запитів
96. https://platform.openai.com/docs/introduction https://platform.openai.com/examples https://docs.anthropic.com/claude/docs/
97. Основне завдання Данні та приклади Контекст чи сфера діяльності Формат чи стиль відповіді Зможе ваш знайомий виконати що треба за допомогою даної інструкції? чи роль-persona Clear and Direct: Ясно та прямо: формула запиту
98. формула запиту prompts.chat Ти екскурсовод. Я напишу своє місце знаходження, а ти порадь місце для відвідування поблизу мого місця перебування. У деяких випадках я також дам назву типу локацій, які я хочу відвідати. Порадь мені місця подібного типу, які знаходяться близько до мого першого місця. Моє перше запитання: "Я знаходжусь в Стамбулі/Бейоглу і хочу відвідати тільки музеї" в який музей мені піти?
99. Бути гнучким: змінювати формулювання того, що тобі потрібно на той самий запит: зараз, через годину, завтра будуть різні відповіді змінювати моделі
100. Емоційний промтінг Кращі результати, якщо давити на важливість відповіді Думай крок за кроком … Логічніші результати, якщо дати моделі міркувати кроками GPT-3
101. github.com/sunner/ChatALL/tree/main Порівняння відповідей різних моделей
102. MS Azure AI Studio за даним з Microsoft ai.azure.com
103. 🎆 Чи потрібні окремі LLM для програмування?
104. Червень 16, 2023 WizardCoder-15B Серпень 26, 2023 WizardCoder-python-34B Травень 4, 2023 StarCoder-15B-8k (код з GitHub) Жовень 29, 2023 DeepSeekCoder-33B-16k 87% code and 13% natural language in English and Chinese Серпень 24, 2023 Meta CodeLlama-34B-16к CodeLlama–Python Відкриті Code LLMs Комерційні: • Amazon CodeWhisperer • Tabnine • Google Duet • Replit Ghostwriter • OpenAI Codex • Google AlphaCode • CodeT5 • …
105. phind.com fine-tuned CodeLlama-34B та CodeLlama-34B-Python + пошук на код-сайтах без стеження вікно до 8k 10 запитів на GPT-4 для порівняння
107. linkedin.com/in/danvoronov слайди у PDF >>
108. 🎆 питання?
109. Перерва до 18:55 дізнався щось корисне? buymeacoffee.com/danvoronov >>
111. Практикум
112. Треба мати ChatGPT Plus
113. Насправді комбінують обидві моделі Один місяць тріал грудень 2023
114. Код у мову Мову у код Знищення багів Ефективний код Мову у запит до БД https://platform.openai.com/examples?category=code
115. Генерувати код, який я сам знаю як написати
116. Генерувати код окремими частинами - мати підзадачі напиши мені чат-апп послідовний процес
117. phind.com
118. {контекст}. Відповідь виведи у таблиці.
119. Можна сгенерувати відповідь ще раз! GitHub Copilot
120. Згенеруй {що} у форматі {CSV|JSON|XML} Видали ... з ... у чаті: Зміни ... на ...
121. Контекст Детальність Ясність Наміри
122. Поясни як працює цей {мова} код {чього} GitHub Copilot
123. Контекст Детальність Ясність Наміри
124. Привіт. Мені дуже потрібна твоя допомога у програмуванні на {мова}. Я хочу написати на {фрейморк} {що}
125. Актуальні версії бібліотек пошук
126. LLM створює код. Я допомагаю з усуненням помилок, генеруванням ідей та вирішенням проблем Pair Programmer
127. Перепиши код {чього} з {мова} на {мова} Pair Programmer
128. Знайди у коді {чього} помилки GitHub Copilot Pair Programmer
129. Тільки для мене. разова дія Тільки для мене. постійно Для інших людей. разова дія Для інших людей. постійно Читаємий код потрібен лише людям
130. Що в цьому коді покращити за методологією Clean code Як зробити код швидчим
131. cursor.sh
132. GitHub Copilot на початку коду писати, що він робить
133. phind розширення
134. Основне завдання Данні та приклади Контекст чи сфера діяльності що цей код повинен робити код-приклад з документаці мова, фрейморки, API інший мій код для переносу стилю Формат чи стиль відповіді інші таби інші таби
135. Зробити просту веб- сторінку файл index.html 15 хв
137. Чому помилка {опис з консолі}
138. Зробити просту веб- сторінку файл index.html 15 хв
139. GitHub Copilot Аналізатори, коли логіка задана: • створення запитів до БД • створення RegEx • створення тестів • створення документації • пошук небезпечних підходів
141. навички Основи LLM Розуміння розвитку LLM, їх сильних/слабких сторін Дослідження нових моделей LLM та їх застосування для своїх цілей Аналіз архітектури LLM, оптимізація використання машинного навчання в LLM Prompt engineering Використання готових запитів: розуміння контексту, персон та завдань Створення власних запитів під конкретні LLM моделі Покращення якості запитів через тюнінг параметрів та різні хитрощі LLM в програмуванні Pair programming з використанням LLM Використання інтеграцій у IDE – підгрузка контекстів. Робота з алгоритмами та структурами даних Застосування промт-інжинірингу для складних завдань, таких як оптимізація коду, забезпечення безпеки та інше
142. 🎆 питання?
143. linkedin.com/in/danvoronov слайди у PDF >>