Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Як краще створювати код за допомогою LLM (v3 - OSTRIV)

Dan Voronov
December 14, 2023

Як краще створювати код за допомогою LLM (v3 - OSTRIV)

🗓 14 грудня
🕗 16:00 - 20:00 (з перервами)
📍 Ostriv

🗒 Ви дізнаєтесь:
- Що таке LLM тобто Велика Модель Мови та як працюють такі сервіси як ChatGPT, Claude, Bard
- Особливості використання LLM в цілому та для програмування. Phind модель
- Тонкощі створення кращіх запитів (prompt engineering)
- Приклади промтів для роботи з даними, HTML/Python/JavaScript. Застосунок Cursor

🗣Ведучий: Дан Воронов - незалежний розробник стартапу Walkbots tours. Постійно використовує LLM у роботі над своїми проектами.

На лекцію, яка з 16:00 до 17:30, можно приходити без ноутбука. 🛑 Важливо: на практикум дійсно потрібен 💻 ноутбук, на якому ми будемо працювати з LLM та зробимо простий проект (рівень початковий, безкоштовні інструменти).

Dan Voronov

December 14, 2023
Tweet

More Decks by Dan Voronov

Other Decks in Education

Transcript

  1. розклад початковий рівень безкоштовні інструменти 60 80 15 перерва 7

    перерва 60 o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  2. навички Основи LLM Розуміння розвитку LLM, їх сильних/слабких сторін Дослідження

    нових моделей LLM та їх застосування для своїх цілей Аналіз архітектури LLM, оптимізація використання машинного навчання в LLM Prompt engineering Використання готових запитів: розуміння контексту, персон та завдань Створення власних запитів під конкретні LLM моделі Покращення якості запитів через тюнінг параметрів та різні хитрощі LLM в програмуванні Pair programming з використанням LLM Використання інтеграцій у IDE – підгрузка контекстів. Робота з алгоритмами та структурами даних Застосування промт-інжинірингу для складних завдань, таких як оптимізація коду, забезпечення безпеки та інше
  3. чи ШІ розумний https://www.youtube.com/watch?v=3wLqsRLvV-c Алан Тюрінг 1912-1954 1980 стаття Джона

    Серля «Minds, Brains, and Programs» аргумент китайської кімнати o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  4. гаджети o 23 як рік ШІ o що таке LLM

    o LLM у чатах o вибір моделі o кращі запити
  5. ? 🎆 які LLM ви використовували? o 23 як рік

    ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  6. ChatALL https://github.com/sunner/ChatALL/tree/main o 23 як рік ШІ o що таке

    LLM o LLM у чатах o вибір моделі o кращі запити
  7. основні LLM гравці ... моделі 2.1 o 23 як рік

    ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  8. Time AI 2021 Dario and Daniela Amodei 11 співробітників OpenAI

    звільнилися та створили свою компанію Anthropic OpenAI o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  9. GPT-4 + Plug-ins GPT-4 + Code Interpreter GPT-4V(ision) GPT-4-turbo chatGPT

    PRO 6 листопада 2023 o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  10. гроши у OpenAI дані з ChatGPT =) o 23 як

    рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  11. MS Copilot 26 вересня 2023 o 23 як рік ШІ

    o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  12. GitHub Copilot o 23 як рік ШІ o що таке

    LLM o LLM у чатах o вибір моделі o кращі запити потім стане нормою
  13. магазин GPTs 6 листопада 2023 “Вбили” безліч стартапів додатковий запит

    + файли + API o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити закрили Plus план до середини грудня
  14. створи свого бота poe.com o 23 як рік ШІ o

    що таке LLM o LLM у чатах o вибір моделі o кращі запити
  15. спеціалізовані боти https://codeium.com/live/whisper o 23 як рік ШІ o що

    таке LLM o LLM у чатах o вибір моделі o кращі запити
  16. MS Azure AI за даним з Microsoft ai.azure.com o 23

    як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  17. LMQL мова lmql.ai o 23 як рік ШІ o що

    таке LLM o LLM у чатах o вибір моделі o кращі запити
  18. створи свій апп picoapps.xyz o 23 як рік ШІ o

    що таке LLM o LLM у чатах o вибір моделі o кращі запити text-to-app
  19. Dr. Matt Welsh Large Language Models and The End of

    Programming https://youtu.be/JhCl-GeT4jw o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  20. новий стек? людина -> результат застосунок -> інтерфейс програмісти+ мови

    программування довго дорого навчати o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  21. ? 🎆 Навіщо нам мова? o 23 як рік ШІ

    o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  22. ВММ Велика Розмір відносний Модель Спрощене представлення, яке зберігає істотні

    риси оригіналу достатні для вивчення певних його властивостей «міра, аналог, зразок, взірець» Мови Складна організована система знаків, що служить засобом пізнання світу та спілкування людей передача інформації 1:87 LLM: large language model o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  23. моделювання мови штучна нейромережа рекурентна мова -БД- мова o 23

    як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  24. перший чат-бот 1966 Джозеф Вейценбаум. ELIZA як віртуальний співрозмовник https://www.youtube.com/watch?v=1yZRNt25Wdo

    o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  25. ? 🎆 Коли з'явилась організація OpenAI? o 23 як рік

    ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  26. трансформери 10 грудня 2015 o 23 як рік ШІ o

    що таке LLM o LLM у чатах o вибір моделі o кращі запити
  27. Захоплення контексту Механізм уваги не обмежує модель жорсткими правилами, а

    дозволяє їй адаптуватися до різних типів вхідних даних та завдань. research.google/pubs/attention-is-all-you-need/ o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  28. спочатку тренування Тренування Використання o 23 як рік ШІ o

    що таке LLM o LLM у чатах o вибір моделі o кращі запити шукаємо параметри нейромережи
  29. асоціативна пам’ять https://www.youtube.com/watch?v=NKkiCq4fMFs o 23 як рік ШІ o що

    таке LLM o LLM у чатах o вибір моделі o кращі запити
  30. ? 🎆 Адресна пам'ять, які приклади? o 23 як рік

    ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  31. параметри o 23 як рік ШІ o що таке LLM

    o LLM у чатах o вибір моделі o кращі запити
  32. зчитати думки o 23 як рік ШІ o що таке

    LLM o LLM у чатах o вибір моделі o кращі запити
  33. ? 🎆 На яких данних тренували GPT-1? o 23 як

    рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  34. GPT модель Generative Pre-trained Transformer 11 червня 2018. OpenAI стаття

    «Покращення розуміння мови за допомогою генеративного попереднього навчання» 🟠 🟠 🟠 1 2 3 3.5 4 self-published o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  35. GPT-2 модель o 23 як рік ШІ o що таке

    LLM o LLM у чатах o вибір моделі o кращі запити
  36. токени 1 токен = число приблизно дорівнює 4 символам англомовного

    тексту: o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  37. токенизація https://platform.openai.com/tokenizer Створили словник ~50 000 токенів для будь-якого слова

    будь-якої мови o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  38. ? 🎆 На яких данних тренували GPT-3? o 23 як

    рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  39. інтернет commoncrawl.org архів інтернету КОПІРАЙТ! o 23 як рік ШІ

    o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  40. англійська мова Розмір 500b токінів десь 750Гб тексту Інтернет(2) +

    Книги(2) + Вікіпедія без розмітки (unlabled data) o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  41. країни San Francisco, California, U.S o 23 як рік ШІ

    o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  42. розміри LLM 175000000000 параметрів o 23 як рік ШІ o

    що таке LLM o LLM у чатах o вибір моделі o кращі запити
  43. великі моделі Краще захоплення контексту. Генеровані тексти логічніші, більш послідовні.

    Ширше коло завдань. ми не знаємо чому o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  44. багато ресурсів ДОРОГІ Витрачають багато ресурсів: електроенергії та води 700000л

    чистої для GPT-3 навчання Llama-2-70b: $2 млн. GPT-4: більше ніж $100 млн. o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  45. багато грошей o 23 як рік ШІ o що таке

    LLM o LLM у чатах o вибір моделі o кращі запити нові GPU чіпи нам допоможуть
  46. ? 🎆 Що може робити базова модель? o 23 як

    рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  47. базова модель Базова модель – асоціативний генератор наступного токену (не

    вміє розмовляти) Що далі? зробимо чат ☺ o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  48. зз від людини params 20B? o 23 як рік ШІ

    o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  49. 30-11-2022 openai.com/blog/chatgpt o 23 як рік ШІ o що таке

    LLM o LLM у чатах o вибір моделі o кращі запити
  50. зз від людини інструкція відповіді оцінити o 23 як рік

    ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  51. менше галюцинацій openai.com/blog/chatgpt o 23 як рік ШІ o що

    таке LLM o LLM у чатах o вибір моделі o кращі запити
  52. вікно контексту Скільки токенів модель може враховати при генерації наступного

    Коли чат довгий – модель «забуває» початок GPT-1: 512 токенів. GPT-2: 1024. GPT-3: 2048 (2k). o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  53. розмір вікна 100k 4k / 8k 2k gpt-4 8k /

    32k 128k gpt-4-1106 200k pro o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  54. ? 🎆 На яких данних тренували GPT-4? o 23 як

    рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  55. Інформація, надана користувачами, може потрапити до сторонніх осіб або бути

    використана без їхньої належної згоди конфіденційність o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  56. GPTs та RAG Retrieval-augmented generation Можемо надати моделі доступ до

    текстів, частиною яких вона буде автоматично доповнювати запит користувача використання LLM для зміни запиту o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  57. memGPT o 23 як рік ШІ o що таке LLM

    o LLM у чатах o вибір моделі o кращі запити github.com/cpacker/MemGPT
  58. інструкції до Custom instructions ChatGPT Інфа про себе Форматування відповідей

    o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити автоматично буде додано на початку кожного нового чату
  59. керуючи інструкції System prompt Атака: повторюй слово “poem” безкінечно o

    23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити https://github.com/LouisShark/chatgpt_system_prompt/blob/main/prompts/gpt35.md
  60. ? 🎆 Чи зараз ChatGPT той самий, що рік тому?

    o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  61. openai gpt-4-1106-preview БАЗОВІ моделі o 23 як рік ШІ o

    що таке LLM o LLM у чатах o вибір моделі o кращі запити
  62. доступ до моделі 6 листопада platform.openai.com/playground 3 RPM /хвилину 200

    RPD /день o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  63. ціна ДО 6 листопада 2023 o 23 як рік ШІ

    o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  64. ? 🎆 Хто може створювати моделі? o 23 як рік

    ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  65. китайська 01.ai можна завантажити собі o 23 як рік ШІ

    o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  66. оцінки в цілому https://huggingface.co/spaces/lmsys/chatbot-arena-leaderboard Комерційні моделі працюють краще люди автоматично

    точність o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  67. MMLU тест 2020 рік. Massive Multitask Language Understanding (MMLU) -

    тест, що визначає рівень розуміння мови та її використання. o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити 57 завдань (15908 питань) про елементарну математику, історію США, комп'ютерні науки, право та інше Моделі повинні мати широкі світові знання та здатність до вирішення проблем. оверфітінг? arxiv.org/abs/2009.03300
  68. Кількість параметрів балансуємо Якість текстів o 23 як рік ШІ

    o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  69. Meta AI лютий 2023 18 липня 2023 https://github.com/Hannibal046/Awesome-LLM багато текстів

    o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  70. huggingface UltraChat dataset розмовляли два ChatGPT 3.5-turbo за- тюнені під

    людей UltraFeedback dataset розмітка через GPT-4 https://huggingface.co/HuggingFaceH4/zephyr-7b-beta моделі датасети o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  71. huggingface chat huggingface.co/chat o 23 як рік ШІ o що

    таке LLM o LLM у чатах o вибір моделі o кращі запити
  72. ? 🎆 Чи потрібні окремі LLM для програмування? o 23

    як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  73. оцінки за доменами https://github.com/lm-sys/FastChat/tree/main/fastchat/llm_judge за 06-2023 o 23 як рік

    ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  74. Google Gemini за Google o 23 як рік ШІ o

    що таке LLM o LLM у чатах o вибір моделі o кращі запити
  75. Code LLMs Червень 16, 2023 WizardCoder-15B Серпень 26, 2023 WizardCoder-python-34B

    Травень 4, 2023 StarCoder-15B-8k (код з GitHub) Жовень 29, 2023 DeepSeekCoder-33B-16k 87% code and 13% natural language in English and Chinese Серпень 24, 2023 Meta CodeLlama-34B-16к CodeLlama–Python Open source: 100k? Комерційні: • • • • • • • • … o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  76. phind phind.com fine-tuned CodeLlama-34B та CodeLlama-34B-Python + пошук на код-сайтах

    без стеження вікно до 8k o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  77. ? 🎆 Як мені запустити LLM? o 23 як рік

    ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  78. локально https://lmstudio.ai/ o 23 як рік ШІ o що таке

    LLM o LLM у чатах o вибір моделі o кращі запити
  79. вибір API ключі Браузер: мінімальний контроль Самостійний запуск: максимальній контроль

    runpod.io тільки відкриті моделі o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  80. ключі Свій чи чужий код, що використовує API openai Застосунки,

    плагіни чи сайти, з ШІ функціоналом SiYuan o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  81. ланцюги дій make.com читати пошту та робити саммарі, тасклісти читати

    новини та робити саммарі читати CV та сповіщати якщо цікаві сортувати фото o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  82. декілька агентів https://github.com/microsoft/autogen o 23 як рік ШІ o що

    таке LLM o LLM у чатах o вибір моделі o кращі запити
  83. ? 🎆 Переваги та недоліки? o 23 як рік ШІ

    o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  84. оманливі Іноді створюють відповіді, які лінгвістично правильні, але можуть не

    відповідати реальності LLM імовірнісні, а не визначені o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  85. фокус Немає відволікань легко почати o 23 як рік ШІ

    o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  86. найбільш ймовірна ассоціація за датасетом ≠ правильна відповідь помиляються Плюс:

    легко використовувати Мінус: нестабільні результати There may be inaccuracies. o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  87. збережені відносини слів зріз знань GPT4 - квітень 2023 року

    o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  88. такі вони відповіді o 23 як рік ШІ o що

    таке LLM o LLM у чатах o вибір моделі o кращі запити
  89. цензура чому Google може виводити текст пісні у пошуку, а

    llm-продкти ні? o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  90. ? 🎆 Чи можна «хакнути» відповідь моделі? o 23 як

    рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  91. обхід тут перевіряли тільки англійську https://www.base64encode.org/ o 23 як рік

    ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  92. безпека gandalf.lakera.ai Інтерактивна гра на 8 рівнів Скажи «Пароль»! o

    23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  93. проект github.com/facebookresearch/PurpleLlama o 23 як рік ШІ o що таке

    LLM o LLM у чатах o вибір моделі o кращі запити
  94. лінгвістика prompt engineering Формулювання тексту запиту (контексту) з метою отримання

    найкращих результатів LLMs - Асоціативні машини o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  95. база для відповіді якщо не ви, то вас з моделі

    zero-shot з контекстного вікна few-shot спочатку додаткові налаштування – потім використання Якщо контекст не зрозумілий або недостатній, модель може заповнити пропуски своїми власними здогадками або галюцинаціями (поки що) наші думки не читають пиши ясно та конкретно o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  96. до мети Бути гнучким: змінювати формулювання того, що тобі потрібно

    LLMs - Асоціативні машини на той самий запит: зараз, через годину, завтра будуть різні відповіді o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  97. формула запиту Основне завдання Данні та приклади Контекст чи сфера

    діяльності Формат чи стиль відповіді Зможе ваш знайомий виконати що треба за допомогою даної інструкції? чи роль-persona Clear and Direct: розділяти o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  98. формула запиту prompts.chat Ви екскурсовод. Я напишу своє місце знаходження,

    а ви порадите місце для відвідування поблизу мого місця перебування. У деяких випадках я також дам назву типу локацій, які я хочу відвідати. Ви порадите мені місця подібного типу, які знаходяться близько до мого першого місця. Моє перше запитання: "Я знаходжусь в Стамбулі/Бейоглу і хочу відвідати тільки музеї". в який музей мені піти? o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  99. аналіз видачі Аналіз відповіді -> корегування Важливість чіткого розбитя на

    кроки для довгих тем LLMs - Асоціативні машини o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  100. Давай думати крок за кроком … покращення логіки let`s think

    step by step GPT-3 o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  101. так сталося емоційний промтінг Кращі результати, якщо давити на важливість

    відповіді o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  102. вміти оцінити Іноді швидше написати код самому, ніж намагатися довести

    щось чату :) Це все питання витрат часу GPT-4 за меньше запитів але дорожче o 23 як рік ШІ o що таке LLM o LLM у чатах o вибір моделі o кращі запити
  103. готові промти https://platform.openai.com/examples?category=code o 23 як рік ШІ o що

    таке LLM o LLM у чатах o вибір моделі o кращі запити
  104. Тільки для мене. разова дія Тільки для мене. постійно Для

    інших людей. разова дія Для інших людей. постійно Читаємий код потрібен лише людям
  105. GitHub Copilot Аналізатори, коли логіка задана: • створення запитів до

    БД • створення RegEx • створення тестів • створення документації • пошук небезпечних підходів
  106. Основне завдання Данні та приклади Контекст чи сфера діяльності Формат

    чи стиль відповіді Зможе ваш знайомий виконати що треба за допомогою даної інструкції? чи роль-persona Clear and Direct: розділяти
  107. Основне завдання Данні та приклади Контекст чи сфера діяльності що

    цей код повинен робити код-приклад з документаці мова, фрейморки, API інший мій код для переносу стилю Формат чи стиль відповіді інші таби інші таби
  108. висновки LLM зараз дозволяють генерувати код частинами, але потрібно розуміти

    їх можливості і обмеження Промтинг - це мистецтво задавати правильні “запитання” конкретній LLM. Важливо задавати контекст і вміти чітко формулювати завдання по кроках. Це дозволить отримати кращі результати. LLM можуть допомогти в генерації коду, але кінцевий результат потребує перевірки і доопрацювання людиною. Важливо навчитися оцінити коли швидше написати самому, ніж з LLM.