Moscow Python Meetup №112. Как поселить ИИ агентов в event driven архитектуре

Владислав Ладенков (CTO, Ubest.ae) @ Moscow Python Meetup №112

Представляем работу ИИ-агента как длительную сессию, с полным управлением ее рантайма через синхронное и асихнронное взаимодействие. Используем Temporal как оркестратор агентских сессий и красиво женим его с event driven архитектурой.

Видео: https://moscowpython.ru/meetup/112/ai-agents-in-ai-driven-architecture/

Moscow Python: http://moscowpython.ru
Телеграм-канал Moscow Python: https://t.me/moscow_python
Чат Moscow Python: https://t.me/moscowpythonconf
Заявки на доклады: https://bit.ly/mp-speaker

Moscow Python Pro: https://bit.ly/moscow-python-pro
Расписание мероприятий Moscow Python Pro: https://bit.ly/mp-pro-events

Transcript

1. Как поселить агентов в асинхронной архитектуре Или как Мартин Фаулер сделал бы агентский бэкенд Владислав Ладенков
2. Консилиум экспертов по ивент сорсингу • Warmup по EDA • Опенсорс, который мы взяли для ИИ агентов • Как все это работает вместе
3. EDA: плюсы / минусы EDA = Event Driven Architecture • Слабая связанность в пространстве и времени (отсюда следует отказоустойчивость и гибкость) • Realtime fan-out • Аудит и «replay» • Eventual consistency • Сложнее Debugging / dev / UX • Легче себе навредить
4. Шина событий
5. Простейший пример Взаимодействие между сервисами двух команд
6. Простейший пример Fire and forget Fire and forget
7. Простейший пример
10. события декларативны «passive agressive event» Принцип fire-and-forget
11. П Простейший пример событие != запрос
12. А как тогда масштабироваться?
13. fi «you'll need two kinds of event — requests to update data … and con rmed updates … This may also lead you to using a separate channel for update requests» (c) Fowler
14. Я Вы
15. Сюда надо поселить агентов
16. ИИ ассистент 1. Пользователь общается с ассистентом через чат. 2. Ассистент реагирует на все события в системе в реальном времени 3. Ассистент агент, у которого есть ?тулы?сабагенты 4. Ответы ассистента возвращаются в чат 5. Система реагирует на действия агента 6. Допустим, код через Agents SDK от OpenAI
17. Как подселить агентов в нашу EDA?
18. Как подселить агентов Вариант 1: сервис «mix of event collaboration and request/response is common» (c) Martin Fowler
19. Как подселить агентов Вариант 2: +консумер
20. Как подселить агентов Вариант 3: +оркестратор
21. Как подселить агентов Вариант 4: распределенный агент (SAGA)
22. Как подселить агентов Вариант 5: Автономные агенты
23. Выбираем фаворита Варианты архитектуры • Агент внутри сервиса • Агент внутри консумера • Агент внутри AI оркестратора • SAGA agent • Autonomous agents • Против всех
24. Выбираем фаворита
25. Выбираем фаворита Варианты архитектуры Характеристики агента • Агент внутри сервиса • Statefull • Агент внутри консумера • REACTfull • Агент внутри AI оркестратора • Proactive • SAGA agent • Durable • Autonomous agents • Против всех
26. Выбираем фаворита Варианты архитектуры Характеристики агента • Агент внутри сервиса • Statefull • Агент внутри консумера • REACTfull • Агент внутри AI оркестратора • Proactive • SAGA agent • Durable • Autonomous agents
27. Выбираем фаворита - Агент внутри сервиса (пробовали, выкинули мвп) - Агент внутри консумера (пробовали, ушло в прод, выкинули) - Хореографию не понимаем и боимся - В автономных боимся - Агент внутри оркестратора (пробовали, пошло в прод)
28. Выбираем оркестратор
29. About Temporal Один из многих?
30. About Temporal Event history
31. About Temporal Event history
32. Why Temporal By temporal • Reliable distributed applications The design of the system ensures that, once started, an application's main function executes to completion, whether that takes minutes, hours, days, weeks, or even years • Productive development paradigms and code structure Temporal's programming model o ers developers a way to express their business logic into coherent Work ows that are much easier to develop than distributed code bases. ff fl • Visible distributed application state
33. Why Temporal Personally • The engine guarantees delivery • Ordering Guarantee • Signal delivery guarantee • Update timers • Early return fl • Child work ows with relations хорошо ложатся на модель subagents
34. Финальная арх-ра Выдаем чужие события за свои? Возможна двойная отправка! Идемпотентность в Активити
35. Сигналы в Temporal
36. Durable AI? Durable work ows= After a restart, the runtime replays that history and continues from the same place (timers, waits, activity results intact) Durable AI Durable AI = Long-running, stateful agent loops that call LLMs and tools, wait on humans, and pick up exactly where they left o after a failure ff fl «Loading» -> «Thinking». (and now we are AI)
37. Правда про Temporal Был сделан в 2019 для оркестрации saga и других асинхронных воркфлоу Упрощает самую сложную часть EDA: • События-команды -> activity+rpc • Локальные компенсации понятно когда вызываются • Локальные компенсации и понятней когда вызываются • Шаги саги выражены в удобных примитивах • Рекавери из и Стейт-менеджмент из коробки
39. Сага ~ Агент?
40. Так как же подселить агентов в асинхронную архитектуру? 1.Положить агента на модель саги с оркестратором 2.Использовать темпорал для оркестрами саги 3.Постараться обойтись без CMD событий и использовать responce-request 4.Выявить уникальные события агента и не мимикрировать чужие события 5.Не путать стриминг токенов и прогресса с событиями
41. Спасибо за внимание!
42. Какой мем был сделан при помощи ИИ? 1. «Экспертный консилиум по ивент сорсингу» 2. «Мы на одной странице» 3. Навозный жук интегрирует в EDA 4. Drake 2019 vs durable AI runtime