Pragmatische AI Agents: Mit LLMs, Tools & Gedächtnis zum Ziel

Slides for my talk at BASTA! Spring 2026

Transcript

1. Pragmatische AI Agents LLMs, Tools & Reasoning Sebastian Gingter Developer Consultant sebastian.gingter@thinktecture.com
2. ▪ What to EXPECT ▪ Overview of building blocks of an Agentic system powered by Large Language Models (LLMs) ▪ Pragmatic use cases ▪ Demos (mostly language independent) ▪ What not NOT TO EXPECT ▪ ML & AI fundamentals ▪ ChatGPT, CoPilot(s) ▪ Deep dives into Mastra, Semantic Kernel Agent Framework, Copilot SDK, Claude SDK etc. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel
3. Pragmatische AI Agents Mit LLMs, Tools & Gedächntnis zum Ziel Sebastian Gingter Developer Consultant sebastian.gingter@thinktecture.com
4. ▪ Generative AI in business settings ▪ AI driven Developer Productivity & Software Quality ▪ All things .NET ▪ Microsoft MVP for .NET & Azure AI Services ▪ sebastian.gingter@thinktecture.com ▪ https://www.thinktecture.com Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Sebastian Gingter Developer Consultant @ Thinktecture AG
5. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel What is an “Agent”?
6. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Agent, noun, countable, /ˈeɪ.dʒənt/ ▪ someone who works secretly for the government or another organization ▪ a person who acts for or represents another ▪ a person or thing that produces a particular effect or change
7. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Agent ▪ LLM with the licence to act
8. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel From LLM to Agent
9. ▪ LLMs are just a web request for us Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Large Language Models (LLMs)
10. From LLM to Agent Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel DEMO
11. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Recap
12. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel LLMs are stateless 🫥
13. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel LLMs are stateless ▪ We must add memory
14. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Chat is just a loop now
15. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Chat is just a loop now ▪ Message types ▪ System ▪ User ▪ Assistant ▪ We have full control over the memory! ▪ We can inject and alter history if we want/need to
16. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Tools allow interaction with the real world
17. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Tools allow interaction with the real world ▪ Assistant message can carry tool calls ▪ New message type: tool ▪ Tool choice can be preset or automatic ▪ Provide only few tools. OpenAI docs says: “Aim for fewer than 20 functions at any one time”
18. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Interlude: Model Context Protocol (MCP) ▪ No magic, just a standardized way of ▪ providing tools to a model ▪ interpreting and execution of tool calls ▪ Specification is still work in progress and missing a lot ▪ Stateful protocol at heart ▪ Authentication is an afterthought https://julsimon.medium.com/why-mcps-disregard-for-40-years-of-rpc-best-practices-will-burn-enterprises-8ef85ce5bc9b
19. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Tools in a loop allow agency
20. Ein KI-Agent ist ein Programm, das in einer Schleife zwischen dem Reasoning mit einem LLM und dem Ausführen von Tools wechselt, bis es sein Ziel erreicht. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel KI-Agenten - Einzeiler
21. An AI-Agent is a program, which loops between reasoning with a LLM and the calling of tools, until it reaches its goal. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel AI-Agent – One-liner
22. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel That’s it!
23. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Or is it?
24. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel What do we have now? ▪ There are a LOT of issues with that simple approach ▪ Memory grows over time (performance, cost, context window size overrun) ▪ Unstructured trial and error (depending on model) ▪ Functions limit what the agent can do ▪ User has very little control over what happens ▪ Flow is easily interrupted by external errors ▪ etc…
25. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Memory / Prompt / Context Management ▪ Memory growth ▪ Context window limits ▪ Prompt Caching ▪ Selective memory ▪ Compacting (Summarization in intervals)
26. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Unstructured trial & error ▪ ReAct – Pattern (Reasoning & Acting) ▪ Reasoning models do help ▪ Prompt for a plan first, then continue ▪ Ask to create a todo-list and follow that
27. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Function limits ▪ Filter functions by context ▪ Embeddings can help ▪ Sub-agents ▪ Hand a sub-task over to agents with specific tools
28. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Limited control ▪ Approval gates ▪ Agent should pause before certain tasks ▪ Certain tools require user-approval (outside of agent loops) ▪ User can approve/deny/request changes ▪ Real-time monitoring ▪ User sees work and can interrupt with corrections
29. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Resilience ▪ A working agent is a long-running process between different systems ▪ treat it like that ▪ Agent state is serialized / persisted between roundtrips ▪ Partial results should be stored
30. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Pragmatic ideas
31. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Agents Architecture Overview Language Model Decides to reason, act, or respond Input User or environment Memory Preferences or prior facts Storage Session history and state Instructions Behavior policy, tool usage rules Reasoning Plan, reflect, analyze results Output Response / effect Tools APIs and actions, MCP Knowledge Domain data, RAG / Search Query / event Recall context Load instructions Save session Make decision Use tools Search knowledge Process results Generate output Central decision maker Input/output flow Core system components External interactions 1 2 3 4 7 8 6 5 5 ↻
32. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Different execution modes ▪ Autonomous – Agent works uninterrupted ▪ Step-by-step – Pause before every tool call ▪ Supervised - Agents actively asks when unsure ▪ You can switch between modes if necessary
33. Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel Progress broadcasting ▪ Using of real-time / streaming APIs ▪ Reasoning and current steps are always visible to the user ▪ User can interrupt / stop the process ▪ User can inject (corrective) messages at every time
34. Example Agent Pragmatische AI Agents Mit LLMs, Tools & Gedächtnis zum Ziel DEMO
35. Thank you! Demos: https://github.com/thinktecture-labs/basta-2026-spring-agents Sebastian Gingter sebastian.gingter@thinktecture.com https://thinktecture.com/sebastian-gingter