Upgrade to Pro — share decks privately, control downloads, hide ads and more …

TT Webinar: ‘Talk to your systems’: LLM-Anbindu...

TT Webinar: ‘Talk to your systems’: LLM-Anbindung durch strukturierte Daten & Tool-Integration

Bekanntermaßen ist das “Sprechen” mit eigenen Daten (auch bekannt als RAG) der “Hello World”-Anwendungsfall für Gen AI & LLMs. Aber es gibt noch mehr zu entdecken! Basierend auf ihrem Verständnis der menschlichen Sprache können LLMs genutzt werden, um innovative Interaktionen für Anwendungen und Systeme zu realisieren. In dieser Session zeigt Christian, wie Sie strukturierte Datenausgaben mit Datenschemata und Funktionsaufrufen nutzen, um Ihre APIs und Applikationen mit der Power von LLMs zu verbinden. Sehen Sie, wie die transformative Natur von Generative AI eventuell auch Ihren Lösungen helfen kann. Kommen Sie vorbei und lassen Sie uns mit Anwendungen und Systemen sprechen!

Christian Weyer

February 26, 2025
Tweet

More Decks by Christian Weyer

Other Decks in Programming

Transcript

  1. 'Talk to your systems' LLM-Anbindung durch strukturierte Daten & Tool-Integration

    Human language rocks Extending access to software 4
  2. § Language models (LLMs, SLMs) are always part of end-to-end

    architectures § Everything goes into LM’s context via API calls § System prompt § User query § LMs enable human language as a first-class citizen 🤯 § Extending access possibilities to our software 'Talk to your systems' LLM-Anbindung durch strukturierte Daten & Tool-Integration End-to-end integration 8 Clients Services LLMs Desktop Web Mobile Service A Service B Service C API Gateway Monitoring LLM 1 LLM 2
  3. § We rely on LLM’s Language understanding NOT on its

    World knowledge❗ 'Talk to your systems' LLM-Anbindung durch strukturierte Daten & Tool-Integration ⚠ Important shoutout 10
  4. § Llama, Mistral, Qwen families show big potential § Success

    factors § Use case § Parameter size § Quantization § GPU processing power needed § CPU optimization on its way § Various cloud offerings § Local inference runtimes with APIs § E.g. llama.cpp, ollama, llamafile, vLLM 'Talk to your systems' LLM-Anbindung durch strukturierte Daten & Tool-Integration Open-source LLMs thrive § Local UIs § E.g. Open WebUI 12
  5. 'Talk to your systems' LLM-Anbindung durch strukturierte Daten & Tool-Integration

    Most convenient platform for developers today to work with Gen AI 14
  6. Semantic routing 'Talk to your systems' LLM-Anbindung durch strukturierte Daten

    & Tool-Integration "Talk to your systems” 20 Web App / Watch App Speech-to-Text Internal Gateway (Python FastAPI) LLM / SLM Text-to-Speech Transcribe spoken text Transcribed text Check for experts availability with text Extract { experts, booking times } from text Structured JSON data (Function calling) Generate response with availability Response Response with experts availability 🔉 Speech-to-text for response Response audio Internal Business API (node.js – veeeery old) Query Availability API Availability When is CL…? CL will be…
  7. Filling Angular forms with human language input – TypeScript-only protected

    readonly formGroup = this.fb.group({ firstName: [’’], lastName: [’’], addressLine1: [’’], addressLine2: [’’], city: [’’], state: [’’], zip: [’’], country: [’’] }); 'Talk to your systems' LLM-Anbindung durch strukturierte Daten & Tool-Integration Smart form filling OK, nice – so here is my address then:: Peter Schmitt, Rheinstr. 7 in Schkeuditz – postcode is 04435, BTW. Smart Form Filler (TS code & LLM) 21
  8. § Human language enables new powerful use cases & access

    to our software § Always use structured output § Structured output is the secret sauce for integrating LLMs into your application architectures § Consider applying the Maybe pattern § Brings more robustness § Function Calling can be flaky § Especially with smaller models § Do not use frameworks that ‘auto-magically’ map Function Calling results to local code § Always validate return data! § Instructor is a helpful library to boost LLM use cases § Implements lots of best practices § Supports any LLM / SLM § Integrates with FastAPI 'Talk to your systems' LLM-Anbindung durch strukturierte Daten & Tool-Integration Recap & Recommendations 23
  9. § Technology catalyst § AI-powered solutions § Pragmatic end-to-end architectures

    § Microsoft Regional Director § Microsoft MVP for AI § Google GDE for Web AI [email protected] https://www.thinktecture.com 'Talk to your systems' LLM-Anbindung durch strukturierte Daten & Tool-Integration Christian Weyer Co-Founder & CTO @ Thinktecture AG 25