ABS2024: Azure AI Deep Dive with Ausgleichskasse Basel Stadt by Jörg Bieri & Ivan Babic

⭐️ Azure AI deep dive with Ausgleichskasse Basel Stadt#
Witihin this session, we will demonstrate how we implemented a “Chat GPT” like solution at the Ausgleichskasse Basel Stadt. We will dive into the technical details and present our learnings.
🙂 JÖRG BIERI ⚡️ CTO @ GARAIO AG
🙂 IVAN BABIC ⚡️ Developer @ GARAIO AG

Transcript

1. simply different Azure AI deep dive with Ausgleichskasse Basel Stadt
2. Your hosts today AI Innovation Engineer ivan.babic@garaio.com Product Owner AI CTO joerg.bieri@garaio.com Ivan Babic Jörg Bieri
3. GARAIO Facts since 1994 70 Employees 12 Mio Rev BERN & ZÜRICH SOFIA MICROSOFT SOLUTION PARTNER
4. What to expect from us? Customer Experience Employee Experience AI / ML
5. Ausgleichskasse Basel Stadt in numbers ▪70 employees ▪39,000 customers, 45,000 pension recipients, 20,000 FAK beneficiaries (30,000 eligible children) ▪450 million AHV/IV/EO contributionsand 1 billion in benefits ▪9,000 on-site consultations,400,000 postal deliveries, 130,000 phone calls, 50,000 emails ▪AKBS motto: Competence – Performance – Trust.
6. Initial situation ▪Individuals spend up to 30% of their working time searching for information. ▪Result of CAS transfer work: The greatest potential lies in search processes within legal texts. ▪Current search approach: Sequential keyword search across various legal levels (WL, KS, VO, BG)
7. Questions and use cases Nr.Fachfrage Lösung Stichwortsuche Quellen Zeitaufwand bisher 1Eltern sind geschieden. Beide Elternteilesind erwerbstätig. Die Kinder leben bei der Kindsmutter. Wer hat Anspruch auf Familienzulagen? Die Kindsmutter hat Anspruch, da die Kinder überwiegend bei Ihr leben. Anspruchskonkurrenz Art. 7 Abs. 1 lit. c FamZG 3 min. 2Besteht Anspruch auf Familienzulagen, wenn ein 17- jähriges Kind krankheitshalber die Schule nicht besuchen kann? Es besteht solange Anspruch auf Familienzulagen, wie ein ärztliches Zeugnis die Krankheit bescheinigt. Längstens aber 12 Monate seit Krankheitsunterbruch. Krankheit Rz. 3373 RWL 3 min.
8. Solution [10],[72],[63],[22] [10],[72],[63],[22] [10],[72],[63],[22] Vector Store Wer hat Anspruch auf Kinderzulagen? [10],[22],[83],[22] Search Vector Semantic Ranked Results LLM & History (Token) Anspruch auf Zulagen hat…..
9. Solution Walkthrough Azure resources Full-Text + vector + hybrid search engine Azure AI Search LLM & Embedding (= vector representation) AI Document Intelligence App service
10. Solution Walkthrough Indexing & querying
11. Learnings ▪ Prompt Engineering is key ▪ Content is key ▪ Splitting (chunks) content is key ▪ Data privacy is key ▪ Fast moving tech ▪ Tons of new things to learn ▪ At the end it’s fun!
12. simply different Fragen & Diskussion
13. Linksammlung ▪ AKBS Blog und Lösungsbeschrieb Künstliche Intelligenz: Chatbot für die Kundendienst-Mitarbeitenden der AKBS (garaio.com) ▪ Intro to AI Wo ist bloss die Intelligenz bei der künstlichen Intelligenz? Einleitung - Teil 1 einer 7-teiligen Blogserie zu KI (garaio.com) ▪ Machine Learning Blog Machine Learning in Azure (garaio.com) ▪ Azure Open AI search demo – github Repository GitHub - Azure-Samples/azure-search-openai-demo: A sample app for the Retrieval-Augmented Generation pattern running in Azure, using Azure AI Search for retrieval and Azure OpenAI large language models to power ChatGPT-style and Q&A experiences.