Quando l'IA fa le fusa: Cheshire Cat AI, Production-ready AI Assistant Framework

Video: https://video.linux.it/w/52PVMQRWmKCmbMRQjdLeXf?start=1h0m49&stop=1h29m3
Codice: https://github.com/AlessandroSpallina/ccat-community-assistant

GPT, Llama2, Mistral, Gemini, RAG... da dove inizio?

Facciamo il punto sui Large Language Models e cerchiamo di capire come sceglierli e come iniziare a costruirci sopra AI Assistant che possano affiancare gli umani grazie a Cheshire Cat AI

Quale LLM scegliere? LLM proprietari o open-weights? Come dare accesso a informazioni nuove? Dinamiche? Come inizio ad avere qualcosa funzionante senza diventare scemo?

Forse, dopo questo talk, qualche domanda avrà trovato una risposta

Alessandro Spallina — Telco Cloud Engineering e Core Contributor di Cheshire Cat AI

Transcript

1. CHESHIRE CAT AI, Production-ready AI Assistant Framework Quando lʼIA fa le fusa Alessandro Spallina, Core Contributor 17/01/2024
2. Ing Inf Research Engineer Telco Cloud Engineer
3. Ing Inf Research Engineer Telco Cloud Engineer Core Contrib
4. Overview Cheshire Cat The AI Assistant Framework 1. Large Language Model 2. Architetture sw on-top 3. Cheshire Cat AI 4. Demo
5. Large Language Model (LLM) Cheshire Cat The AI Assistant Framework LL M Testo (Prompt) Testo (Risposta)
6. Large Language Model (LLM) Cheshire Cat The AI Assistant Framework Funzionalità: • Elaborazione del linguaggio • Generazione di testo ◦ Traduzioni ◦ QA ◦ Riassunti LLM Testo (Prompt) Testo (Risposta)
7. Large Language Model (LLM) Cheshire Cat The AI Assistant Framework Funzionalità: • Elaborazione del linguaggio • Generazione di testo ◦ Traduzioni ◦ QA ◦ Riassunti LLM Testo (Prompt) Testo (Risposta) Limitazioni: • Comprensione superficiale ◦ Bias ◦ Errori di contestualizzazione ◦ Allucinazioni • Non hanno memoria (sessione) ◦ Conoscenza statica
8. Cheshire Cat The AI Assistant Framework
9. Cheshire Cat The AI Assistant Framework Quale LLM scelgo per la mia macchina?
10. LLM Proprietari vs Open Cheshire Cat The AI Assistant Framework LLM Proprietari: • Potenti 😊 • Servizi in cloud ◦ Pay per use 😊 ▪ No hw specializzato ◦ Privacy? 🤔 • Vendor-lock 😡
11. LLM Proprietari vs Open Cheshire Cat The AI Assistant Framework LLM Proprietari: • Potenti 😊 • Servizi in cloud ◦ Pay per use 😊 ▪ No hw specializzato ◦ Privacy? 🤔 • Vendor-lock 😡 LLM Open (weights/source): • Non ancora così potenti 😒 • On-prem ◦ Controllo -> Privacy first 😊 ◦ Serve hw specializzato (GPU) 😒 • No vendor -> no lock! 😊
12. Cheshire Cat AI: Language Model Agnostic Cheshire Cat The AI Assistant Framework Ollama
13. Memoria Cheshire Cat The AI Assistant Framework Limitazioni: • Comprensione superficiale ◦ Bias ◦ Errori di contestualizzazione ◦ Allucinazioni • Non hanno memoria (sessione) ◦ Conoscenza statica
14. Cheshire Cat AI: Memoria Cheshire Cat The AI Assistant Framework • Episodica ◦ Ricordi di interazioni passate con lʼutente • Dichiarativa ◦ Ricordi di documentazione fornita • Procedurale ◦ Ricordi di funzioni Python che possono essere chiamate allʼoccorrenza
15. Cheshire Cat AI: Memoria Cheshire Cat The AI Assistant Framework • Episodica ◦ Ricordi di interazioni passate con lʼutente • Dichiarativa ◦ Ricordi di documentazione fornita • Procedurale ◦ Ricordi di funzioni Python che possono essere chiamate allʼoccorrenza Come funziona questa magia?
16. Retrieval-Augmented Generation (RAG) Cheshire Cat The AI Assistant Framework • Tecnica per migliorare ◦ Qualità e pertinenza dellʼoutput • Consiste nel creare un “contesto” da dare in input al LLM in modo che sia aware di dati nuovi/dinamici • Le implementazioni classiche vedono lʼutilizzo di un vectordb dal quale vengono estratti “ricordi” calcolando la similitudine semantica con la query dellʼutente
17. Cheshire Cat The AI Assistant Framework Sì, ok tutto bello, ma come lo personalizzo?
18. Cheshire Cat AI: Plugin Cheshire Cat The AI Assistant Framework Prendendo ispirazione da sw come Wordpress -> modularità • Personalizzare lʼalgoritmo (agent) tramite @hook ◦ Consente di aggiungere logiche custom in punti specifici • Aggiungere “ricordi” di funzioni Python tramite @tools ◦ Consente di aggiungere logiche di interazione con API / …
19. Cheshire Cat AI: Plugin Cheshire Cat The AI Assistant Framework Tabella degli hook, fonte doc
20. Cheshire Cat AI: Plugin Cheshire Cat The AI Assistant Framework
21. Demo time Cheshire Cat The AI Assistant Framework
22. Demo time? Cheshire Cat The AI Assistant Framework
23. CHESHIRE CAT AI Grazie! Alessandro Spallina, Quando l’IA fa le fusa alessandro@spallina.dev 17/01/2024 Cheshire Cat The AI Assistant Framework Scanme per contatti del progetto
24. Backup Cheshire Cat The AI Assistant Framework
25. LLM Open Cheshire Cat The AI Assistant Framework Dataset Model Weights } Open Weights } Open Source } Open Source + Data