CHESHIRE CAT AI, Production-ready AI Assistant Framework Quando lʼIA fa le fusa Alessandro Spallina, Core Contributor 17/01/2024

Ing Inf Research Engineer Telco Cloud Engineer

Ing Inf Research Engineer Telco Cloud Engineer Core Contrib

Overview Cheshire Cat The AI Assistant Framework 1. Large Language Model 2. Architetture sw on-top 3. Cheshire Cat AI 4. Demo

Large Language Model (LLM) Cheshire Cat The AI Assistant Framework LL M Testo (Prompt) Testo (Risposta)

Large Language Model (LLM) Cheshire Cat The AI Assistant Framework Funzionalità: ● Elaborazione del linguaggio ● Generazione di testo ○ Traduzioni ○ QA ○ Riassunti LLM Testo (Prompt) Testo (Risposta)

Large Language Model (LLM) Cheshire Cat The AI Assistant Framework Funzionalità: ● Elaborazione del linguaggio ● Generazione di testo ○ Traduzioni ○ QA ○ Riassunti LLM Testo (Prompt) Testo (Risposta) Limitazioni: ● Comprensione superficiale ○ Bias ○ Errori di contestualizzazione ○ Allucinazioni ● Non hanno memoria (sessione) ○ Conoscenza statica

Cheshire Cat The AI Assistant Framework

Cheshire Cat The AI Assistant Framework Quale LLM scelgo per la mia macchina?

LLM Proprietari vs Open Cheshire Cat The AI Assistant Framework LLM Proprietari: ● Potenti 😊 ● Servizi in cloud ○ Pay per use 😊 ■ No hw specializzato ○ Privacy? 🤔 ● Vendor-lock 😡

LLM Proprietari vs Open Cheshire Cat The AI Assistant Framework LLM Proprietari: ● Potenti 😊 ● Servizi in cloud ○ Pay per use 😊 ■ No hw specializzato ○ Privacy? 🤔 ● Vendor-lock 😡 LLM Open (weights/source): ● Non ancora così potenti 😒 ● On-prem ○ Controllo -> Privacy first 😊 ○ Serve hw specializzato (GPU) 😒 ● No vendor -> no lock! 😊

Cheshire Cat AI: Language Model Agnostic Cheshire Cat The AI Assistant Framework Ollama

Memoria Cheshire Cat The AI Assistant Framework Limitazioni: ● Comprensione superficiale ○ Bias ○ Errori di contestualizzazione ○ Allucinazioni ● Non hanno memoria (sessione) ○ Conoscenza statica

Cheshire Cat AI: Memoria Cheshire Cat The AI Assistant Framework ● Episodica ○ Ricordi di interazioni passate con lʼutente ● Dichiarativa ○ Ricordi di documentazione fornita ● Procedurale ○ Ricordi di funzioni Python che possono essere chiamate allʼoccorrenza

Cheshire Cat AI: Memoria Cheshire Cat The AI Assistant Framework ● Episodica ○ Ricordi di interazioni passate con lʼutente ● Dichiarativa ○ Ricordi di documentazione fornita ● Procedurale ○ Ricordi di funzioni Python che possono essere chiamate allʼoccorrenza Come funziona questa magia?

Retrieval-Augmented Generation (RAG) Cheshire Cat The AI Assistant Framework ● Tecnica per migliorare ○ Qualità e pertinenza dellʼoutput ● Consiste nel creare un “contesto” da dare in input al LLM in modo che sia aware di dati nuovi/dinamici ● Le implementazioni classiche vedono lʼutilizzo di un vectordb dal quale vengono estratti “ricordi” calcolando la similitudine semantica con la query dellʼutente

Cheshire Cat The AI Assistant Framework Sì, ok tutto bello, ma come lo personalizzo?

Cheshire Cat AI: Plugin Cheshire Cat The AI Assistant Framework Prendendo ispirazione da sw come Wordpress -> modularità ● Personalizzare lʼalgoritmo (agent) tramite @hook ○ Consente di aggiungere logiche custom in punti specifici ● Aggiungere “ricordi” di funzioni Python tramite @tools ○ Consente di aggiungere logiche di interazione con API / …

Cheshire Cat AI: Plugin Cheshire Cat The AI Assistant Framework Tabella degli hook, fonte doc

Cheshire Cat AI: Plugin Cheshire Cat The AI Assistant Framework

Demo time Cheshire Cat The AI Assistant Framework

Demo time? Cheshire Cat The AI Assistant Framework

CHESHIRE CAT AI Grazie! Alessandro Spallina, Quando l’IA fa le fusa alessandro@spallina.dev 17/01/2024 Cheshire Cat The AI Assistant Framework Scanme per contatti del progetto

Backup Cheshire Cat The AI Assistant Framework

LLM Open Cheshire Cat The AI Assistant Framework Dataset Model Weights } Open Weights } Open Source } Open Source + Data