Share
Explainable AI: wie ich lernte der KI zu vertrauen
Künstliche Intelligenz wird von Jahr zu Jahr mächtiger. Was vor kurzem noch als Utopie galt, ist heute bereits Realität. Aber haben wir die Systeme noch im Griff? Oder sind wir ihnen hilflos ausgeliefert. Vertrauensbildende Maßnahmen müssen her. Oder wie es in der Fachsprache heißt: Explainable AI.
Im Rahmen des Talks schauen wir uns verschiedene Techniken an, mit denen sich die Ergebnisse von ML-Modellen sowie deren Zustandekommen interpretieren und erklären lassen. Wir lernen, wie man Bias an verschiedenen Stellen des ML-Lifecycles aufspürt und bei „unfairem“ bzw. unerwünschtem Verhalten gezielt gegensteuert. Darüber hinaus betrachten wir die Anwendung von Metriken zur Bewertung von LLM-basierten Systemen wie z.B. Retrieval Augmented Generation Services (kurz RAG).
Am Ende haben wir dann hoffentlich alle wieder hinreichen Vertrauen ins unsere ML-Modelle. Und wenn nicht, dann kennen wir zumindest die Werkzeuge, mit denen wir bzw. die Anwender der Modelle das Vertrauen zurückgewinnen können.
Lars Roewekamp PRO
Transcript
110 slides
-
Explainable AI „Wie ich lernte, der KI zu vertrauen.“ #WISSENTEILEN
| Lars Röwekamp | open knowledge GmbH -
(Architecture, Cloud, AI & ML) Lars Röwekamp LinkedIn: lars_roewekamp CIO
New Technologies OPEN KNOWLEDGE -
„WARUM wurde auf dem Ultraschallbild ein Tumor klassifiziert?“ „WARUM wurde
meine Kreditanfrage über 5.000 € wiederholt abgelehnt?“ „WARUM habe ich ein höheres Risiko an einer Krankheit zu erkranken?“ Explainable AI Warum ist das wichtig?“ -
Explainable AI Warum ist das noch wichtig? VERTRAUEN KAUSALITÄT FAIRNESS
Übertragbarkeit des Modells auf andere „Fälle“ Verständliche(re) Information durch Proxy-Modell Bewertung des Grads des Datenschutzes -
Explainable AI Wo liegt das Problem? Accuracy Interpretability low high
low high Rule-based Models Decision Trees kNN Bayesian Models SVM Deep Learning -
Explainable AI Wo liegt das Problem? Accuracy Interpretability low high
low high Rule-based Models Decision Trees kNN Bayesian Models SVM Deep Learning -
Explainable AI Wo liegt das Problem? Accuracy Interpretability low high
low high Rule-based Models Decision Trees kNN Bayesian Models SVM Deep Learning Ziel von XAI -
Das VORGEHEN Welche Schlüsselfragen sollte ich mir beim Aufbau einer
Explainable AI beantworten. -
Explainable AI Das Vorgehen aka „Die fünf Schlüsselfragen“? „Whom to
explain?“ 1 Verstehen, wer die wichtigsten Stakeholder sind. -
„Whom to explain?“ „Why to explain?“ 1 2 Explainable AI
Das Vorgehen aka „Die fünf Schlüsselfragen“? Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. -
„Whom to explain?“ „Why to explain?“ „How to explain?“ 1
2 3 Explainable AI Das Vorgehen aka „Die fünf Schlüsselfragen“? Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. -
„Whom to explain?“ „Why to explain?“ „How to explain?“ „When
to explain?“ 1 2 3 4 Explainable AI Das Vorgehen aka „Die fünf Schlüsselfragen“? Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. Den richtigen Zeitpunkt für die Erklärung wählen. -
„Whom to explain?“ „Why to explain?“ „How to explain?“ „When
to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. Den richtigen Zeitpunkt für die Erklärung wählen. Den richtigen Ansatz für das genutzte Modell wählen. 1 2 3 4 5 Explainable AI Das Vorgehen aka „Die fünf Schlüsselfragen“? -
Saison: 1. Spring 2. Summer 3. Autumn 4. Winter Wetter:
1. Klar, teilweise bewölkt 2. nebelig, bewölkt 3. Leichter Schnee / Regen / Gewitter 4. Starker Regen + Gewitter + Hagel, Schnee Gefühlte Temperatur Target Count: Gesamtzahl aller gemieteten Räder (casual + registriert) Luftfeuchtigkeit Datum (2 Jahre) Explainable AI KI-gestützter Fahrradverleih „Flying Bikes“ -
Explainable AI KI-gestützter Fahrradverleih „Flying Bikes“ Logistic Regression Decision Tree
Random Forrest Support Vector Machine K-Nearest Neighbour Naive Byes Quelle: https://towardsdatascience.com/top-machine-learning-algorithms-for-classification-2197870ff501/ -
Zielgruppen- gerechte Methoden zur Erklärung finden. „How to explain?“ Explainable
AI KI-gestützter Fahrradverleih „Flying Bikes“ „Whom to explain?“ „When to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Den richtigen Zeitpunkt für die Erklärung definieren. Den richtigen Ansatz für das genutzte Modell wählen. „Why to explain?“ Los geht‘s … -
Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“
Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und zusätzliches Expertenwissen mit Hilfe des Modells aufbauen. Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre Situation“ verstehen. Carol & Paul, Data-Scientist Möchte die Effizienz und Performance des Modells sicherstellen bzw. erhöhen und Research betreiben. Adam, Investor Möchte das Risiko von im Unternehmen einge- setzter AI verstehen und das Einhalten von Regu- latorien sicherstellen. WER? WAS? -
Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre
Situation“ verstehen. Carol & Paul, Data-Scientist Möchte die Effizienz und Performance des Modells sicherstellen bzw. erhöhen und Research betreiben. Adam, Investor Möchte das Risiko von im Unternehmen einge- setzter AI verstehen und das Einhalten von Regu- latorien sicherstellen. WER? WAS? Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und ihr Expertenwissen mit Hilfe des Modells erweitern. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“ -
Carol & Paul, Data-Scientist Möchte die Effizienz und Performance des
Modells sicherstellen bzw. erhöhen und Research betreiben. Adam, Investor Möchte das Risiko von im Unternehmen einge- setzter AI verstehen und das Einhalten von Regu- latorien sicherstellen. WER? WAS? Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und ihr Expertenwissen mit Hilfe des Modells erweitern. Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre“ Situation verstehen. Z.B. warum heute erst ab Mittag ein Rad zur Verfügung steht. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“ -
Adam, Investor Möchte das Risiko von im Unternehmen einge- setzter
AI verstehen und das Einhalten von Regu- latorien sicherstellen. WER? WAS? Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und ihr Expertenwissen mit Hilfe des Modells erweitern. Carol & Paul, Data-Scientist Möchten die Effizienz und Performance des Modells sicherstellen und zusätzlich Research zur Verbesserung des Models betreiben. Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre“ Situation verstehen. Z.B. warum heute erst ab Mittag ein Rad zur Verfügung steht. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“ -
Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und ihr
Expertenwissen mit Hilfe des Modells erweitern. Carol & Paul, Data-Scientist Möchten die Effizienz und Performance des Modells sicherstellen und zusätzlich Research zur Verbesserung des Models betreiben. Adam, Investor Möchte das Risiko von im KI-Modellen, die im Unternehmen eingesetzt werden, verstehen und so u.a. das Einhalten von Governance sicherstellen. WER? WAS? Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre“ Situation verstehen. Z.B. warum heute erst ab Mittag ein Rad zur Verfügung steht. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“ -
Regulatorische Aufsicht Sicherstellen, dass das Modell den gegeben Auflagen und
Gesetzten entspricht. Zertifizieren des Modells. Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und ihr Expertenwissen mit Hilfe des Modells erweitern. Carol & Paul, Data-Scientist Möchten die Effizienz und Performance des Modells sicherstellen und zusätzlich Research zur Verbesserung des Models betreiben. Adam, Investor Möchte das Risiko von im KI-Modellen, die im Unternehmen eingesetzt werden, verstehen und so u.a. das Einhalten von Governance sicherstellen. Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre“ Situation verstehen. Z.B. warum heute erst ab Mittag ein Rad zur Verfügung steht. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“ -
Zielgruppen- gerechte Methoden zur Erklärung finden. „How to explain?“ „Whom
to explain?“ „When to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Den richtigen Zeitpunkt für die Erklärung definieren. Den richtigen Ansatz für das genutzte Modell wählen. „Why to explain?“ Explainable AI Schlüsselfragen: „Whom, Why, … ?“ -
„Whom to explain?“ „Why to explain?“ „What to explain?“ Verstehen,
wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Den richtigen Ansatz für das genutzte Modell wählen. „When to explain?“ Den richtigen Zeitpunkt für die Erklärung definieren. „How to explain?“ Zielgruppen- gerechte Methoden zur Erklärung finden. Explainable AI Schlüsselfragen: „How to explain?“ -
Die ERKLÄRUNG Welche Art der Erklärung gibt es? Welche ist
für die Stakeholder die Beste? -
Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das
Modell (Verhalten) erklären?“ Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt. -
Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das
Modell (Verhalten) erklären?“ Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt. Model Simplification Es wird ein einfacheres Modell erzeugt und für die Erklärung des Verhaltens herangezogen. -
Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das
Modell (Verhalten) erklären?“ Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt. Model Simplification Es wird ein einfacheres Modell erzeugt und für die Erklärung des Verhaltens herangezogen. Local Explanations Der Lösungsraum wird segmentiert und das Verhalten für „lokale“, weniger komplexe Bereiche erklärt. -
Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das
Modell (Verhalten) erklären?“ Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt. Model Simplification Es wird ein einfacheres Modell erzeugt und für die Erklärung des Verhaltens herangezogen. Local Explanations Der Lösungsraum wird segmentiert und das Verhalten für „lokale“, weniger komplexe Bereiche erklärt. by Example Repräsentative Daten werden extrahiert, um das Gesamtverhalten des Modells zu erklären. -
Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das
Modell (Verhalten) erklären?“ Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt. Model Simplification Es wird ein einfacheres Modell erzeugt und für die Erklärung des Verhaltens herangezogen. Local Explanations Der Lösungsraum wird segmentiert und das Verhalten für „lokale“, weniger komplexe Bereiche erklärt. by Example Repräsentative Daten werden extrahiert, um das Gesamtverhalten des Modells zu erklären. Visualization Das Verhalten des Modells wird für ein besseres Verständnis aufbereitet und visualisiert. -
Feature Relevance Features mit höchster Relevanz für das Outcome werden
in den Fokus der Betrachtung gestellt. Model Simplification Es wird ein einfacheres Modell erzeugt und für die Erklärung des Verhaltens herangezogen. Local Explanations Der Lösungsraum wird segmentiert und das Verhalten für „lokale“, weniger komplexe Bereiche erklärt. by Example Repräsentative Daten werden extrahiert, um das Gesamtverhalten des Modells zu erklären. Visualization Das Verhalten des Modells wird für ein besseres Verständnis aufbereitet und visualisiert. Text Explanation Mathematische Erklärungen werden in natürliche, zielgruppen- gerechte Sprache übersetzt. Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das Modell (Verhalten) erklären?“ -
„Whom to explain?“ „Why to explain?“ „XXX to explain?“ Verstehen,
wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Den richtigen Ansatz für das genutzte Modell wählen. „When to explain?“ Den richtigen Zeitpunkt für die Erklärung definieren. „How to explain?“ Zielgruppen- gerechte Methoden zur Erklärung finden. Explainable AI Schlüsselfragen: „Whom, Why, How … ?“ -
„Whom to explain?“ „Why to explain?“ „How to explain?“ „What
to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. Den richtigen Ansatz für das genutzte Modell wählen. „When to explain?“ Den richtigen Zeitpunkt für die Erklärung definieren. Explainable AI Schlüsselfragen: „When to explain?“ -
Der XAI PROZESS Wo innerhalb des AI Development Cycles findet
welche Art der „Erklärungen“ statt? -
Quelle: Interpretable AI, Ajay Thampi, Manning Press train and dev
set model validation Development LEARNING historical data Training and cross-validation Explainable AI Schlüsselfragen: „When to explain?“ -
Quelle: Interpretable AI, Ajay Thampi, Manning Press train and dev
set test set model trained model evaluation Test Development LEARNING TESTING historical data Training and cross-validation Explainable AI Schlüsselfragen: „When to explain?“ validation Interpretation -
Quelle: Interpretable AI, Ajay Thampi, Manning Press train and dev
set test set new data model deployed model trained model evaluation prediction Production Test Development LEARNING TESTING DEPLOYING historical data Training and cross-validation Explainable AI Schlüsselfragen: „When to explain?“ validation Interpretation Explanation -
„Whom to explain?“ „Why to explain?“ „What to explain?“ Verstehen,
wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Den richtigen Ansatz für das genutzte Modell wählen. „How to explain?“ Zielgruppen- gerechte Methoden zur Erklärung finden. „When to explain?“ Den richtigen Zeitpunkt für die Erklärung definieren. Explainable AI Schlüsselfragen: „Whom, Why, How, When … ?“ -
„Whom to explain?“ „Why to explain?“ „How to explain?“ Verstehen,
wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. „When to explain?“ Den richtigen Zeitpunkt für die Erklärung definieren. „What to explain?“ Den richtigen Ansatz für das genutzte Modell wählen. Explainable AI Schlüsselfragen: „What to explain?“ -
Die XAI METHODEN Mit welchen Methoden lässt sich das Verhalten
eines Modells bzw. eine individuelle Vorhersage am besten erklären? -
Explainable AI Linear Regression 𝑦 = 𝑤0 + 𝑤1 𝑥1
+ … + 𝑤𝑛 𝑥𝑛 + 𝜖 Intercept learned Feature Weights Error Features predicted Outcome -
Explainable AI Linear Regression Wie lassen sich die Werte interpretieren?
• Numerische Features? • Binary Features? • Categorical Features? • Intercept & Error? 𝑦 = 𝑤0 + 𝑤1 𝑥1 + … + 𝑤𝑛 𝑥𝑛 + 𝜖 -
Explainable AI Linear Regression Good Weather vs. Rain/Snow/Storm vs. Misty
+ 1 Degree + 1,2,3,… 730 Days Weight Plot -
Explainable AI Linear Regression Was tun bei „Too-Many-Features-Exception“? Sparsity of
Features via Lasso (least absolute shrinkage and selection operator) 5 Features with non-zero Values 2 Features with non-zero Values -
Explainable AI Linear Regression PRO CONTRA • Summe der gewichteten
Features machen die Vorhersage transparent. • Stärke und Richtung des Einflusses bei Feature-Änderung ist sichtbar. • Linear Regression ist weit verbreitet und akzeptiert. • Erweiterungen wie GLM oder GAM sind denkbar. • Es können nur lineare Beziehungen abgebildet werden. Nichtlinearität muss manuell dazu modelliert werden. • Performanz der Modelle ist oftmals nicht wirklich gut, da die Realität zu stark vereinfacht wird. • Interpretation der Gewichtung ist nicht immer intuitiv. Dies gilt insbesondere bei hoher Korrelation von Features. • BTW: Classification …. ? MODEL-SPEZIFISCH GLOBALER SCOPE -
Explainable AI Logistic Regression 𝑃 𝑦 = 1 = 1
1 + 𝑒(−(𝑤0+𝑤1𝑥1+ … +𝑤𝑛𝑥𝑛) Accuracy: 0.81 -
Explainable AI Logistic Regression 𝑃 𝑦 = 1 = 1
1 + 𝑒(−(𝑤0+𝑤1𝑥1+ … +𝑤𝑛𝑥𝑛) OMG! Wie soll ich das bitte interpretieren? -
Explainable AI Logistic Regression via Odds Ratio l𝑜𝑔 𝑃(𝑦 =
1) 𝑃(𝑦 = 0) = 𝑤0 + 𝑤1 𝑥1 + … + 𝑤𝑛 𝑥𝑛 𝑜𝑑𝑑𝑠 = 𝑃(𝑦 = 1) 𝑃(𝑦 = 0) Fahrrad steht zur Verfügung: 80% Fahrrad steht nicht zur Verfügung 20% odds = 0.8 / 0.2 = 4 TRICK: Wir betrachten die Quote / Chance. „Wenn x1 um eine Einheit vergrößert wird, vergrößert sich log(odds) um w1 !“ -
TRICK: Wir betrachten die Quote / Chance. Explainable AI Logistic
Regression via Odds Ratio l𝑜𝑔 𝑃(𝑦 = 1) 𝑃(𝑦 = 0) = 𝑤0 + 𝑤1 𝑥1 + … + 𝑤𝑛 𝑥𝑛 „Wenn x1 um eine Einheit vergrößert wird, vergrößert sich log(odds) um w1 !“ 𝑜𝑑𝑑𝑠 = 𝑃(𝑦 = 1) 𝑃(𝑦 = 0) 0 1 X1 +1 -
Explainable AI Logistic Regression via Odds Ratio l𝑜𝑔 𝑃(𝑦 =
1) 𝑃(𝑦 = 0) = 𝑤0 + 𝑤1 𝑥1 + … + 𝑤𝑛 𝑥𝑛 „Wenn x1 um eine Einheit vergrößert wird, vergrößert sich log(odds) um w1 !“ 𝑜𝑑𝑑𝑠 = 𝑃(𝑦 = 1) 𝑃(𝑦 = 0) TRICK: Wir betrachten die Quote / Chance. -
Explainable AI Logistic Regression via Odds Ratio TRICK: Wir betrachten
die relative Quote / Chance. „Wenn x1 um eine Einheit vergrößert wird, vergrößert sich die odds um Faktor 𝒆𝒘𝟏.“ 𝑜𝑑𝑑𝑠𝑥𝑖+1 𝑜𝑑𝑑𝑠𝑥𝑖 = 𝑒𝑤𝑖 𝑜𝑑𝑑𝑠𝑥𝑖+1 = 𝑒𝑤𝑖𝑜𝑑𝑑𝑠𝑥𝑖 -
Explainable AI Logistic Regression via Odds Ratio TRICK: Wir betrachten
die relative Quote / Chance. „Wenn die Temperatur um 1 Grad steigt, erhöht sich die Quote / Chance (odds) um den Faktor 𝒆0.7 = 2 . “ => Es verdoppelt sich die Chance das Räder verfügbar sind. Feature x1 = temp Gewicht w1 = 0.7 𝑜𝑑𝑑𝑠𝑥𝑖+1 = 𝑒0.7𝑜𝑑𝑑𝑠𝑥𝑖 -
Explainable AI Logistic Regression via Odds Ratio TRICK: Wir betrachten
die relative Quote / Chance. „Wenn die Temperatur um 1 Grad steigt, erhöht sich die Quote / Chance (odds) um den Faktor 𝒆0.7 = 2 . “ => Es verdoppelt sich die Chance das Räder verfügbar sind. Feature x1 = temp Gewicht w1 = 0.7 𝑜𝑑𝑑𝑠𝑥𝑖+1 = 𝑒0.7𝑜𝑑𝑑𝑠𝑥𝑖 -
• Siehe Linear Regression • Logistic Regression klassifiziert nicht nur,
sondern liefert auch Wahrscheinlichkeiten. • Logistic Regression kann auch auf mehrere Klassen angewandt werden (aka Multi- Nomial Regression). • Siehe Linear Regression. • Interpretation nicht wirklich intuitiv. • Problem der „complete separation“. Explainable AI Logistic Regression via Odds Ratio PRO CONTRA MODEL-SPEZIFISCH GLOBALER SCOPE • Odds Ratio liefert Grad und Richtung der Veränderung. -
Explainable AI Decision Tree „I{…} = 1, falls x im
Subset Rm aka Blattm liegt.“ Accuracy: 0.92 -
Explainable AI Decision Tree Basic Interpretation „If feature x is
[smaller/bigger] than threshold c AND … then the predicted outcome is the mean value of y of the instances in that node.“ -
Explainable AI Decision Tree Basic Interpretation „Importance of the features
measured by how much the node purity is improved on average.“ -
PRO CONTRA MODEL-SPEZIFISCH GLOBALER SCOPE • Decision Tree spiegelt Interaction
zwischen Features optimal wider. • Die Blätter stehen für distinkte Gruppen von Daten. • Die Visualisierung des Descision Tree ist intuitiv und einfach nachzuvollziehen. • Decision Trees „versagen“ bei der Abbildung linearer Beziehungen. • Leichte Änderungen können einen großen Einfluss auf das Outcome haben (aka „Lack of Smoothness“) Explainable AI Decision Tree Basic Interpretation • Decision Trees sind unstabil. Einige wenige Änderungen an den Trainingsdaten können zu komplett anderen Bäumen führen. • Die Anzahl der Blätter steigt mit der Tiefe des Baumes. Damit sinkt die Interpretierbarkeit. • Die „Node Purity“ gibt die Feature jeweilige Importance für den Decision Tress an. -
PRO CONTRA MODEL-SPEZIFISCH GLOBALER SCOPE • Decision Tree spiegelt Interaction
zwischen Features optimal wider. • Die Blätter stehen für distinkte Gruppen von Daten. • Die Visualisierung des Descision Tree ist intuitiv und einfach nachzuvollziehen. • Decision Trees „versagen“ bei der Abbildung linearer Beziehungen. • Leichte Änderungen können einen großen Einfluss auf das Outcome haben (aka „Lack of Smoothness“) Explainable AI Decision Tree Basic Interpretation • Decision Trees sind unstabil. Einige wenige Änderungen an den Trainingsdaten können zu komplett anderen Bäumen führen. • Die Anzahl der Blätter steigt mit der Tiefe des Baumes. Damit sinkt die Interpretierbarkeit. • Die „Node Purity“ gibt die Feature jeweilige Importance für den Decision Tress an. -
Explainable AI Decision Tree via Permutation Feature Importance „Feature importance
is the increase in model error when the feature’s information is destroyed. “ Die Feature Werte werden durch zufällige Werte ersetzt und im Anschluss der Einfluss auf das Outcome bewertet. -
• Stark verdichtete Sicht auf die Arbeitsweise eines Models. •
Interaktionen mit anderen Features werden „indirekt“ berücksichtigt. • Anders als bei anderen Methoden ist kein Re-Training des Models notwendig. • Interaktion von Features führt bei allen beteiligten Features zu einem erhöhten Wert. • Zugang zum echten Outcome wird für die Berechnung der Fehlerabweichung benötigt. Explainable AI Decision Tree via Permutation Feature Importance PRO CONTRA MODEL-AGNOSTIC GLOBALER SCOPE • Potenziell unrealistische Daten können verwendet werden. -
Explainable AI Random Forrest / XGBoost TODO Bikes NOT available
Bikes available sehr komplexe „Decision Boundary“ Accuracy: 0.95 -
Explainable AI Random Forrest / XGBoost via LIME Lokale Instanz
zur Interpretation Local Interpretable Model-agnostic Explanations Schritt 1: Eine lokale zu interpretierende Instanz auswählen. -
Explainable AI Random Forrest / XGBoost via LIME Local Interpretable
Model-agnostic Explanations Model Predictions für einen “pertubed“ Datansatz Lokale Instanz zur Interpretation Schritt 2: a) Synthetischen Datensatz auf Basis von statistischen Mittelwerten und Verteilungen generieren. b) Vorhersagen für die synthetischem Daten erstellen. -
Explainable AI Random Forrest / XGBoost via LIME Local Interpretable
Model-agnostic Explanations Gewichtung entsprechend Abstand zur lokalen Instanz. Schritt 3: Generierte Vorhersagen entsprechend räumlicher Nähe lokaler Instanz gewichten. Lokale Instanz zur Interpretation -
Explainable AI Random Forrest / XGBoost via LIME Local Interpretable
Model-agnostic Explanations Einfaches. lokales Modell (z.B. Linear Regression) Lokale Instanz zur Interpretation Schritt 4: White-Box Modell für gewichtete Vorhersagen erstellen und im Anschluss die lokale Instanz mit dem einfachen Modell „erklären“. -
Explainable AI Random Forrest / XGBoost via LIME • Erlaubt
Einblick in sehr komplexe ML Modelle mittels „Ersetzen“ durch ein einfacheres Modell (z.B. Linear Regression oder Trees) • Die Festlegung der korrekten Nachbarschaft ist ein großes, ungelöstes Problem. PRO CONTRA MODEL-AGNOSTIC LOCAL SCOPE • Nicht nur tabellarische Daten, sondern auch Texte und Bilder. • LIME zeigt sowohl Richtung als auch Stärke des Einflusses. • Die Wahl des Kernels hat einen großen Einfluss auf das Ergebnis aka die Erklärung. • Güte des Ersatzmodells ist bekannt (aka fidelity measure). • Die Korrelation von Features wird beim Sampling der Daten via Gaussian Distribution missachtet. Dies kann zu unwahrscheinlichen Trainingsdaten führen. • Instabilität der Erklärung: zwei dicht beieinander liegende Ergebnisse können zu völlig unterschiedlichen Erklärungen führen. • Sehr einfach zu nutzen (via Libraries). -
XAI und LLMs Ok, aber was ist mit den Sprachmodellen?
Kann mir das jemand erklären? -
Explainable AI Large Language Models Verständnis schaffen durch Beobachtung Vertrauen
schaffen durch Transparenz Interaction Evaluation Observability Attention Weights Layer-Wise Relevance Embedding Analysis RAG Analysis Metrics Trace / Debug LLM-based Evaluation Training Data Architecture Openness -
Explainable AI LLM Evaluation Metrics LLM Judge Scorer Exceeds given
Treshold? LLM Test Case INPUT OUTPUT RETRIVAL CONTENT … LLM Evaluation Metric SCORE REASON (optional) METRIC -
Explainable AI LLM Evaluation Metrics LLM Test Case INPUT OUTPUT
RETRIVAL CONTENT … SCORE REASON (optional) METRIC Correctness Hallucination Answer Relevancy Toxicity Task Completion Tool Correctness Faithfullness Contextual Precision Contextual Relevancy Contextural Recall Responsibility Metrics Task-specific Metrics LLM AGENT RAG MISC -
Explainable AI Large Language Models Verständnis schaffen durch Beobachtung Vertrauen
schaffen durch Transparenz Interaction Evaluation Observability Attention Weights Layer-Wise Relevance Embedding Analysis RAG Analysis Metrics Trace / Debug LLM-based Evaluation Training Data Architecture Openness -
Explainable AI Large Language Models Verständnis schaffen durch Beobachtung Vertrauen
schaffen durch Transparenz Interaction Evaluation Observability Attention Weights Layer-Wise Relevance Embedding Analysis RAG Analysis Metrics Trace / Debug LLM-based Evaluation Training Data Architecture Openness -
Quelle: https://github.com/jessevig/bertviz Explainable AI Large Language Models via BertViz BertViz
Highlights: • Huggingface Models • Attention Weights • Multiple Views • Simple Setup • Jupyter Notebooks • Colab Notebooks -
Quelle: https://www.comet.com/site/blog/explainable-ai-for-transformers/ Explainable AI Large Language Models via BertViz Attention
Bias Detection via Attention Head View -
Explainable AI Large Language Models via PHOENIX Quelle: https://github.com/Arize-ai/phoenix PHOENIX
Highlights: • LLM Tracing • LLM Evaluation • Embedding Analysis • RAG Analysis • Data Analysis -
Fazit Was sollte ich aus dem Explainable AI Talk für
mich mitnehmen? -
„Whom to explain?“ „Why to explain?“ „How to explain?“ „When
to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. Den richtigen Zeitpunkt für die Erklärung definieren. Den richtigen Ansatz für das genutzte Modell wählen. Explainable AI Die fünf Schlüsselfragen „Whom, Why, How, When & What?“ Wer will was wann und in welcher Form wissen? -
Vielen Dank! #WISSENTEILEN by open knowledge GmbH @_openKnowledge | @mobileLarson
Lars Röwekamp, CIO New Technologies -
(Architecture, Cloud, AI & ML) Lars Röwekamp LinkedIn: lars_roewekamp CIO
New Technologies OPEN KNOWLEDGE -
BILDNACHWEIS Folie 21: © photoplotnikov - istockphoto.com Folie 23: ©
Mix und Match Studios - shutterstock.com Folie 23: © Mix und Match Studios - shutterstock.com All other pictures, drawings and icons originate from • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com or are created by my own.