Explainable AI: wie ich lernte der KI zu vertrauen

Künstliche Intelligenz wird von Jahr zu Jahr mächtiger. Was vor kurzem noch als Utopie galt, ist heute bereits Realität. Aber haben wir die Systeme noch im Griff? Oder sind wir ihnen hilflos ausgeliefert. Vertrauensbildende Maßnahmen müssen her. Oder wie es in der Fachsprache heißt: Explainable AI.

Im Rahmen des Talks schauen wir uns verschiedene Techniken an, mit denen sich die Ergebnisse von ML-Modellen sowie deren Zustandekommen interpretieren und erklären lassen. Wir lernen, wie man Bias an verschiedenen Stellen des ML-Lifecycles aufspürt und bei „unfairem“ bzw. unerwünschtem Verhalten gezielt gegensteuert. Darüber hinaus betrachten wir die Anwendung von Metriken zur Bewertung von LLM-basierten Systemen wie z.B. Retrieval Augmented Generation Services (kurz RAG).

Am Ende haben wir dann hoffentlich alle wieder hinreichen Vertrauen ins unsere ML-Modelle. Und wenn nicht, dann kennen wir zumindest die Werkzeuge, mit denen wir bzw. die Anwender der Modelle das Vertrauen zurückgewinnen können.

Transcript

1. Explainable AI „Wie ich lernte, der KI zu vertrauen.“ #WISSENTEILEN | Lars Röwekamp | open knowledge GmbH
2. (Architecture, Cloud, AI & ML) Lars Röwekamp LinkedIn: lars_roewekamp CIO New Technologies OPEN KNOWLEDGE
3. MOTIVATION Was ist Explainable AI (kurz: XAI) und warum brauchen wir so etwas?
4. Explainable AI Worum geht es überhaupt? ML Model „BLACK BOX“
5. ML Model „BLACK BOX“ OUTPUT INPUT Explainable AI Worum geht es überhaupt?
6. ML Model „BLACK BOX“ OUTPUT INPUT Explainable AI Worum geht es überhaupt?
7. „WARUM wurde auf dem Ultraschallbild ein Tumor klassifiziert?“ „WARUM wurde meine Kreditanfrage über 5.000 € wiederholt abgelehnt?“ „WARUM habe ich ein höheres Risiko an einer Krankheit zu erkranken?“ Explainable AI Warum ist das wichtig?“
8. Quelle: https://www.reuters.com/ Explainable AI Warum ist das noch wichtig?
9. Quelle: https://www.propublica.org/article/machine-bias-risk-assessments-in-criminal-sentencing Explainable AI Warum ist das noch wichtig?
10. Explainable AI Warum ist das noch wichtig? VERTRAUEN KAUSALITÄT FAIRNESS Übertragbarkeit des Modells auf andere „Fälle“ Verständliche(re) Information durch Proxy-Modell Bewertung des Grads des Datenschutzes
11. Explainable AI Wo liegt das Problem? Accuracy Interpretability low high low high Rule-based Models Decision Trees kNN Bayesian Models SVM Deep Learning
12. Explainable AI Wo liegt das Problem? Accuracy Interpretability low high low high Rule-based Models Decision Trees kNN Bayesian Models SVM Deep Learning
13. Explainable AI Wo liegt das Problem? Accuracy Interpretability low high low high Rule-based Models Decision Trees kNN Bayesian Models SVM Deep Learning Ziel von XAI
14. Das VORGEHEN Welche Schlüsselfragen sollte ich mir beim Aufbau einer Explainable AI beantworten.
15. Explainable AI Das Vorgehen aka „Die fünf Schlüsselfragen“? „Whom to explain?“ 1 Verstehen, wer die wichtigsten Stakeholder sind.
16. „Whom to explain?“ „Why to explain?“ 1 2 Explainable AI Das Vorgehen aka „Die fünf Schlüsselfragen“? Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen.
17. „Whom to explain?“ „Why to explain?“ „How to explain?“ 1 2 3 Explainable AI Das Vorgehen aka „Die fünf Schlüsselfragen“? Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden.
18. „Whom to explain?“ „Why to explain?“ „How to explain?“ „When to explain?“ 1 2 3 4 Explainable AI Das Vorgehen aka „Die fünf Schlüsselfragen“? Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. Den richtigen Zeitpunkt für die Erklärung wählen.
19. „Whom to explain?“ „Why to explain?“ „How to explain?“ „When to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. Den richtigen Zeitpunkt für die Erklärung wählen. Den richtigen Ansatz für das genutzte Modell wählen. 1 2 3 4 5 Explainable AI Das Vorgehen aka „Die fünf Schlüsselfragen“?
20. Der SHOWCASE Ein KI-gestützter Fahrradverleih möchte Transparenz schaffen.
21. Explainable AI KI-gestützter Fahrradverleih „Flying Bikes“ Source of Example: https://christophm.github.io/interpretable-ml-book/
22. Explainable AI KI-gestützter Fahrradverleih „Flying Bikes“ Rental Statistics: Tägliche Verleihdaten aus zwei Jahren.
23. Saison: 1. Spring 2. Summer 3. Autumn 4. Winter Wetter: 1. Klar, teilweise bewölkt 2. nebelig, bewölkt 3. Leichter Schnee / Regen / Gewitter 4. Starker Regen + Gewitter + Hagel, Schnee Gefühlte Temperatur Target Count: Gesamtzahl aller gemieteten Räder (casual + registriert) Luftfeuchtigkeit Datum (2 Jahre) Explainable AI KI-gestützter Fahrradverleih „Flying Bikes“
24. Explainable AI KI-gestützter Fahrradverleih „Flying Bikes“
25. Explainable AI KI-gestützter Fahrradverleih „Flying Bikes“ Logistic Regression Decision Tree Random Forrest Support Vector Machine K-Nearest Neighbour Naive Byes Quelle: https://towardsdatascience.com/top-machine-learning-algorithms-for-classification-2197870ff501/
26. Zielgruppen- gerechte Methoden zur Erklärung finden. „How to explain?“ Explainable AI KI-gestützter Fahrradverleih „Flying Bikes“ „Whom to explain?“ „When to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Den richtigen Zeitpunkt für die Erklärung definieren. Den richtigen Ansatz für das genutzte Modell wählen. „Why to explain?“ Los geht‘s …
27. Die STAKEHOLDER Wer sind die Stakeholder und wofür interessieren sie sich?
28. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“ Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und zusätzliches Expertenwissen mit Hilfe des Modells aufbauen. Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre Situation“ verstehen. Carol & Paul, Data-Scientist Möchte die Effizienz und Performance des Modells sicherstellen bzw. erhöhen und Research betreiben. Adam, Investor Möchte das Risiko von im Unternehmen einge- setzter AI verstehen und das Einhalten von Regu- latorien sicherstellen. WER? WAS?
29. Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre Situation“ verstehen. Carol & Paul, Data-Scientist Möchte die Effizienz und Performance des Modells sicherstellen bzw. erhöhen und Research betreiben. Adam, Investor Möchte das Risiko von im Unternehmen einge- setzter AI verstehen und das Einhalten von Regu- latorien sicherstellen. WER? WAS? Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und ihr Expertenwissen mit Hilfe des Modells erweitern. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“
30. Carol & Paul, Data-Scientist Möchte die Effizienz und Performance des Modells sicherstellen bzw. erhöhen und Research betreiben. Adam, Investor Möchte das Risiko von im Unternehmen einge- setzter AI verstehen und das Einhalten von Regu- latorien sicherstellen. WER? WAS? Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und ihr Expertenwissen mit Hilfe des Modells erweitern. Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre“ Situation verstehen. Z.B. warum heute erst ab Mittag ein Rad zur Verfügung steht. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“
31. Adam, Investor Möchte das Risiko von im Unternehmen einge- setzter AI verstehen und das Einhalten von Regu- latorien sicherstellen. WER? WAS? Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und ihr Expertenwissen mit Hilfe des Modells erweitern. Carol & Paul, Data-Scientist Möchten die Effizienz und Performance des Modells sicherstellen und zusätzlich Research zur Verbesserung des Models betreiben. Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre“ Situation verstehen. Z.B. warum heute erst ab Mittag ein Rad zur Verfügung steht. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“
32. Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und ihr Expertenwissen mit Hilfe des Modells erweitern. Carol & Paul, Data-Scientist Möchten die Effizienz und Performance des Modells sicherstellen und zusätzlich Research zur Verbesserung des Models betreiben. Adam, Investor Möchte das Risiko von im KI-Modellen, die im Unternehmen eingesetzt werden, verstehen und so u.a. das Einhalten von Governance sicherstellen. WER? WAS? Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre“ Situation verstehen. Z.B. warum heute erst ab Mittag ein Rad zur Verfügung steht. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“
33. Regulatorische Aufsicht Sicherstellen, dass das Modell den gegeben Auflagen und Gesetzten entspricht. Zertifizieren des Modells. Sarah, Domänenexpertin Möchte Vertrauen in das Modell gewinnen und ihr Expertenwissen mit Hilfe des Modells erweitern. Carol & Paul, Data-Scientist Möchten die Effizienz und Performance des Modells sicherstellen und zusätzlich Research zur Verbesserung des Models betreiben. Adam, Investor Möchte das Risiko von im KI-Modellen, die im Unternehmen eingesetzt werden, verstehen und so u.a. das Einhalten von Governance sicherstellen. Kati & Kim, Kundinnen Möchten fair behandelt werden und „ihre“ Situation verstehen. Z.B. warum heute erst ab Mittag ein Rad zur Verfügung steht. Explainable AI Schlüsselfragen: „Explain to whom?“ und „Why to explain?“
34. Zielgruppen- gerechte Methoden zur Erklärung finden. „How to explain?“ „Whom to explain?“ „When to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Den richtigen Zeitpunkt für die Erklärung definieren. Den richtigen Ansatz für das genutzte Modell wählen. „Why to explain?“ Explainable AI Schlüsselfragen: „Whom, Why, … ?“
35. „Whom to explain?“ „Why to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Den richtigen Ansatz für das genutzte Modell wählen. „When to explain?“ Den richtigen Zeitpunkt für die Erklärung definieren. „How to explain?“ Zielgruppen- gerechte Methoden zur Erklärung finden. Explainable AI Schlüsselfragen: „How to explain?“
36. Die ERKLÄRUNG Welche Art der Erklärung gibt es? Welche ist für die Stakeholder die Beste?
37. Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das Modell (Verhalten) erklären?“ Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt.
38. Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das Modell (Verhalten) erklären?“ Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt. Model Simplification Es wird ein einfacheres Modell erzeugt und für die Erklärung des Verhaltens herangezogen.
39. Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das Modell (Verhalten) erklären?“ Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt. Model Simplification Es wird ein einfacheres Modell erzeugt und für die Erklärung des Verhaltens herangezogen. Local Explanations Der Lösungsraum wird segmentiert und das Verhalten für „lokale“, weniger komplexe Bereiche erklärt.
40. Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das Modell (Verhalten) erklären?“ Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt. Model Simplification Es wird ein einfacheres Modell erzeugt und für die Erklärung des Verhaltens herangezogen. Local Explanations Der Lösungsraum wird segmentiert und das Verhalten für „lokale“, weniger komplexe Bereiche erklärt. by Example Repräsentative Daten werden extrahiert, um das Gesamtverhalten des Modells zu erklären.
41. Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das Modell (Verhalten) erklären?“ Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt. Model Simplification Es wird ein einfacheres Modell erzeugt und für die Erklärung des Verhaltens herangezogen. Local Explanations Der Lösungsraum wird segmentiert und das Verhalten für „lokale“, weniger komplexe Bereiche erklärt. by Example Repräsentative Daten werden extrahiert, um das Gesamtverhalten des Modells zu erklären. Visualization Das Verhalten des Modells wird für ein besseres Verständnis aufbereitet und visualisiert.
42. Feature Relevance Features mit höchster Relevanz für das Outcome werden in den Fokus der Betrachtung gestellt. Model Simplification Es wird ein einfacheres Modell erzeugt und für die Erklärung des Verhaltens herangezogen. Local Explanations Der Lösungsraum wird segmentiert und das Verhalten für „lokale“, weniger komplexe Bereiche erklärt. by Example Repräsentative Daten werden extrahiert, um das Gesamtverhalten des Modells zu erklären. Visualization Das Verhalten des Modells wird für ein besseres Verständnis aufbereitet und visualisiert. Text Explanation Mathematische Erklärungen werden in natürliche, zielgruppen- gerechte Sprache übersetzt. Explainable AI Schlüsselfragen: „How to explain?“ „Wie lässt sich das Modell (Verhalten) erklären?“
43. „Whom to explain?“ „Why to explain?“ „XXX to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Den richtigen Ansatz für das genutzte Modell wählen. „When to explain?“ Den richtigen Zeitpunkt für die Erklärung definieren. „How to explain?“ Zielgruppen- gerechte Methoden zur Erklärung finden. Explainable AI Schlüsselfragen: „Whom, Why, How … ?“
44. „Whom to explain?“ „Why to explain?“ „How to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. Den richtigen Ansatz für das genutzte Modell wählen. „When to explain?“ Den richtigen Zeitpunkt für die Erklärung definieren. Explainable AI Schlüsselfragen: „When to explain?“
45. Der XAI PROZESS Wo innerhalb des AI Development Cycles findet welche Art der „Erklärungen“ statt?
46. Quelle: Interpretable AI, Ajay Thampi, Manning Press train and dev set model validation Development LEARNING historical data Training and cross-validation Explainable AI Schlüsselfragen: „When to explain?“
47. Quelle: Interpretable AI, Ajay Thampi, Manning Press train and dev set test set model trained model evaluation Test Development LEARNING TESTING historical data Training and cross-validation Explainable AI Schlüsselfragen: „When to explain?“ validation Interpretation
48. Quelle: Interpretable AI, Ajay Thampi, Manning Press train and dev set test set new data model deployed model trained model evaluation prediction Production Test Development LEARNING TESTING DEPLOYING historical data Training and cross-validation Explainable AI Schlüsselfragen: „When to explain?“ validation Interpretation Explanation
49. „Whom to explain?“ „Why to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Den richtigen Ansatz für das genutzte Modell wählen. „How to explain?“ Zielgruppen- gerechte Methoden zur Erklärung finden. „When to explain?“ Den richtigen Zeitpunkt für die Erklärung definieren. Explainable AI Schlüsselfragen: „Whom, Why, How, When … ?“
50. „Whom to explain?“ „Why to explain?“ „How to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. „When to explain?“ Den richtigen Zeitpunkt für die Erklärung definieren. „What to explain?“ Den richtigen Ansatz für das genutzte Modell wählen. Explainable AI Schlüsselfragen: „What to explain?“
51. Die XAI METHODEN Mit welchen Methoden lässt sich das Verhalten eines Modells bzw. eine individuelle Vorhersage am besten erklären?
52. Explainable AI Linear Regression 𝑦 = 𝑤0 + 𝑤1 𝑥1 + … + 𝑤𝑛 𝑥𝑛 + 𝜖 Intercept learned Feature Weights Error Features predicted Outcome
53. Explainable AI Linear Regression Wie lassen sich die Werte interpretieren? • Numerische Features? • Binary Features? • Categorical Features? • Intercept & Error? 𝑦 = 𝑤0 + 𝑤1 𝑥1 + … + 𝑤𝑛 𝑥𝑛 + 𝜖
54. Explainable AI Linear Regression Feature Importance via t-statistic Weight Variance Of Weight
55. Explainable AI Linear Regression Weight Plot
56. Explainable AI Linear Regression Good Weather vs. Rain/Snow/Storm vs. Misty + 1 Degree + 1,2,3,… 730 Days Weight Plot
57. Explainable AI Linear Regression Effect Plot high Effect low Effect
58. Explainable AI Linear Regression Effect of Features Features of Instance X
59. Explainable AI Linear Regression Effect of Features Features of Instance X
60. Explainable AI Linear Regression Was tun bei „Too-Many-Features-Exception“?
61. Explainable AI Linear Regression Was tun bei „Too-Many-Features-Exception“? Sparsity of Features via Lasso (least absolute shrinkage and selection operator) 5 Features with non-zero Values 2 Features with non-zero Values
62. Explainable AI Linear Regression PRO CONTRA • Summe der gewichteten Features machen die Vorhersage transparent. • Stärke und Richtung des Einflusses bei Feature-Änderung ist sichtbar. • Linear Regression ist weit verbreitet und akzeptiert. • Erweiterungen wie GLM oder GAM sind denkbar. • Es können nur lineare Beziehungen abgebildet werden. Nichtlinearität muss manuell dazu modelliert werden. • Performanz der Modelle ist oftmals nicht wirklich gut, da die Realität zu stark vereinfacht wird. • Interpretation der Gewichtung ist nicht immer intuitiv. Dies gilt insbesondere bei hoher Korrelation von Features. • BTW: Classification …. ? MODEL-SPEZIFISCH GLOBALER SCOPE
63. Explainable AI Logistic Regression 𝑃 𝑦 = 1 = 1 1 + 𝑒(−(𝑤0+𝑤1𝑥1+ … +𝑤𝑛𝑥𝑛) Accuracy: 0.81
64. Explainable AI Logistic Regression 𝑃 𝑦 = 1 = 1 1 + 𝑒(−(𝑤0+𝑤1𝑥1+ … +𝑤𝑛𝑥𝑛) OMG! Wie soll ich das bitte interpretieren?
65. Explainable AI Logistic Regression via Odds Ratio l𝑜𝑔 𝑃(𝑦 = 1) 𝑃(𝑦 = 0) = 𝑤0 + 𝑤1 𝑥1 + … + 𝑤𝑛 𝑥𝑛 𝑜𝑑𝑑𝑠 = 𝑃(𝑦 = 1) 𝑃(𝑦 = 0) Fahrrad steht zur Verfügung: 80% Fahrrad steht nicht zur Verfügung 20% odds = 0.8 / 0.2 = 4 TRICK: Wir betrachten die Quote / Chance. „Wenn x1 um eine Einheit vergrößert wird, vergrößert sich log(odds) um w1 !“
66. TRICK: Wir betrachten die Quote / Chance. Explainable AI Logistic Regression via Odds Ratio l𝑜𝑔 𝑃(𝑦 = 1) 𝑃(𝑦 = 0) = 𝑤0 + 𝑤1 𝑥1 + … + 𝑤𝑛 𝑥𝑛 „Wenn x1 um eine Einheit vergrößert wird, vergrößert sich log(odds) um w1 !“ 𝑜𝑑𝑑𝑠 = 𝑃(𝑦 = 1) 𝑃(𝑦 = 0) 0 1 X1 +1
67. Explainable AI Logistic Regression via Odds Ratio l𝑜𝑔 𝑃(𝑦 = 1) 𝑃(𝑦 = 0) = 𝑤0 + 𝑤1 𝑥1 + … + 𝑤𝑛 𝑥𝑛 „Wenn x1 um eine Einheit vergrößert wird, vergrößert sich log(odds) um w1 !“ 𝑜𝑑𝑑𝑠 = 𝑃(𝑦 = 1) 𝑃(𝑦 = 0) TRICK: Wir betrachten die Quote / Chance.
68. Explainable AI Logistic Regression via Odds Ratio TRICK: Wir betrachten die relative Quote / Chance. „Wenn x1 um eine Einheit vergrößert wird, vergrößert sich die odds um Faktor 𝒆𝒘𝟏.“ 𝑜𝑑𝑑𝑠𝑥𝑖+1 𝑜𝑑𝑑𝑠𝑥𝑖 = 𝑒𝑤𝑖  𝑜𝑑𝑑𝑠𝑥𝑖+1 = 𝑒𝑤𝑖𝑜𝑑𝑑𝑠𝑥𝑖
69. Explainable AI Logistic Regression via Odds Ratio TRICK: Wir betrachten die relative Quote / Chance. „Wenn die Temperatur um 1 Grad steigt, erhöht sich die Quote / Chance (odds) um den Faktor 𝒆0.7 = 2 . “ => Es verdoppelt sich die Chance das Räder verfügbar sind. Feature x1 = temp Gewicht w1 = 0.7 𝑜𝑑𝑑𝑠𝑥𝑖+1 = 𝑒0.7𝑜𝑑𝑑𝑠𝑥𝑖
70. Explainable AI Logistic Regression via Odds Ratio TRICK: Wir betrachten die relative Quote / Chance. „Wenn die Temperatur um 1 Grad steigt, erhöht sich die Quote / Chance (odds) um den Faktor 𝒆0.7 = 2 . “ => Es verdoppelt sich die Chance das Räder verfügbar sind. Feature x1 = temp Gewicht w1 = 0.7 𝑜𝑑𝑑𝑠𝑥𝑖+1 = 𝑒0.7𝑜𝑑𝑑𝑠𝑥𝑖
71. • Siehe Linear Regression • Logistic Regression klassifiziert nicht nur, sondern liefert auch Wahrscheinlichkeiten. • Logistic Regression kann auch auf mehrere Klassen angewandt werden (aka Multi- Nomial Regression). • Siehe Linear Regression. • Interpretation nicht wirklich intuitiv. • Problem der „complete separation“. Explainable AI Logistic Regression via Odds Ratio PRO CONTRA MODEL-SPEZIFISCH GLOBALER SCOPE • Odds Ratio liefert Grad und Richtung der Veränderung.
72. Explainable AI Decision Tree „I{…} = 1, falls x im Subset Rm aka Blattm liegt.“ Accuracy: 0.92
73. Explainable AI Decision Tree Basic Interpretation „If feature x is [smaller/bigger] than threshold c AND … then the predicted outcome is the mean value of y of the instances in that node.“
74. Explainable AI Decision Tree Basic Interpretation „Importance of the features measured by how much the node purity is improved on average.“
75. PRO CONTRA MODEL-SPEZIFISCH GLOBALER SCOPE • Decision Tree spiegelt Interaction zwischen Features optimal wider. • Die Blätter stehen für distinkte Gruppen von Daten. • Die Visualisierung des Descision Tree ist intuitiv und einfach nachzuvollziehen. • Decision Trees „versagen“ bei der Abbildung linearer Beziehungen. • Leichte Änderungen können einen großen Einfluss auf das Outcome haben (aka „Lack of Smoothness“) Explainable AI Decision Tree Basic Interpretation • Decision Trees sind unstabil. Einige wenige Änderungen an den Trainingsdaten können zu komplett anderen Bäumen führen. • Die Anzahl der Blätter steigt mit der Tiefe des Baumes. Damit sinkt die Interpretierbarkeit. • Die „Node Purity“ gibt die Feature jeweilige Importance für den Decision Tress an.
76. PRO CONTRA MODEL-SPEZIFISCH GLOBALER SCOPE • Decision Tree spiegelt Interaction zwischen Features optimal wider. • Die Blätter stehen für distinkte Gruppen von Daten. • Die Visualisierung des Descision Tree ist intuitiv und einfach nachzuvollziehen. • Decision Trees „versagen“ bei der Abbildung linearer Beziehungen. • Leichte Änderungen können einen großen Einfluss auf das Outcome haben (aka „Lack of Smoothness“) Explainable AI Decision Tree Basic Interpretation • Decision Trees sind unstabil. Einige wenige Änderungen an den Trainingsdaten können zu komplett anderen Bäumen führen. • Die Anzahl der Blätter steigt mit der Tiefe des Baumes. Damit sinkt die Interpretierbarkeit. • Die „Node Purity“ gibt die Feature jeweilige Importance für den Decision Tress an.
77. Explainable AI Decision Tree via Permutation Feature Importance „Feature importance is the increase in model error when the feature’s information is destroyed. “ Die Feature Werte werden durch zufällige Werte ersetzt und im Anschluss der Einfluss auf das Outcome bewertet.
78. • Stark verdichtete Sicht auf die Arbeitsweise eines Models. • Interaktionen mit anderen Features werden „indirekt“ berücksichtigt. • Anders als bei anderen Methoden ist kein Re-Training des Models notwendig. • Interaktion von Features führt bei allen beteiligten Features zu einem erhöhten Wert. • Zugang zum echten Outcome wird für die Berechnung der Fehlerabweichung benötigt. Explainable AI Decision Tree via Permutation Feature Importance PRO CONTRA MODEL-AGNOSTIC GLOBALER SCOPE • Potenziell unrealistische Daten können verwendet werden.
79. Explainable AI Random Forrest / XGBoost TODO Bikes NOT available Bikes available sehr komplexe „Decision Boundary“ Accuracy: 0.95
80. Explainable AI Random Forrest / XGBoost via LIME Lokale Instanz zur Interpretation Local Interpretable Model-agnostic Explanations Schritt 1: Eine lokale zu interpretierende Instanz auswählen.
81. Explainable AI Random Forrest / XGBoost via LIME Local Interpretable Model-agnostic Explanations Model Predictions für einen “pertubed“ Datansatz Lokale Instanz zur Interpretation Schritt 2: a) Synthetischen Datensatz auf Basis von statistischen Mittelwerten und Verteilungen generieren. b) Vorhersagen für die synthetischem Daten erstellen.
82. Explainable AI Random Forrest / XGBoost via LIME Local Interpretable Model-agnostic Explanations Gewichtung entsprechend Abstand zur lokalen Instanz. Schritt 3: Generierte Vorhersagen entsprechend räumlicher Nähe lokaler Instanz gewichten. Lokale Instanz zur Interpretation
83. Explainable AI Random Forrest / XGBoost via LIME Local Interpretable Model-agnostic Explanations Einfaches. lokales Modell (z.B. Linear Regression) Lokale Instanz zur Interpretation Schritt 4: White-Box Modell für gewichtete Vorhersagen erstellen und im Anschluss die lokale Instanz mit dem einfachen Modell „erklären“.
84. Explainable AI Random Forrest / XGBoost via LIME • Erlaubt Einblick in sehr komplexe ML Modelle mittels „Ersetzen“ durch ein einfacheres Modell (z.B. Linear Regression oder Trees) • Die Festlegung der korrekten Nachbarschaft ist ein großes, ungelöstes Problem. PRO CONTRA MODEL-AGNOSTIC LOCAL SCOPE • Nicht nur tabellarische Daten, sondern auch Texte und Bilder. • LIME zeigt sowohl Richtung als auch Stärke des Einflusses. • Die Wahl des Kernels hat einen großen Einfluss auf das Ergebnis aka die Erklärung. • Güte des Ersatzmodells ist bekannt (aka fidelity measure). • Die Korrelation von Features wird beim Sampling der Daten via Gaussian Distribution missachtet. Dies kann zu unwahrscheinlichen Trainingsdaten führen. • Instabilität der Erklärung: zwei dicht beieinander liegende Ergebnisse können zu völlig unterschiedlichen Erklärungen führen. • Sehr einfach zu nutzen (via Libraries).
85. XAI und LLMs Ok, aber was ist mit den Sprachmodellen? Kann mir das jemand erklären?
86. Explainable AI Large Language Models Verständnis schaffen durch Beobachtung Vertrauen schaffen durch Transparenz Interaction Evaluation Observability Attention Weights Layer-Wise Relevance Embedding Analysis RAG Analysis Metrics Trace / Debug LLM-based Evaluation Training Data Architecture Openness
87. Explainable AI LLM Evaluation Metrics LLM Judge Scorer Exceeds given Treshold? LLM Test Case INPUT OUTPUT RETRIVAL CONTENT … LLM Evaluation Metric SCORE REASON (optional) METRIC
88. Explainable AI LLM Evaluation Metrics LLM Test Case INPUT OUTPUT RETRIVAL CONTENT … SCORE REASON (optional) METRIC Correctness Hallucination Answer Relevancy Toxicity Task Completion Tool Correctness Faithfullness Contextual Precision Contextual Relevancy Contextural Recall Responsibility Metrics Task-specific Metrics LLM AGENT RAG MISC
89. Explainable AI LLM Evaluation Metrics Quelle: https://github.com/confident-ai/deepeval
90. Explainable AI Large Language Models Verständnis schaffen durch Beobachtung Vertrauen schaffen durch Transparenz Interaction Evaluation Observability Attention Weights Layer-Wise Relevance Embedding Analysis RAG Analysis Metrics Trace / Debug LLM-based Evaluation Training Data Architecture Openness
91. Explainable AI Large Language Models Verständnis schaffen durch Beobachtung Vertrauen schaffen durch Transparenz Interaction Evaluation Observability Attention Weights Layer-Wise Relevance Embedding Analysis RAG Analysis Metrics Trace / Debug LLM-based Evaluation Training Data Architecture Openness
92. Quelle: https://www.comet.com/site/blog/explainable-ai-for-transformers/ Explainable AI Large Language Models – Attention Weights
93. Quelle: https://github.com/jessevig/bertviz Explainable AI Large Language Models via BertViz BertViz Highlights: • Huggingface Models • Attention Weights • Multiple Views • Simple Setup • Jupyter Notebooks • Colab Notebooks
94. Quelle: https://www.comet.com/site/blog/explainable-ai-for-transformers/ Explainable AI Large Language Models via BertViz Attention Head View
95. Quelle: https://www.comet.com/site/blog/explainable-ai-for-transformers/ Explainable AI Large Language Models via BertViz Attention Bias Detection via Attention Head View
96. Quellehttps://www.comet.com/site/blog/explainable-ai-for-transformers/ Explainable AI Large Language Models via BertViz Model View
97. Quellehttps://www.comet.com/site/blog/explainable-ai-for-transformers/ Explainable AI Large Language Models via BertViz Attention Pattern Understanding via Model View
98. Quellehttps://www.comet.com/site/blog/explainable-ai-for-transformers/ Explainable AI Large Language Models via BertViz Node View
99. Quelle: https://github.com/jessevig/bertviz Explainable AI Large Language Models via BertViz - Tutorial
100. Explainable AI Large Language Models via PHOENIX Quelle: https://github.com/Arize-ai/phoenix PHOENIX Highlights: • LLM Tracing • LLM Evaluation • Embedding Analysis • RAG Analysis • Data Analysis
101. Explainable AI Large Language Models via PHOENIX Quelle: https://github.com/jessevig/bertviz
102. Explainable AI Large Language Models via LIT Quelle: https://pair-code.github.io/lit/
103. Explainable AI Large Language Models via LIT Quelle: https://pair-code.github.io/lit/
104. Explainable AI Large Language Models via LIT Quelle: https://pair-code.github.io/lit/
105. Fazit Was sollte ich aus dem Explainable AI Talk für mich mitnehmen?
106. „Whom to explain?“ „Why to explain?“ „How to explain?“ „When to explain?“ „What to explain?“ Verstehen, wer die wichtigsten Stakeholder sind. Liste von Gründen, die eine Erklärung notwendig machen. Zielgruppen- gerechte Methoden zur Erklärung finden. Den richtigen Zeitpunkt für die Erklärung definieren. Den richtigen Ansatz für das genutzte Modell wählen. Explainable AI Die fünf Schlüsselfragen „Whom, Why, How, When & What?“ Wer will was wann und in welcher Form wissen?
107. Zeit für Fragen? Immer!
108. Vielen Dank! #WISSENTEILEN by open knowledge GmbH @_openKnowledge | @mobileLarson Lars Röwekamp, CIO New Technologies
109. (Architecture, Cloud, AI & ML) Lars Röwekamp LinkedIn: lars_roewekamp CIO New Technologies OPEN KNOWLEDGE
110. BILDNACHWEIS Folie 21: © photoplotnikov - istockphoto.com Folie 23: © Mix und Match Studios - shutterstock.com Folie 23: © Mix und Match Studios - shutterstock.com All other pictures, drawings and icons originate from • pexels.com, • pixabay.com, • unsplash.com, • flaticon.com or are created by my own.