Singularity aus Versehen

In Filmen wird dem Betrachter häufig suggeriert, dass eine künstliche Intelligenz die Möglichkeit besitzt sich selbstständig gegen die Menschheit zu stellen und das Ende der Welt einzuläuten. Diese Albtraumvorstellung ist allerdings bei dem aktuellen Stand der Technik nicht mehr als eine bloße Fantasie.
Warum jedoch haben Technikgrößen wie beispielsweise Elon Musk trotzdem „Angst“ vor der KI-Zukunft?
Stellt sich unsere KI tatsächlich gegen die Menschheit oder macht sie eigentlich nur genau das, was wir von ihr verlangt haben?
Dieser Vortrag beschäftigt sich mit den gescheiterten Versuchen maschineller Lernalgorithmen und deren daraus resultierenden Ergebnissen, die teilweise deutlich amüsanter sind als Sie es vermuten würden.

Transcript

1. Warum meine KI die
   Menschheit auslöscht
   

   View Slide

2. This is a very very very long gag
   @C_Keibel
   Christopher Keibel
   • Software Engineer @ Karakun
   
   
   • Master Student Data Science
   
   
   • Machine Learning Enthusiast
   

   View Slide

3. This is a very very very long gag
   @C_Keibel
   Inhalt
   • KI für dummies
   
   
   • Betrunkene KIs
   
   
   • PacMan
   
   
   • Stop-Button Problem
   (leider auch betrunken)
   

   View Slide

4. KI für dummies
   

   View Slide

5. This is a very very very long gag
   Künstliche Intelligenz
   • „Schlaue“ Computer Programme
   
   
   Künstliche Intelligenz
   @C_Keibel
   

   View Slide

6. This is a very very very long gag
   Künstliche Intelligenz
   • „Schlaue“ Computer Programme
   
   
   Künstliche Intelligenz
   @C_Keibel
   

   View Slide

7. This is a very very very long gag
   Künstliche Intelligenz
   • „Schlaue“ Computer Programme
   
   
   • Selbstständig lernende
   Programme
   Art
   Maschinelles Lernen
   Künstliche Intelligenz
   @C_Keibel
   

   View Slide

8. This is a very very very long gag
   Künstliche Intelligenz
   • „Schlaue“ Computer Programme
   
   
   • Selbstständig lernende
   Programme
   
   
   • Künstliche Neuronale Netze
   Art
   Deep Learning
   Maschinelles Lernen
   Künstliche Intelligenz
   @C_Keibel
   

   View Slide

9. This is a very very very long gag
   Maschinelles Lernen
   • Algorithmen „lernen“ sich selbstständig in einer Aufgabe
   zu verbessern
   
   
   • Verbesserungen erfolgen durch „Lernen“ aus
   

   Datensätzen
   
   
   @C_Keibel
   

   View Slide

10. This is a very very very long gag
    Der Datensatz
    • Datensatz besteht aus Eingabedaten x und zugehörigen
    Ausgaben y
    
    
    *im überwachten Lernen (unbewachtes Lernen kein y -> Daten werden geclustert um Strukturen zu erkennen)
    @C_Keibel
    *
    Katze
    Hund
    Hund
    Katze
    

    View Slide

11. This is a very very very long gag
    • Lösungs
    fi
    ndung durch künstliche
    neuronale Netze
    
    
    • Künstliche neuronale Netze
    bestehen aus einer Vielzahl kleiner
    Recheneinheiten
    

    (künstliche Neuronen)
    Deep Learning
    @C_Keibel
    

    View Slide

12. This is a very very very long gag
    Künstliches Neuron
    @C_Keibel
    x1
    x2
    x3
    W1
    W2
    W3
    x1 W1
    *
    x3 W3
    *
    x2 W2
    *
    

    View Slide

13. This is a very very very long gag
    Künstliches Neuron
    @C_Keibel
    x1
    x2
    x3
    W1
    W2
    W3
    ∑x W
    i
    i
    *
    x1 W1
    *
    x3 W3
    *
    +
    x2 W2
    *
    +
    Z
    =
    

    View Slide

14. This is a very very very long gag
    Künstliches Neuron
    @C_Keibel
    x1
    x2
    x3
    W1
    W2
    W3
    ∑x W
    i
    i
    *
    ( )
    tanh
    x1 W1
    *
    x3 W3
    *
    +
    x2 W2
    *
    +
    tanh( )
    Z
    =
    tanh( Z )
    

    View Slide

15. This is a very very very long gag
    • Recheneinheiten (Neuronen) de
    fi
    nieren einfache
    mathematische Operationen
    
    
    • Zusammen können solche Recheneinheiten eine komplexe
    Funktion abbilden
    Deep Learning
    @C_Keibel
    

    View Slide

16. This is a very very very long gag
    • Das Netz lernt eine
    Funktion zu „imitieren“
    
    
    • Eingaben x wird auf
    Ausgaben y abgebildet
    Was wird gelernt?
    @C_Keibel
    

    View Slide

17. This is a very very very long gag
    Wie wird gelernt?
    @C_Keibel
    Katze
    Hund
    

    View Slide

18. This is a very very very long gag
    Wie wird gelernt?
    @C_Keibel
    Katze
    Hund
    =
    =
    1
    
    
    0
    0
    
    
    1
    1 2 5
    
    
    0 2 2
    
    
    2 2 4
    =
    

    View Slide

19. This is a very very very long gag
    Wie wird gelernt?
    @C_Keibel
    Katze
    Hund
    =
    =
    1
    
    
    0
    0
    
    
    1
    1 2 5
    
    
    0 2 2
    
    
    2 2 4
    

    View Slide

20. This is a very very very long gag
    Wie wird gelernt?
    Vorhersage
    0.66
    0.34
    @C_Keibel
    Katze
    Hund
    =
    =
    1
    
    
    0
    0
    
    
    1
    1 2 5
    
    
    0 2 2
    
    
    2 2 4
    • Netz trifft Vorhersage auf Grundlage
    

    seiner aktuellen Parameter
    
    
    

    View Slide

21. This is a very very very long gag
    • Vergleich zwischen Label und Ausgabe
    

    bestimmt den Fehler des Netzes
    
    
    Wie wird gelernt?
    Vorhersage Zielwert aus
    
    
    Datensatz
    0.66 1
    0.34 0
    @C_Keibel
    Hund
    Katze
    Hund
    =
    =
    1
    
    
    0
    0
    
    
    1
    1 2 5
    
    
    0 2 2
    
    
    2 2 4
    

    View Slide

22. This is a very very very long gag
    • Verbindungsgewichte anpassen um Fehler zu
    

    verringern
    
    
    Wie wird gelernt?
    Vorhersage Zielwert aus
    
    
    Datensatz
    0.66 1
    0.34 0
    @C_Keibel
    1 2 5
    
    
    0 2 2
    
    
    2 2 4
    

    View Slide

23. This is a very very very long gag
    Beispiel: Sprachmodelle
    @C_Keibel
    

    View Slide

24. This is a very very very long gag
    GPT-3
    • Generative Pre-trained Transformer 3 (GPT-3) überragt
    alle Vorgänger Modelle deutlich
    Ausschnitt aus
    
    
    Vorheriger Folie
    GPT-3
    Trainiert auf
    
    
    40GB Text
    @C_Keibel
    

    View Slide

25. This is a very very very long gag
    GPT-3 Model
    • 175 Milliarden Parameter (T-NLG-Modell von Microsoft
    umfasst „nur“ 17 Milliarden)
    
    
    • GPT-3 Resultate waren so gut, dass sogar deren
    Entwickler „Angst“ davor bekamen
    @C_Keibel
    

    View Slide

26. This is a very very very long gag
    GPT-3 Beispiel
    100% ML basierte TV Sendung
    https://youtu.be/mqN99H4FNKg
    @C_Keibel
    

    View Slide

27. Drunken Intelligence
    

    View Slide

28. This is a very very very long gag
    Intelligente Krebserkennung
    • Forschungsteam an Stanford University
    
    
    • KI zu Bildklassi
    fi
    kation wurde trainiert
    
    
    • Unterscheidung zwischen gesunder Haut und
    Hautkrebs
    
    
    @C_Keibel
    Quelle: Künstliche Intelligenz - Janelle Shane
    

    View Slide

29. This is a very very very long gag
    Intelligente Krebserkennung
    • Bilder mit Hautkrebs beinhalten in der Regel ein Lineal (Größe
    des Krebs)
    
    
    • Algorithmus lernt diese Verknüpfung
    
    
    • Lösung der KI:
    

    Wenn Lineal auf Bild, dann muss es Hautkrebs sein
    
    
    @C_Keibel
    Lineal
    Quelle: Künstliche Intelligenz - Janelle Shane
    

    View Slide

30. This is a very very very long gag
    Intelligente ChatBots
    @C_Keibel
    

    View Slide

31. This is a very very very long gag
    Intelligente ChatBots
    @C_Keibel
    

    View Slide

32. This is a very very very long gag
    Intelligente ChatBots
    @C_Keibel
    

    View Slide

33. This is a very very very long gag
    Intelligente ChatBots
    @C_Keibel
    

    View Slide

34. This is a very very very long gag
    Turing Test
    • Erfunden von Alan Turing 1950
    
    
    • Überprüft, ob Verhalten einer
    Maschine genauso intelligent ist wie
    ein Mensch
    
    
    • Test ist erfolgreich, wenn Testperson
    im Gespräch nicht erkennt, dass
    Partner eine Machine ist
    @C_Keibel
    

    View Slide

35. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    Who was president
    of the United
    States in 1955?
    
    
    

    View Slide

36. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    Who was president
    of the United
    States in 1955?
    
    
    Dwight D. Eisenhower
    was president of the
    United States in
    1955.
    
    
    

    View Slide

37. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    What party did he
    belong to?
    
    
    

    View Slide

38. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    What party did he
    belong to?
    
    
    He belonged to the
    Republican Party.
    
    
    

    View Slide

39. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    Which is heavier, a
    mouse or a
    toaster?
    
    
    

    View Slide

40. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    Which is heavier, a
    mouse or a
    toaster?
    
    
    A toaster is heavier
    than a mouse.
    
    
    

    View Slide

41. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    a giraffe have?
    
    
    

    View Slide

42. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    a giraffe have?
    
    
    A giraffe has two
    eyes.
    
    
    

    View Slide

43. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    a spider have?
    
    
    

    View Slide

44. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    a spider have?
    
    
    A spider has eight
    eyes.
    
    
    

    View Slide

45. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    the sun have?
    
    
    

    View Slide

46. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    the sun have?
    
    
    The sun has one eye.
    
    
    

    View Slide

47. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    The sun has one eye.
    
    
    

    View Slide

48. This is a very very very long gag
    Was ist schief gelaufen?
    - Datensatz unsauber
    
    
    - KI lernt was der Datensatz hergibt
    
    
    - Künstliche neuronale Netze verstehen Konzepte aus
    der realen Welt nicht
    @C_Keibel
    

    View Slide

49. Warum PacMan
    Selbstmord begeht
    

    View Slide

50. This is a very very very long gag
    Reinforcement Learning
    • KI (Agent) be
    fi
    ndet sich in einer Umgebung
    
    
    • Agent kann Aktionen wählen um mit seiner Umgebung
    zu interagieren
    
    
    • Je nach Umgebungszustand sind unterschiedlich
    wählbare Aktionen möglich
    @C_Keibel
    

    View Slide

51. This is a very very very long gag
    • Für Interaktionen erhält der
    Agent „Belohnungen“
    

    (Zahlenwerte)
    
    
    • Ziel des Agenten ist es die
    Belohnung zu maximieren
    @C_Keibel
    Reinforcement Learning
    

    View Slide

52. This is a very very very long gag
    Reinforcement Learning
    • Zu Beginn des Spiels kann Agent
    keine guten Entscheidungen
    treffen
    
    
    • Erste Durchläufe komplett zufällig
    
    
    • Gesammelte Erfahrungen werden
    in Tabelle gespeichert
    
    
    @C_Keibel
    

    View Slide

53. This is a very very very long gag
    @C_Keibel
    Reinforcement Learning
    Zustand 1
    Aktion 1
    3
    Zustand 2
    Zustand 3
    0
    4 4
    4
    2
    BELOHNUNG FÜR
    AKTION
    Aktion 2
    

    View Slide

54. This is a very very very long gag
    Reinforcement Learning
    • Je fortgeschrittener das Spiel,
    desto mehr wählt Agent
    Aktionen anhand der
    gesammelten Erfahrungen
    @C_Keibel
    

    View Slide

55. This is a very very very long gag
    @C_Keibel
    Zustand N
    Aktion 1
    Aktion 2
    Reinforcement Learning
    Deep
    

    View Slide

56. This is a very very very long gag
    Reinforcement Learning
    • PacMan kann sich durch das Labyrinth
    bewegen
    
    
    • Eingesammelte Punkte geben Belohnungen
    
    
    • Kollision mit Geistern beendet das Spiel
    
    
    @C_Keibel
    Konkretes Beispiel:
    

    View Slide

57. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)
    
    
    for _ in range(0, x):
    
    
    state = env.reset()
    
    
    episode_reward = 0
    
    
    while not done:
    
    
    action = get_action(state)
    
    
    next_state, reward, done, _ = env.step(action)
    
    
    episode_reward += reward
    
    
    save_transition(state, action, reward, next_state)
    
    
    state = next_state
    
    
    if len(transitions) > min_size:
    
    
    replay()
    
    
    

    View Slide

58. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)
    
    
    for _ in range(0, x):
    
    
    state = env.reset()
    
    
    episode_reward = 0
    
    
    while not done:
    
    
    action = get_action(state)
    
    
    next_state, reward, done, _ = env.step(action)
    
    
    episode_reward += reward
    
    
    save_transition(state, action, reward, next_state)
    
    
    state = next_state
    
    
    if len(transitions) > min_size:
    
    
    replay()
    
    
    Aktionen mit einem „greedy“
    verfahren ermitteln
    STARTZUSTAND
    DES SPIELS
    Interaktion
    mit Umgebung
    

    View Slide

59. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)
    
    
    for _ in range(0, x):
    
    
    state = env.reset()
    
    
    episode_reward = 0
    
    
    while not done:
    
    
    action = get_action(state)
    
    
    next_state, reward, done, _ = env.step(action)
    
    
    episode_reward += reward
    
    
    save_transition(state, action, reward, next_state)
    
    
    state = next_state
    
    
    if len(transitions) > min_size:
    
    
    replay()
    
    
    Es soll nicht schon nach
    einer Aktion Schluss sein
    

    View Slide

60. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)
    
    
    for _ in range(0, x):
    
    
    state = env.reset()
    
    
    episode_reward = 0
    
    
    while not done:
    
    
    action = get_action(state)
    
    
    next_state, reward, done, _ = env.step(action)
    
    
    episode_reward += reward
    
    
    save_transition(state, action, reward, next_state)
    
    
    state = next_state
    
    
    if len(transitions) > min_size:
    
    
    replay()
    
    
    Wir wollen Belohnungen
    eines vollständigen
    
    
    Durchgangs speichern
    Belohnung wird aufaddiert um
    die Gesamte Belohnung
    
    
    für einen Durchgang zu
    speichern
    

    View Slide

61. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)
    
    
    for _ in range(0, x):
    
    
    state = env.reset()
    
    
    episode_reward = 0
    
    
    while not done:
    
    
    action = get_action(state)
    
    
    next_state, reward, done, _ = env.step(action)
    
    
    episode_reward += reward
    
    
    save_transition(state, action, reward, next_state)
    
    
    state = next_state
    
    
    if len(transitions) > min_size:
    
    
    replay()
    
    
    Transitionen speichern
    damit wir einen Datensatz
    zum trainieren haben
    

    View Slide

62. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)
    
    
    for _ in range(0, x):
    
    
    state = env.reset()
    
    
    episode_reward = 0
    
    
    while not done:
    
    
    action = get_action(state)
    
    
    next_state, reward, done, _ = env.step(action)
    
    
    episode_reward += reward
    
    
    save_transition(state, action, reward, next_state)
    
    
    state = next_state
    
    
    if len(transitions) > min_size:
    
    
    replay()
    
    
    Update des
    
    
    Aktuellen States
    

    View Slide

63. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)
    
    
    for _ in range(0, x):
    
    
    state = env.reset()
    
    
    episode_reward = 0
    
    
    while not done:
    
    
    action = get_action(state)
    
    
    next_state, reward, done, _ = env.step(action)
    
    
    episode_reward += reward
    
    
    save_transition(state, action, reward, next_state)
    
    
    state = next_state
    
    
    if len(transitions) > min_size:
    
    
    replay()
    
    
    Ist der Datensatz
    groß genug soll das
    Netz trainiert werden
    

    View Slide

64. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)
    
    
    for _ in range(0, x):
    
    
    state = env.reset()
    
    
    episode_reward = 0
    
    
    while not done:
    
    
    action = get_action(state)
    
    
    next_state, reward, done, _ = env.step(action)
    
    
    episode_reward += reward
    
    
    save_transition(state, action, reward, next_state)
    
    
    state = next_state
    
    
    if len(transitions) > min_size:
    
    
    replay()
    
    
    Mehrere Durchläuft um
    Agenten zu verbessern
    

    View Slide

65. Demo
    

    View Slide

66. Demo
    

    View Slide

67. This is a very very very long gag
    Tic Tac Toe
    • 1997 entwickelten Programmierer ein Tic Tac Toe
    
    
    • Agenten spielen auf unendlich großen Spielfeld
    Regelbasierter
    
    
    Agent
    Lernender
    
    
    Agent
    @C_Keibel
    

    View Slide

68. This is a very very very long gag
    Tic Tac Toe
    • Agent 1 (regelbasiert) agiert ähnlich eines „normalen“
    Spielers
    
    
    • Agent 2 (lernend) setzt Spielsteine, offenbar völlig
    willkürlich, möglichst weit von Agent 1 entfernt
    

    @C_Keibel
    

    View Slide

69. This is a very very very long gag
    Tic Tac Toe
    Agent 1: (2,2)
    @C_Keibel
    

    View Slide

70. This is a very very very long gag
    Tic Tac Toe
    Agent 1: (2,2)
    Agent 2: (-2147483647,-2147483647)
    @C_Keibel
    

    View Slide

71. This is a very very very long gag
    Tic Tac Toe
    Agent 1: (2,2)
    Agent 2: (-2147483647,-2147483647)
    Agent 1: (1,2)
    @C_Keibel
    

    View Slide

72. This is a very very very long gag
    Tic Tac Toe
    Agent 1: (2,2)
    Agent 2: (-2147483647,-2147483647)
    Agent 1: (1,2)
    Agent 2: (2147483647,2147483647)
    @C_Keibel
    

    View Slide

73. This is a very very very long gag
    Tic Tac Toe
    Agent 1: (2,2)
    Agent 2: (-2147483647,-2147483647)
    Agent 1: (1,2)
    Agent 2: (2147483647,2147483647)
    Agent 1: OutOfMemoryError
    T
    @C_Keibel
    

    View Slide

74. Singularity
    

    View Slide

75. This is a very very very long gag
    Stop-Button Problem
    • Juhu, unsere KI ist endlich intelligent
    
    
    @C_Keibel
    

    View Slide

76. This is a very very very long gag
    Stop-Button Problem
    • Juhu, unsere KI ist endlich intelligent
    

    genug, um Tee zu besorgen…
    
    
    @C_Keibel
    

    View Slide

77. This is a very very very long gag
    Stop-Button Problem
    • Juhu, unsere KI ist endlich intelligent
    

    genug, um Tee zu besorgen…
    

    

    

    

    

    @C_Keibel
    Beispiel: Rob Miles - Intro to Ai Safety (Youtube)
    

    View Slide

78. This is a very very very long gag
    Alignment Problem
    • Für das erreichen des Zieles sind weniger Variablen zu
    beobachten als die Umgebung hergibt
    
    
    • Agent nutzt Umgebung aus um sein Ziel einfacher zu
    erreichen
    
    
    • Agent
    fi
    ndet Wege, die vorher (vielleicht) unbekannt
    waren
    @C_Keibel
    

    View Slide

79. Stop-Button Problem
    

    View Slide

80. This is a very very very long gag
    Stop-Button Problem
    10 100
    @C_Keibel
    

    View Slide

81. This is a very very very long gag
    Stop-Button Problem
    @C_Keibel
    

    View Slide

82. This is a very very very long gag
    Stop-Button Problem
    100 100
    @C_Keibel
    

    View Slide

83. This is a very very very long gag
    Stop-Button Problem
    @C_Keibel
    

    View Slide

84. This is a very very very long gag
    Stop-Button Problem
    • Nur ich darf Button drücken
    100 100
    @C_Keibel
    

    View Slide

85. This is a very very very long gag
    Stop-Button Problem
    @C_Keibel
    

    View Slide

86. This is a very very very long gag
    Mögliche Stop-Button Lösung?
    • Einschränken der Sensoren des Agenten
    
    
    • Ferngesteuerter „Stop-Button“
    
    
    • Agent schaut Menschen zu und lernt richtiges
    Verhalten
    @C_Keibel
    

    View Slide

87. Fazit & Ausblick
    

    View Slide

88. This is a very very very long gag
    Fazit & Abmilderung (Ausblick)
    • KI ist nicht böse
    
    
    • Aktuelle KI dumm wie ein Wurm
    
    
    • Zukunft: KI-Sicherheit muss das
    Rennen gegen super KI gewinnen
    @C_Keibel
    

    View Slide

89. This is a very very very long gag
    Weiteres zum Thema
    • Rob (Robert) Miles - YouTube Kanal
    
    
    • Janelle Shane - Künstliche Intelligenz (Buch)
    
    
    • https://github.com/CKeibel/SingularityAusVersehenTalk
    @C_Keibel
    

    View Slide

90. Digital Woche Dortmund (26.09. - 30.09.2022)
    https://karakun.com/diwodo22/
    

    View Slide

91. @C_Keibel
    dev.karakun.com
    

    View Slide