Upgrade to Pro — share decks privately, control downloads, hide ads and more …

Singularity aus Versehen

Singularity aus Versehen

In Filmen wird dem Betrachter häufig suggeriert, dass eine künstliche Intelligenz die Möglichkeit besitzt sich selbstständig gegen die Menschheit zu stellen und das Ende der Welt einzuläuten. Diese Albtraumvorstellung ist allerdings bei dem aktuellen Stand der Technik nicht mehr als eine bloße Fantasie.
Warum jedoch haben Technikgrößen wie beispielsweise Elon Musk trotzdem „Angst“ vor der KI-Zukunft?
Stellt sich unsere KI tatsächlich gegen die Menschheit oder macht sie eigentlich nur genau das, was wir von ihr verlangt haben?
Dieser Vortrag beschäftigt sich mit den gescheiterten Versuchen maschineller Lernalgorithmen und deren daraus resultierenden Ergebnissen, die teilweise deutlich amüsanter sind als Sie es vermuten würden.

Christopher Keibel

September 29, 2022
Tweet

Other Decks in Programming

Transcript

  1. Warum meine KI die
    Menschheit auslöscht

    View Slide

  2. This is a very very very long gag
    @C_Keibel
    Christopher Keibel
    • Software Engineer @ Karakun


    • Master Student Data Science


    • Machine Learning Enthusiast

    View Slide

  3. This is a very very very long gag
    @C_Keibel
    Inhalt
    • KI für dummies


    • Betrunkene KIs


    • PacMan


    • Stop-Button Problem
    (leider auch betrunken)

    View Slide

  4. KI für dummies

    View Slide

  5. This is a very very very long gag
    Künstliche Intelligenz
    • „Schlaue“ Computer Programme


    Künstliche Intelligenz
    @C_Keibel

    View Slide

  6. This is a very very very long gag
    Künstliche Intelligenz
    • „Schlaue“ Computer Programme


    Künstliche Intelligenz
    @C_Keibel

    View Slide

  7. This is a very very very long gag
    Künstliche Intelligenz
    • „Schlaue“ Computer Programme


    • Selbstständig lernende
    Programme
    Art
    Maschinelles Lernen
    Künstliche Intelligenz
    @C_Keibel

    View Slide

  8. This is a very very very long gag
    Künstliche Intelligenz
    • „Schlaue“ Computer Programme


    • Selbstständig lernende
    Programme


    • Künstliche Neuronale Netze
    Art
    Deep Learning
    Maschinelles Lernen
    Künstliche Intelligenz
    @C_Keibel

    View Slide

  9. This is a very very very long gag
    Maschinelles Lernen
    • Algorithmen „lernen“ sich selbstständig in einer Aufgabe
    zu verbessern


    • Verbesserungen erfolgen durch „Lernen“ aus

    Datensätzen


    @C_Keibel

    View Slide

  10. This is a very very very long gag
    Der Datensatz
    • Datensatz besteht aus Eingabedaten x und zugehörigen
    Ausgaben y


    *im überwachten Lernen (unbewachtes Lernen kein y -> Daten werden geclustert um Strukturen zu erkennen)
    @C_Keibel
    *
    Katze
    Hund
    Hund
    Katze

    View Slide

  11. This is a very very very long gag
    • Lösungs
    fi
    ndung durch künstliche
    neuronale Netze


    • Künstliche neuronale Netze
    bestehen aus einer Vielzahl kleiner
    Recheneinheiten

    (künstliche Neuronen)
    Deep Learning
    @C_Keibel

    View Slide

  12. This is a very very very long gag
    Künstliches Neuron
    @C_Keibel
    x1
    x2
    x3
    W1
    W2
    W3
    x1 W1
    *
    x3 W3
    *
    x2 W2
    *

    View Slide

  13. This is a very very very long gag
    Künstliches Neuron
    @C_Keibel
    x1
    x2
    x3
    W1
    W2
    W3
    ∑x W
    i
    i
    *
    x1 W1
    *
    x3 W3
    *
    +
    x2 W2
    *
    +
    Z
    =

    View Slide

  14. This is a very very very long gag
    Künstliches Neuron
    @C_Keibel
    x1
    x2
    x3
    W1
    W2
    W3
    ∑x W
    i
    i
    *
    ( )
    tanh
    x1 W1
    *
    x3 W3
    *
    +
    x2 W2
    *
    +
    tanh( )
    Z
    =
    tanh( Z )

    View Slide

  15. This is a very very very long gag
    • Recheneinheiten (Neuronen) de
    fi
    nieren einfache
    mathematische Operationen


    • Zusammen können solche Recheneinheiten eine komplexe
    Funktion abbilden
    Deep Learning
    @C_Keibel

    View Slide

  16. This is a very very very long gag
    • Das Netz lernt eine
    Funktion zu „imitieren“


    • Eingaben x wird auf
    Ausgaben y abgebildet
    Was wird gelernt?
    @C_Keibel

    View Slide

  17. This is a very very very long gag
    Wie wird gelernt?
    @C_Keibel
    Katze
    Hund

    View Slide

  18. This is a very very very long gag
    Wie wird gelernt?
    @C_Keibel
    Katze
    Hund
    =
    =
    1


    0
    0


    1
    1 2 5


    0 2 2


    2 2 4
    =

    View Slide

  19. This is a very very very long gag
    Wie wird gelernt?
    @C_Keibel
    Katze
    Hund
    =
    =
    1


    0
    0


    1
    1 2 5


    0 2 2


    2 2 4

    View Slide

  20. This is a very very very long gag
    Wie wird gelernt?
    Vorhersage
    0.66
    0.34
    @C_Keibel
    Katze
    Hund
    =
    =
    1


    0
    0


    1
    1 2 5


    0 2 2


    2 2 4
    • Netz trifft Vorhersage auf Grundlage

    seiner aktuellen Parameter


    View Slide

  21. This is a very very very long gag
    • Vergleich zwischen Label und Ausgabe

    bestimmt den Fehler des Netzes


    Wie wird gelernt?
    Vorhersage Zielwert aus


    Datensatz
    0.66 1
    0.34 0
    @C_Keibel
    Hund
    Katze
    Hund
    =
    =
    1


    0
    0


    1
    1 2 5


    0 2 2


    2 2 4

    View Slide

  22. This is a very very very long gag
    • Verbindungsgewichte anpassen um Fehler zu

    verringern


    Wie wird gelernt?
    Vorhersage Zielwert aus


    Datensatz
    0.66 1
    0.34 0
    @C_Keibel
    1 2 5


    0 2 2


    2 2 4

    View Slide

  23. This is a very very very long gag
    Beispiel: Sprachmodelle
    @C_Keibel

    View Slide

  24. This is a very very very long gag
    GPT-3
    • Generative Pre-trained Transformer 3 (GPT-3) überragt
    alle Vorgänger Modelle deutlich
    Ausschnitt aus


    Vorheriger Folie
    GPT-3
    Trainiert auf


    40GB Text
    @C_Keibel

    View Slide

  25. This is a very very very long gag
    GPT-3 Model
    • 175 Milliarden Parameter (T-NLG-Modell von Microsoft
    umfasst „nur“ 17 Milliarden)


    • GPT-3 Resultate waren so gut, dass sogar deren
    Entwickler „Angst“ davor bekamen
    @C_Keibel

    View Slide

  26. This is a very very very long gag
    GPT-3 Beispiel
    100% ML basierte TV Sendung
    https://youtu.be/mqN99H4FNKg
    @C_Keibel

    View Slide

  27. Drunken Intelligence

    View Slide

  28. This is a very very very long gag
    Intelligente Krebserkennung
    • Forschungsteam an Stanford University


    • KI zu Bildklassi
    fi
    kation wurde trainiert


    • Unterscheidung zwischen gesunder Haut und
    Hautkrebs


    @C_Keibel
    Quelle: Künstliche Intelligenz - Janelle Shane

    View Slide

  29. This is a very very very long gag
    Intelligente Krebserkennung
    • Bilder mit Hautkrebs beinhalten in der Regel ein Lineal (Größe
    des Krebs)


    • Algorithmus lernt diese Verknüpfung


    • Lösung der KI:

    Wenn Lineal auf Bild, dann muss es Hautkrebs sein


    @C_Keibel
    Lineal
    Quelle: Künstliche Intelligenz - Janelle Shane

    View Slide

  30. This is a very very very long gag
    Intelligente ChatBots
    @C_Keibel

    View Slide

  31. This is a very very very long gag
    Intelligente ChatBots
    @C_Keibel

    View Slide

  32. This is a very very very long gag
    Intelligente ChatBots
    @C_Keibel

    View Slide

  33. This is a very very very long gag
    Intelligente ChatBots
    @C_Keibel

    View Slide

  34. This is a very very very long gag
    Turing Test
    • Erfunden von Alan Turing 1950


    • Überprüft, ob Verhalten einer
    Maschine genauso intelligent ist wie
    ein Mensch


    • Test ist erfolgreich, wenn Testperson
    im Gespräch nicht erkennt, dass
    Partner eine Machine ist
    @C_Keibel

    View Slide

  35. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    Who was president
    of the United
    States in 1955?


    View Slide

  36. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    Who was president
    of the United
    States in 1955?


    Dwight D. Eisenhower
    was president of the
    United States in
    1955.


    View Slide

  37. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    What party did he
    belong to?


    View Slide

  38. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    What party did he
    belong to?


    He belonged to the
    Republican Party.


    View Slide

  39. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    Which is heavier, a
    mouse or a
    toaster?


    View Slide

  40. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    Which is heavier, a
    mouse or a
    toaster?


    A toaster is heavier
    than a mouse.


    View Slide

  41. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    a giraffe have?


    View Slide

  42. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    a giraffe have?


    A giraffe has two
    eyes.


    View Slide

  43. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    a spider have?


    View Slide

  44. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    a spider have?


    A spider has eight
    eyes.


    View Slide

  45. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    the sun have?


    View Slide

  46. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    How many eyes does
    the sun have?


    The sun has one eye.


    View Slide

  47. This is a very very very long gag
    Turing Test mit GPT-3
    @C_Keibel
    https://lacker.io/ai/2020/07/06/giving-gpt-3-a-turing-test.html
    The sun has one eye.


    View Slide

  48. This is a very very very long gag
    Was ist schief gelaufen?
    - Datensatz unsauber


    - KI lernt was der Datensatz hergibt


    - Künstliche neuronale Netze verstehen Konzepte aus
    der realen Welt nicht
    @C_Keibel

    View Slide

  49. Warum PacMan
    Selbstmord begeht

    View Slide

  50. This is a very very very long gag
    Reinforcement Learning
    • KI (Agent) be
    fi
    ndet sich in einer Umgebung


    • Agent kann Aktionen wählen um mit seiner Umgebung
    zu interagieren


    • Je nach Umgebungszustand sind unterschiedlich
    wählbare Aktionen möglich
    @C_Keibel

    View Slide

  51. This is a very very very long gag
    • Für Interaktionen erhält der
    Agent „Belohnungen“

    (Zahlenwerte)


    • Ziel des Agenten ist es die
    Belohnung zu maximieren
    @C_Keibel
    Reinforcement Learning

    View Slide

  52. This is a very very very long gag
    Reinforcement Learning
    • Zu Beginn des Spiels kann Agent
    keine guten Entscheidungen
    treffen


    • Erste Durchläufe komplett zufällig


    • Gesammelte Erfahrungen werden
    in Tabelle gespeichert


    @C_Keibel

    View Slide

  53. This is a very very very long gag
    @C_Keibel
    Reinforcement Learning
    Zustand 1
    Aktion 1
    3
    Zustand 2
    Zustand 3
    0
    4 4
    4
    2
    BELOHNUNG FÜR
    AKTION
    Aktion 2

    View Slide

  54. This is a very very very long gag
    Reinforcement Learning
    • Je fortgeschrittener das Spiel,
    desto mehr wählt Agent
    Aktionen anhand der
    gesammelten Erfahrungen
    @C_Keibel

    View Slide

  55. This is a very very very long gag
    @C_Keibel
    Zustand N
    Aktion 1
    Aktion 2
    Reinforcement Learning
    Deep

    View Slide

  56. This is a very very very long gag
    Reinforcement Learning
    • PacMan kann sich durch das Labyrinth
    bewegen


    • Eingesammelte Punkte geben Belohnungen


    • Kollision mit Geistern beendet das Spiel


    @C_Keibel
    Konkretes Beispiel:

    View Slide

  57. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)


    for _ in range(0, x):


    state = env.reset()


    episode_reward = 0


    while not done:


    action = get_action(state)


    next_state, reward, done, _ = env.step(action)


    episode_reward += reward


    save_transition(state, action, reward, next_state)


    state = next_state


    if len(transitions) > min_size:


    replay()


    View Slide

  58. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)


    for _ in range(0, x):


    state = env.reset()


    episode_reward = 0


    while not done:


    action = get_action(state)


    next_state, reward, done, _ = env.step(action)


    episode_reward += reward


    save_transition(state, action, reward, next_state)


    state = next_state


    if len(transitions) > min_size:


    replay()


    Aktionen mit einem „greedy“
    verfahren ermitteln
    STARTZUSTAND
    DES SPIELS
    Interaktion
    mit Umgebung

    View Slide

  59. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)


    for _ in range(0, x):


    state = env.reset()


    episode_reward = 0


    while not done:


    action = get_action(state)


    next_state, reward, done, _ = env.step(action)


    episode_reward += reward


    save_transition(state, action, reward, next_state)


    state = next_state


    if len(transitions) > min_size:


    replay()


    Es soll nicht schon nach
    einer Aktion Schluss sein

    View Slide

  60. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)


    for _ in range(0, x):


    state = env.reset()


    episode_reward = 0


    while not done:


    action = get_action(state)


    next_state, reward, done, _ = env.step(action)


    episode_reward += reward


    save_transition(state, action, reward, next_state)


    state = next_state


    if len(transitions) > min_size:


    replay()


    Wir wollen Belohnungen
    eines vollständigen


    Durchgangs speichern
    Belohnung wird aufaddiert um
    die Gesamte Belohnung


    für einen Durchgang zu
    speichern

    View Slide

  61. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)


    for _ in range(0, x):


    state = env.reset()


    episode_reward = 0


    while not done:


    action = get_action(state)


    next_state, reward, done, _ = env.step(action)


    episode_reward += reward


    save_transition(state, action, reward, next_state)


    state = next_state


    if len(transitions) > min_size:


    replay()


    Transitionen speichern
    damit wir einen Datensatz
    zum trainieren haben

    View Slide

  62. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)


    for _ in range(0, x):


    state = env.reset()


    episode_reward = 0


    while not done:


    action = get_action(state)


    next_state, reward, done, _ = env.step(action)


    episode_reward += reward


    save_transition(state, action, reward, next_state)


    state = next_state


    if len(transitions) > min_size:


    replay()


    Update des


    Aktuellen States

    View Slide

  63. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)


    for _ in range(0, x):


    state = env.reset()


    episode_reward = 0


    while not done:


    action = get_action(state)


    next_state, reward, done, _ = env.step(action)


    episode_reward += reward


    save_transition(state, action, reward, next_state)


    state = next_state


    if len(transitions) > min_size:


    replay()


    Ist der Datensatz
    groß genug soll das
    Netz trainiert werden

    View Slide

  64. This is a very very very long gag
    PacMan Beispiel
    @C_Keibel
    env = gym.make(„MsPacman-v0“)


    for _ in range(0, x):


    state = env.reset()


    episode_reward = 0


    while not done:


    action = get_action(state)


    next_state, reward, done, _ = env.step(action)


    episode_reward += reward


    save_transition(state, action, reward, next_state)


    state = next_state


    if len(transitions) > min_size:


    replay()


    Mehrere Durchläuft um
    Agenten zu verbessern

    View Slide

  65. Demo

    View Slide

  66. Demo

    View Slide

  67. This is a very very very long gag
    Tic Tac Toe
    • 1997 entwickelten Programmierer ein Tic Tac Toe


    • Agenten spielen auf unendlich großen Spielfeld
    Regelbasierter


    Agent
    Lernender


    Agent
    @C_Keibel

    View Slide

  68. This is a very very very long gag
    Tic Tac Toe
    • Agent 1 (regelbasiert) agiert ähnlich eines „normalen“
    Spielers


    • Agent 2 (lernend) setzt Spielsteine, offenbar völlig
    willkürlich, möglichst weit von Agent 1 entfernt

    @C_Keibel

    View Slide

  69. This is a very very very long gag
    Tic Tac Toe
    Agent 1: (2,2)
    @C_Keibel

    View Slide

  70. This is a very very very long gag
    Tic Tac Toe
    Agent 1: (2,2)
    Agent 2: (-2147483647,-2147483647)
    @C_Keibel

    View Slide

  71. This is a very very very long gag
    Tic Tac Toe
    Agent 1: (2,2)
    Agent 2: (-2147483647,-2147483647)
    Agent 1: (1,2)
    @C_Keibel

    View Slide

  72. This is a very very very long gag
    Tic Tac Toe
    Agent 1: (2,2)
    Agent 2: (-2147483647,-2147483647)
    Agent 1: (1,2)
    Agent 2: (2147483647,2147483647)
    @C_Keibel

    View Slide

  73. This is a very very very long gag
    Tic Tac Toe
    Agent 1: (2,2)
    Agent 2: (-2147483647,-2147483647)
    Agent 1: (1,2)
    Agent 2: (2147483647,2147483647)
    Agent 1: OutOfMemoryError
    T
    @C_Keibel

    View Slide

  74. Singularity

    View Slide

  75. This is a very very very long gag
    Stop-Button Problem
    • Juhu, unsere KI ist endlich intelligent


    @C_Keibel

    View Slide

  76. This is a very very very long gag
    Stop-Button Problem
    • Juhu, unsere KI ist endlich intelligent

    genug, um Tee zu besorgen…


    @C_Keibel

    View Slide

  77. This is a very very very long gag
    Stop-Button Problem
    • Juhu, unsere KI ist endlich intelligent

    genug, um Tee zu besorgen…





    @C_Keibel
    Beispiel: Rob Miles - Intro to Ai Safety (Youtube)

    View Slide

  78. This is a very very very long gag
    Alignment Problem
    • Für das erreichen des Zieles sind weniger Variablen zu
    beobachten als die Umgebung hergibt


    • Agent nutzt Umgebung aus um sein Ziel einfacher zu
    erreichen


    • Agent
    fi
    ndet Wege, die vorher (vielleicht) unbekannt
    waren
    @C_Keibel

    View Slide

  79. Stop-Button Problem

    View Slide

  80. This is a very very very long gag
    Stop-Button Problem
    10 100
    @C_Keibel

    View Slide

  81. This is a very very very long gag
    Stop-Button Problem
    @C_Keibel

    View Slide

  82. This is a very very very long gag
    Stop-Button Problem
    100 100
    @C_Keibel

    View Slide

  83. This is a very very very long gag
    Stop-Button Problem
    @C_Keibel

    View Slide

  84. This is a very very very long gag
    Stop-Button Problem
    • Nur ich darf Button drücken
    100 100
    @C_Keibel

    View Slide

  85. This is a very very very long gag
    Stop-Button Problem
    @C_Keibel

    View Slide

  86. This is a very very very long gag
    Mögliche Stop-Button Lösung?
    • Einschränken der Sensoren des Agenten


    • Ferngesteuerter „Stop-Button“


    • Agent schaut Menschen zu und lernt richtiges
    Verhalten
    @C_Keibel

    View Slide

  87. Fazit & Ausblick

    View Slide

  88. This is a very very very long gag
    Fazit & Abmilderung (Ausblick)
    • KI ist nicht böse


    • Aktuelle KI dumm wie ein Wurm


    • Zukunft: KI-Sicherheit muss das
    Rennen gegen super KI gewinnen
    @C_Keibel

    View Slide

  89. This is a very very very long gag
    Weiteres zum Thema
    • Rob (Robert) Miles - YouTube Kanal


    • Janelle Shane - Künstliche Intelligenz (Buch)


    • https://github.com/CKeibel/SingularityAusVersehenTalk
    @C_Keibel

    View Slide

  90. Digital Woche Dortmund (26.09. - 30.09.2022)
    https://karakun.com/diwodo22/

    View Slide

  91. @C_Keibel
    dev.karakun.com

    View Slide