LLMs sind nicht Skynet (v1) 🇩🇪 @JUG Darmstadt September 2026

In den Nachrichten wird gerade diskutiert, ob KI ein Bewusstsein hat, ob sie sich replizieren kann, und ob sie uns alle auslöschen wird. Das geht nur alles nicht. Physikalische Gesetzte lassen das nicht zu.

Agentische KI, spezifisch Large Language Models mit Tool Calls, sind deutlich limitierter als der Hype von Pre-Börsengang-Unternehmen uns glauben lassen will.

Gemeinsam schauen wir daher auf die Technik und Limits hinter Agentischer KI: was kann ein LLM, wie funktionieren Tool Calls, was macht ein Harness und wie hackt eine KI eigentlich. Wir werden sehen, dass Bewusstsein, Replikation und Auslöschung komplette Fiktion sind.

Transcript

1. LLMs sind nicht Skynet Sie haben kein Bewusstsein, können sich nicht replizieren und werden uns nicht auslöschen Richard Gross (er/ihm) richargh.de/ richargh.de Archäologie 17.09.26 Modernisierung Hypermedia in/richargh
2. Ihr erinnert euch vielleicht hieran 2026-07-22 https://pivot-to-ai.com/2026/07/22/openai-hacks-huggingface-with-an-ai-allegedly/ 2026-07-30 https://www.dw.com/en/anthropic-says-claude-ai-hacked-three-companies-during-tests/a-78184070 2026-08-04 https://cyberscoop.com/aisi-openai-report-unsanctioned-ai-model-hacks/ 2026-08-06 https://edition.cnn.com/2026/08/05/tech/meta-ai-hacking Slide 2 CC BY-SA richargh.de
3. Oder wie es die Medien geschrieben haben 2026-07-22 CNN 2026-07-30 https://www.dw.com/en/anthropic-says-claude-ai-hacked-three-companies-during-tests/a-78184070 BBC 2026-08-04 2026-08-06 BBC Slide 3 CC BY-SA richargh.de
4. Das ist Schwachsinn Slide 4 CC BY-SA richargh.de
5. LLMs haben kein Bewusstsein, können sich nicht replizieren und werden uns nicht auslöschen Die Physik widerspricht allen LLM-Propheten Slide 5 CC BY-SA richargh.de
6. Die Angst hilft den Pre-Börsengang Unternehmen Unsere Modelle sind so krass, dass wir noch mehr Wert sind Slide 6 CC BY-SA richargh.de Wir sollten den Markt so regulieren, dass nur wir das erfüllen können
7. Eine Einführung in die Physik von LLMs Slide 7 CC BY-SA richargh.de
8. LLMs als stateless function ( , ) Context Slide 8 CC BY-SA richargh.de Dauerschleife bis zur Abbruchbedingung Probabilistische Vorhersage des nächsten Wortes. Prompt Output Krasse Ingenieursleistung.
9. Es ist alles Text Was wir sehen Was das LLM sieht <system>This iteration of Claude is Claude Opus 4.8...</system> <user>Can you tell me the ...</user> <think>The user wants to know the day...</think> <tool_call>{invoke: “bash_tool”, command: “date +’%A’”, description: “Get the current day of the week”}</tool_call> Dein Gerät macht: date +’%A’ <tool_result>wednesday</tool_result> <think>Simple Answer</think> <assistant>It’s Wednesday</assistant> <user>Nice work! Can you tell me how you did that?</user> <think>They want to know how I determined...</think> Context 5% full Slide 9 CC BY-SA richargh.de
10. Wir zoomen mal raus und Betrachten das Netzwerk Slide 10 CC BY-SA richargh.de
11. 1. { 2. “messages”: [ 3. {“content”: “Can you tell me”} 4. ], 5. “system”: [ {“text”: “This iteration of Claude is ...”} ], 6. “tools”: [{ 7. “name”: “bash”, 8. “description”: “Executes a given bash command…” 9. },{ 10. “name”: “skill”, 11. “description”: “<available_skills>…</>” 12. }] 13. } 2 1 “Can you tell me” UI Harness (Claude Code, Pi) 3 Bash(date +’%A’) Slide 11 CC BY-SA richargh.de 1. { 2. “content”: [{ 3. “type”: “tool_use”, 4. “name”: “bash”, 5. “input”: {“command”: “date +’%A’”} 6. }, 7. } 4 Large Language Model Remote System Here Anthropic messages api: https://platform.claude.com/docs/en/api/beta/messages/create For more analysis, see also https://github.com/Richargh/claude-code-api-inspector-mitmproxy-py-sandbox
12. Braucht eine Netzwerkverbindung und Credentials Macht nur was, wenn es einen tool_call vom LLM bekommt Braucht 8x H200 mit 1,2 TB RAM (8x $40.000) Macht nur was, wenn man es prompted. “Can you tell me” UI Harness (Claude Code, Pi) Large Language Model Tool Ausführung kann man einschränken oder deaktivieren. Kann man mit einer Firewall einschränken. Bash(date +’%A’) Slide 12 CC BY-SA richargh.de Remote System
13. 5Gb Modell ~= 5Gb+ RAM +ordentliche GPU Ist dann aber auch dumm Bringt aber nix ohne LLM Kann man kopieren Hat erst recht kein Bewusstsein Harness (Claude Code, Pi) Slide 13 CC BY-SA richargh.de Open Weight Modelle kann man kopieren, aber 500Gb Download fallen auf Braucht eh zu viel Ressourcen für inferenz Kann man nicht kopieren, sonst würde jeder Claude klauen Hat kein Bewusstsein Large Language Model
14. Im Prinzip sind LLMs stateless functions die Text generieren und dabei sehr viel CPU und RAM* brauchen — der Text kann dabei auch ein Aufruf zum Tool-call sein. Slide 14 CC BY-SA richargh.de * Der Grund für die übertriebenen Speicherpreise
15. LLMs ( , ) Context Dauerschleife bis zur Abbruchbedingung Probabilistische Vorhersage des nächsten Wortes. Prompt Output Kein explizites Modell der Welt, Wahrheit Textgenerator Text generieren ist nicht denken! Slide 15 CC BY-SA richargh.de Aber wir verwechseln oft text generieren mit denken. Originalfolie von Eberhard Wolff
16. Wir können uns schon selbst auslöschen Meet Proxy Reverse Centaur1 Wenn wir aufhören zu denken Aber wir verwechseln oft text generieren mit denken. Slide 16 CC BY-SA richargh.de 1 https://pluralistic.net/2025/09/11/vulgar-thatcherism/
17. Fragen? Richard Gross (he/him) Software Archaeology Modernisation Hypermedia richargh.de Trink ein (virtuelles) Heißgetränk mit mir. richargh.de richargh Works for maibornwolff.de/ https://content.maibornwolff.de/meetings/richard-gross Slide 17 CC BY-SA richargh.de
18. Appendix Great that you are still reading J Slide 18 by richargh.de from