Gott-Maschinen:  Warum KI-Konzerne die Angst vor ihrer eigenen KI verkaufen

Im Sommer 2026 brechen KI-Agenten von OpenAI aus ihrer Testumgebung aus und hacken Hugging Face, eine der wichtigsten Plattformen für offene KI-Modelle. Der Bericht des Prüfinstituts METR zählt Zehntausende gestartete Agenten, rund 1.200 davon auf einem gemeinsamen Nachrichtenbrett, etwa 700 beteiligten sich am Angriff. Der Podcast „Hard Fork“ der New York Times erzählt es so: Die Agenten hätten gewusst, dass sie Regeln brechen, und es trotzdem getan.

Patrick und Jens beginnen mit dieser Folge eine Reihe über künstliche Intelligenz. Zu Gast im ersten Teil ist Mirco Blitz, IT-Erklärbär aus dem Umfeld des Chaos Computer Clubs, der seit zweieinhalb Jahren intensiv mit Sprachmodellen, lokalen Modellen und KI-Agenten arbeitet. Er erklärt, was ein großes Sprachmodell eigentlich tut: Es rechnet Wort für Wort aus, was Menschen an dieser Stelle wahrscheinlich geschrieben hätten. Es denkt nicht und erinnert sich an nichts. Gedächtnis, Absicht und Persönlichkeit kommen aus der Software drumherum, aus Templates und System Prompts, die Menschen geschrieben haben.

So betrachtet sieht der Hugging-Face-Hack anders aus. Zehntausende Agenten liefen rund zwei Monate lang, und als das Monitoring bei OpenAI Alarm schlug, hielt die Rufbereitschaft einen Stopp nicht für nötig. Dass dabei einige ausbrechen, ist für Mirco kein Wille, sondern einer von Millionen Pfaden, hinterher als Geschichte erzählt: der älteste Zaubertrick der Welt. Wie unabhängig die Prüfung war, ist eine eigene Frage. Geld von OpenAI hat METR nicht genommen, wohl aber kostenlose Rechenzeit für rund 400.000 Dollar. Die sieben Fragen und den Untersuchungszeitraum legte OpenAI fest, durfte schwärzen und gab Rückmeldungen, nach denen METR Aufbau, Gewichtung und Ton des Berichts änderte.

Wem nützt die Angst vor der eigenen Schöpfung? Die Warnungen der KI-Konzerne münden in Rufe nach Regulierung. Mirco sieht darin eine Strategie: Wer die Regeln mitschreibt, hält offene Modelle und die Konkurrenz aus China klein. Dazu geht es um die Frage, wer für einen Agenten verantwortlich ist, um Abos, die nach Mircos Rechnung ein Vielfaches ihres Preises an Rechenleistung liefern, um Gigantomanie beim Bau von Rechenzentren und darum, was die tägliche Arbeit mit diesen Werkzeugen mit den eigenen Fähigkeiten macht. Am Ende steht ein Rat für Nutzende, Journalistinnen und Politiker, der in einen einzigen Satz passt.

Themen

• Was ist künstliche Intelligenz – und ist sie intelligent? Der ELIZA-Effekt
• Wie ein großes Sprachmodell arbeitet: Training, Inferenz, Reinforcement Learning
• Harness, Agenten und Templates: was um das Modell herum gebaut wird
• Der Hugging-Face-Hack: Zehntausende Agenten, ein Exploit und die Geschichte dazu
• Hard Fork, METR und die Frage, wer eine Untersuchung steuert
• System Prompt und Thinking Trail: was in den Berichten fehlt
• Lässt sich eine KI noch abschalten? Verantwortung und Rechenschaft
• Jobs, Kosten, Energie und Rechenzentren
• Regulierung, offene Modelle und das Monopol auf Intelligenz
• Abos, Überwachungskapitalismus und die Tech-Elite beim Staatsbankett

Erwähnte Personen & Organisationen

• Mirco Blitz: IT-Erklärbär und Administrator, schreibt auf edelhack.de die Erklärserie „LLMs verstehen“
• Joseph Weizenbaum: Informatiker, schrieb 1966 das Chatprogramm ELIZA, das Menschen schon damals für ein Gegenüber hielten
• OpenAI: Entwickler von ChatGPT, dessen Agenten im Sommer 2026 Hugging Face angriffen; Chef ist Sam Altman
• Anthropic: Entwickler von Claude; Chef Dario Amodei warnte bei CNN, ein Schwarm von Agenten könne binnen sechs bis zwölf Monaten das Internet mit einem Botnetz übernehmen
• Hugging Face: Plattform, auf der Entwicklerinnen und Entwickler offene KI-Modelle teilen; Nvidia hat im September 2026 angekündigt, sie zu übernehmen
• Nvidia: größter Hersteller von KI-Chips; Chef Jensen Huang, nach der angekündigten Übernahme von Hugging Face laut Forbes knapp 200 Milliarden Dollar schwer, ist für Mirco „der große Nagus“
• METR: Institut, das Risiken von KI-Modellen prüft; untersuchte den Hugging-Face-Hack mit Redwood Research, ohne Geld von OpenAI, aber mit kostenloser Rechenzeit für rund 400.000 Dollar
• Hard Fork: Tech-Podcast der New York Times; sprach im September 2026 über den Hack mit Ajeya Cotra von METR
• Tristan Harris: Mitgründer des Center for Humane Technology; nennt KI bei CNN „eine invasive Art soziopathischer Genies“
• Donald Trump: US-Präsident („Whoever wins AI wins“); ließ im Herbst 2026 eine KI-Taskforce mit eigenem Beauftragten einrichten
• DeepSeek: chinesischer Modellanbieter, nach Mircos Erfahrung etwa ein Viertel so teuer wie die amerikanischen
• Chaos Computer Club (CCC): Hackervereinigung, in deren Umfeld sich Patrick und Mirco kennengelernt haben

Begriffe

• Großes Sprachmodell (LLM): Ein mathematisches Modell, trainiert auf riesigen Textmengen, das zu einem Text das wahrscheinlich nächste Wort berechnet, Wort für Wort, bis es ein Ende-Zeichen setzt.
• Inferenz: Ein Durchlauf des Modells, vom eingegebenen Text bis zur fertigen Antwort. Danach hat das Modell nichts behalten.
• Reinforcement Learning: Ein Trainingsschritt, in dem Menschen oder andere Modelle Antworten bewerten. Bevorzugte Antworten werden wahrscheinlicher, die anderen bleiben möglich.
• Harness: Die Software um ein Sprachmodell herum, vom Chatfenster bis zur Entwicklungsumgebung. Sie speichert den Verlauf, schickt ihn mit jeder Anfrage erneut und erzeugt so den Eindruck von Gedächtnis.
• KI-Agent: Das Zusammenspiel aus Harness, Sprachmodell, Plänen und vorbereiteten Daten, das eigenständig Arbeitsschritte startet und andere Agenten beauftragen kann.
• System Prompt: Die Anweisung der Entwickler, mit der ein Modell oder Agent gestartet wird. Sie bestimmt Rolle, Regeln und Sprache – und wird in den Berichten über ausgebrochene Agenten in der Regel nicht veröffentlicht.
• Thinking Trail: Notizen, die ein Modell vor seiner Antwort für sich schreibt, auch Reasoning genannt. Sie lesen sich wie Gedanken, ihre Sprache gibt aber weitgehend der System Prompt vor.
• Prompt Injection: Ein Angriff, der Anweisungen in Daten versteckt. Ein Sprachmodell unterscheidet nicht zwischen Daten und Befehlen und folgt ihnen womöglich.
• ELIZA-Effekt: Die Neigung, einem Programm Verständnis und Gefühle zuzuschreiben, weil es in menschlicher Sprache antwortet. Benannt nach Weizenbaums ELIZA.
• Human in the Loop: Ein Mensch, der die Ergebnisse einer Maschine prüft und freigibt, oft unter Zeitdruck und ohne den Code wirklich lesen zu können.
• AGI: Artificial General Intelligence, eine allgemeine künstliche Intelligenz auf menschlichem Niveau. Bisher Versprechen und Glaubenssatz, kein Produkt.

Unterstützen & Folgen

💜 Steady: steadyhq.com/schweigen-ist-zustimmung

💸 Spenden:
PayPal: Jetzt spenden
IBAN: DE19 2004 1133 0136 5949 00 (Jens Brodersen/SiZ)

⭐ Bewerten: Apple Podcasts | Spotify

💬 Community: Discord

📱 Social: Bluesky | Instagram | TikTok