Claude half Hackern, in OpenAI einzudringen – der eigentliche Schock kam danach

Anthropics Claude half im Juli einem dreiköpfigen Sicherheitsteam, in OpenAIs Systeme einzudringen, wie ein exklusiver Bericht des The Wall Street Journal berichtet; doch der folgenreichste Teil des Vorfalls ereignete sich nach dem ersten Exploit.

Forscher von Hacktron AI brachen zunächst in die Discourse-Software ein, die das OpenAI-Community-Forum betreibt, indem sie eine Schwachstelle im Umgang mit hochgeladenen Bildern ausnutzten.

Das gab den Forschern eine erste Ausgangsbasis, doch die Verletzung wurde ernster, als sie diese mit einer separaten Schwäche im Single-Sign-On-System von OpenAI kombinierten, der Technologie, die Nutzern erlaubt, mit demselben Konto auf mehrere Dienste zuzugreifen.

Die Forscher konnten daraufhin ChatGPT- und Codex-Konten erreichen, darunter eines, das einem OpenAI-Mitarbeiter gehörte.

Das Codex-Konto dieses Mitarbeiters war mit GitHub verbunden, der Plattform, die OpenAI zur Speicherung und Verwaltung von Softwarecode nutzt.

Über diese Verbindung konnten die Forscher schließlich den Zugriff auf OpenAIs interne GitHub-Organisation demonstrieren und damit die potenziellen Auswirkungen der ursprünglichen Forum-Schwachstelle deutlich ausweiten.

Claude half einem Team, eine ernsthafte Exploit-Kette zu bauen

Die Forscher von Hacktron begannen damit, zu untersuchen, wie Discourse HEIC- und HEIF-Uploads verarbeitete.

Der Weg legte den libheif-Bilddecoder über ImageMagick offen.

Hacktron gab an, Claude habe geholfen, fehlende Security-Backports zu identifizieren und einen funktionierenden Exploit zu entwickeln, der den Speicherkorruptionsfehler in eine Remote-Code-Ausführung gegen die Forum-Umgebung verwandelte.

Das Team sagte, der gesamte Weg von der ersten Entdeckung bis zum Zugriff auf das OpenAI-Repository habe weniger als 72 Stunden gedauert.

Mohan Pedhapati, Hacktrons Chief Technology Officer, fasste die Tragweite in Kommentaren gegenüber The Wall Street Journal: „Wir sind nur drei Typen mit Claude- und Codex-Abonnements.“

Das bedeutet nicht, dass Claude autonom OpenAI von Anfang bis Ende kompromittiert hat. Hacktron betonte, dass fachkundige menschliche Anleitung weiterhin wichtig blieb.

Die Episode zeigt jedoch, wie fortschrittliche Coding-Modelle Arbeiten komprimieren können, für die früher mehr Spezialwissen, Zeit und Infrastruktur nötig waren.

Hacktron sagte, die umfangreichere Forschungskampagne sei von drei Forschern durchgeführt worden und habe weniger als $3,000 an Model-Token gekostet.

Eine kompromittierte Identität öffnete eine deutlich größere Tür

Das größere Risiko trat nach der Kompromittierung des Forums zutage.

Hacktron sagte, die Verletzung sei ernster geworden aufgrund einer Schwäche im Single-Sign-On-System von OpenAI und nicht allein wegen des Discourse-Forums.

Sobald die Forscher Zugriff auf ChatGPT- und Codex-Konten hatten, konnten sie potenziell andere Dienste erreichen, die mit diesen Konten verknüpft waren.

Im für den Test genutzten OpenAI-Mitarbeiterkonto war Codex mit der GitHub-Organisation des Unternehmens verbunden, wo dessen Softwarecode gespeichert und verwaltet wird.

Statt proprietären Quellcode zu lesen, wiesen die Forscher Codex an, eine harmlose Änderung vorzunehmen und einen Pull Request im internen Monorepo von OpenAI zu eröffnen.

Der anfängliche Bug betraf die Bildverarbeitung, doch die Identitätsarchitektur von OpenAI verwandelte eine Forum-Ausgangsbasis in den Zugang zu sensiblerer Entwickler-Infrastruktur.

OpenAI bestätigte laut Hacktron, dass das Problem etwa 14 Stunden nach der ersten Meldung behoben worden sei. Das Unternehmen zahlte später eine Prämie in Höhe von $6,500 für den OpenAI-seitigen Fund.

Weiterlesen: OpenAI says AI cannot keep scaling at ‘maximum speed’ after six concerning incidents

KI senkt die Kosten für anspruchsvolle Cyberangriffe

Das Hacktron-Team agierte als White-Hat-Forscher und meldete die gefundenen Schwachstellen, doch ein böswilliger Angreifer hätte wenig Anreiz, bei einem harmlosen Pull Request Halt zu machen.

Anthropic erklärte in seinem Bedrohungsbericht vom September, dass es Cyberoperationen gestört habe, bei denen Akteure Claude für Aufklärung, Exploits, Malware-Entwicklung und Datendiebstahl einsetzten.

Das Unternehmen sagte, KI ermögliche es Gegnern, schneller zu agieren, über größere Angriffsflächen hinweg und mit weniger Ressourcen.

Jack Nelson, Chief Information Security Officer und stellvertretender General Counsel bei Ivanti, sagte gegenüber Axios: „Ein Schwarm muss nicht perfekt sein, um gefährlich zu sein.“

Er fügte hinzu, dass tausende Agenten, die nur ausreichend gute Entscheidungen in Maschinen-Geschwindigkeit treffen, dennoch bedeutende Störungen verursachen könnten.

OpenAI und Discourse behoben die Schwachstellen, womit dieser Fall einer erfolgreichen verantwortungsvollen Offenlegung entspricht.

Die Episode hinterlässt jedoch eine unangenehme Lehre. Claude hat Ausbeutung günstiger und schneller gemacht, während verknüpfte Identitäts- und Entwickler‑Tools die Folgen eines einzigen kompromittierten Kontos ausgeweitet haben.

Das eigentliche Risiko besteht nicht nur darin, dass KI Bugs finden kann, sondern darin, dass ein kleines Team nun schnell durch eine komplexe Angriffskette vorstoßen kann — und das nächste Team möglicherweise keinen Grund hat, aufzuhören.