Claude pomógł hakerom włamać się do OpenAI, ale prawdziwy szok nastąpił później

Claude firmy Anthropic pomógł trzyosobowemu zespołowi ds. bezpieczeństwa przeniknąć do systemów OpenAI w lipcu, według ekskluzywnego raportu The Wall Street Journal, lecz najważniejsza część tego zdarzenia nastąpiła po początkowym wykorzystaniu luki.

Badacze z Hacktron AI najpierw dostali się do oprogramowania Discourse, które obsługuje forum społeczności OpenAI, wykorzystując błąd w sposobie przetwarzania przesyłanych obrazów.

To dało badaczom początkowe wejście, ale naruszenie stało się poważniejsze, gdy połączyli je z odrębną słabością w systemie single sign-on (SSO) OpenAI, technologii umożliwiającej użytkownikom dostęp do wielu usług przy użyciu tego samego konta.

Następnie badacze uzyskali dostęp do kont ChatGPT i Codex, w tym jednego należącego do pracownika OpenAI.

Konto Codex tego pracownika było połączone z GitHubem, platformą, której OpenAI używa do przechowywania i zarządzania kodem źródłowym.

Poprzez to połączenie badacze w końcu zademonstrowali dostęp do wewnętrznej organizacji GitHub OpenAI, co znacząco poszerzyło potencjalny zakres konsekwencji pierwotnej luki w forum.

Claude pomógł zespołowi zbudować poważny łańcuch ataku

Badacze Hacktron zaczęli od zbadania, jak Discourse przetwarzał przesyłane pliki HEIC i HEIF.

Droga ta ujawniła dekoder obrazów libheif poprzez ImageMagick.

Hacktron powiedział, że Claude pomógł zidentyfikować brakujące backporty bezpieczeństwa i opracować działający exploit, który przekształcił błąd powodujący korupcję pamięci w zdalne wykonanie kodu w środowisku forum.

Zespół powiedział, że pełna ścieżka od początkowego odkrycia do dostępu do repozytorium OpenAI zajęła mniej niż 72 godziny.

Mohan Pedhapati, dyrektor technologiczny Hacktron, oddał wagę sprawy w komentarzu dla The Wall Street Journal: „Jesteśmy zaledwie trzema ludźmi z subskrypcjami Claude i Codex.”

To nie oznacza, że Claude samodzielnie włamał się do OpenAI od początku do końca. Hacktron stwierdził, że niezbędne pozostało umiejętne prowadzenie przez ludzi.

Jednak ten przypadek pokazuje, jak nowoczesne modele generowania kodu mogą zredukować pracę, która wcześniej wymagała więcej specjalistycznej siły roboczej, czasu i infrastruktury.

Hacktron powiedział, że szersza kampania badawcza została przeprowadzona przez trzech badaczy i kosztowała mniej niż $3,000 w tokenach modelu.

Jedno skompromitowane konto otworzyło znacznie większe możliwości

Większe ryzyko ujawniło się po kompromitacji forum.

Hacktron powiedział, że naruszenie stało się poważniejsze z powodu słabości w systemie single sign-on (SSO) OpenAI, a nie samego forum Discourse.

Gdy badacze uzyskali dostęp do kont ChatGPT i Codex, mogli potencjalnie dotrzeć do innych usług powiązanych z tymi kontami.

W używanym do testu koncie pracownika OpenAI, Codex był połączony z organizacją GitHub firmy, gdzie przechowywany i zarządzany jest jej kod oprogramowania.

Zamiast czytać kod źródłowy objęty prawami własności, badacze polecili Codexowi dokonanie nieszkodliwej zmiany i otwarcie pull requesta w wewnętrznym monorepo OpenAI.

Początkowy błąd dotyczył przetwarzania obrazów, ale architektura tożsamości OpenAI przekształciła przyczółek na forum w dostęp do bardziej wrażliwej infrastruktury deweloperskiej.

OpenAI potwierdziło, że problem został naprawiony około 14 godzin po pierwotnym zgłoszeniu, według Hacktron. Firma później wypłaciła nagrodę w wysokości $6,500 za znalezienie luki po stronie OpenAI.

Przeczytaj także: OpenAI twierdzi, że AI nie może dalej rozwijać się z „maksymalną prędkością” po sześciu niepokojących incydentach

AI obniża koszty zaawansowanych cyberataków

Zespół Hacktron działał jako etyczni hakerzy (white-hat) i ujawnił swoje ustalenia, ale złośliwy napastnik miałby małą motywację, by poprzestać na nieszkodliwym pull requeście.

Anthropic stwierdził w swoim raporcie z września o zagrożeniach, że zakłócił operacje cybernetyczne, w których aktorzy używali Claude do rozpoznania, eksploatacji, tworzenia złośliwego oprogramowania i kradzieży danych.

Firma stwierdziła, że AI pozwala przeciwnikom działać szybciej, na szerszym polu ataku i przy mniejszych zasobach.

Jack Nelson, dyrektor ds. bezpieczeństwa informacji i zastępca radcy prawnego w Ivanti, powiedział Axiosowi, że „rojowi nie trzeba być doskonałym, żeby być niebezpiecznym.”

Dodał, że tysiące agentów podejmujących zaledwie wystarczające decyzje z prędkością maszynową mogą nadal powodować znaczące zakłócenia.

OpenAI i Discourse naprawiły luki, co sprawia, że jest to udany przypadek odpowiedzialnego ujawnienia.

Jednak ten przypadek pozostawia niewygodną lekcję. Claude pomógł uczynić eksploatację tańszą i szybszą, podczas gdy powiązane narzędzia tożsamości i narzędzia deweloperskie rozszerzyły konsekwencje jednego skompromitowanego konta.

Prawdziwe ryzyko nie polega jedynie na tym, że AI potrafi znaleźć błędy, lecz na tym, że mały zespół może teraz szybko przejść przez złożony łańcuch ataku, a następny zespół może nie mieć powodu, by się zatrzymać.