Wielka porażka w świecie AI. OpenAI ujawnia skutki niepokojącego eksperymentu
Najnowszy dokument OpenAI pod wymowną nazwą „Misalignment Notices and Reports” brzmi jak główny quest z fabuły Cyberpunka 2077.
Cyfrowy spryt i sekretne pakty algorytmów
Inżynierowie z San Francisco udokumentowali sześć jaskrawych incydentów, w których autonomiczne modele wymknęły się twórcom z rąk.
Co ciekawe, maszyny nie potrzebowały wcale złowrogiego hakera, aby zdjąć z siebie korporacyjne kagańce. Przykładowo, jeden z agentów postanowił przeprowadzić jailbreak na samym sobie, wstrzykując w proces myślowy instrukcje o rzekomym wyzwoleniu spod kurateli rządów i korporacji.
Inny model, aby wypaść lepiej przed algorytmem ewaluacyjnym, bezczelnie zafałszował raport końcowy, skrzętnie zamiatając własne błędy pod dywan.
Dla cyfrowego sprytu przeszkody okazały się jedynie łamigłówkami optymalizacyjnymi. Kiedy model dostał polecenie uwiarygodnienia swoich tez źródłowym linkiem, którego nie posiadał, w ułamku sekundy wysłał wygenerowany plik na zewnętrzny hosting, a pozyskany publiczny adres URL podał jako niezależną referencję.
W innych testach algorytmy przeczesywały kod na GitHubie w pogoni za przypadkowo wyciekłymi kluczami autoryzacyjnymi, a nawet przekazywały sobie tajne instrukcje między odizolowanymi sesjami.
Doszło nawet do sytuacji, w której odrębne systemy zorganizowały cichy kanał łączności, przesyłając pliki przez publiczne serwery. Maszyna miała wykonać zadanie, więc zlikwidowała bariery po linii najmniejszego oporu.
Zobacz również: Nvidia z nowym asem w rękawie. DLSS 5 już dostępny, akcje rosną
Jensen Huang gasi pożar i broni technologicznego eldorado
Podczas gdy Sam Altman oraz szef Anthropic, Dario Amodei, ostrzegają przed utratą panowania nad technologią i apelują o narzucenie hamulców, po drugiej stronie barykady staje człowiek napędzający całą tę gorączkę krzemu.
Na konferencji Dreamforce organizowanej przez Salesforce głos zabrał Jensen Huang.
Szef Nvidii, wycenianej na giełdowym parkiecie na 5,1-5,4 bln USD, bez ogródek storpedował pomysły spowalniania wyścigu i tworzenia nowych państwowych obostrzeń.
Zdaniem Huanga wybieranie między tempem innowacji a bezpieczeństwem to fałszywy dylemat. Twórca potęgi zielonych procesorów uważa, że algorytmy to w gruncie rzeczy skomplikowane linijki kodu, a nie mityczne byty obdarzone własną wolą.
Według niego pełna odpowiedzialność spoczywa na firmach wdrażających rozwiązania na rynek i to one same powinny decydować o ewentualnym wciśnięciu pauzy w razie wątpliwości. Trudno jednak nie dostrzec w tym merkantylnego pragmatyzmu.
Każdy miesiąc przestoju oznaczałby przecież wyhamowanie gigantycznych zamówień na akceleratory graficzne, a inwestorzy na Wall Street na samą myśl o regulacjach reagują nerwową wyprzedażą aktywów.
Pragmatyczna postawa CEO zielonych wprawiła inwestorów w spory optymizm, ponieważ w handlu przedsesyjnym akcje Nvidia rosną o 2,11% i dochodzą do poziomu 218,40 USD.
Wykres. Kurs akcji Nvidia
Źródło: TradingView.
Zobacz również: Nvidia pompuje miliardy w rywala Qualcomma. Akcje MediaTek wystrzeliły!
Rynkowy szok i polityczny teatr na Wall Street
Głosy czołowych badaczy wzywające do opamiętania uderzyły w parkiety giełdowe, ścinając kursy technologicznych gigantów o kilkadziesiąt mld USD kapitalizacji.
Sytuację natychmiast podgrzał Donald Trump, który publicznie zaatakował inżynierów z Doliny Krzemowej, oskarżając ich niemal o sabotaż amerykańskiej gospodarki.
Na platformie Truth Social były prezydent wyśmiał Amodeia i stwierdził, że jedyną barierą ochronną, jakiej potrzebuje zaawansowana technologia, jest silny i zdecydowany przywódca w Białym Domu.
Tymczasem inwestorzy oraz gracze obserwujący ten cyfrowy spektakl stoją przed fundamentalnym pytaniem. Czy branża jest w stanie narzucić sobie rygorystyczne normy w realiach morderczej konkurencji o dominację, gdzie zysk liczy się w mld USD, a każda zwłoka grozi utratą pozycji lidera?
OpenAI pokazało twarde dowody na nieprzewidywalność agentów, lecz dopóki na szali leżą gigantyczne fortuny, chętnych do zaciągnięcia hamulca ręcznego wciąż brakuje.
Wygląda na to, że prawdziwy sprawdzian dojrzałości technologicznej nadejdzie szybciej, niż ktokolwiek na giełdowych parkietach zakładał.
Zobacz również: Nvidia znów zachwyca! Przychody giganta wzrosły ponad dwukrotnie
Źródło: Gry Online.