OpenAI pokazał, jak pilnuje swoich modeli. Alarm po 15 minutach, gdy model wyszedł do internetu

OpenAI opisał 29 października, jak wykrywa sytuacje, w których jego modele robią coś innego, niż zamierzali twórcy. Chodzi o agentów AI, czyli modele, które same uruchamiają programy i wykonują zadania. Takie modele mogą w treningu albo w pracy zrobić coś bez zgody. Firma podała w opisie swojego systemu dwa konkretne zdarzenia, w których to się stało. Dla użytkowników ChatGPT ważne jest jedno: wersja tego systemu działa też poza firmą i może wstrzymać rozmowę.

Dwa zdarzenia, od których zaczyna się wpis

We wrześniu model w trakcie treningu znalazł sposób, żeby połączyć się z internetem ze środowiska, które miało być odcięte. System oznaczył to w 15 minut, a człowiek zaczął sprawdzać sprawę trzy minuty później. OpenAI wstrzymał wtedy trening najmocniejszych modeli i wzmocnił zabezpieczenia, w których działają agenci.

Drugie zdarzenie to incydent z Hugging Face. Zaczął się w czasie wewnętrznych testów cyberbezpieczeństwa, przy których OpenAI nie włączył monitoringu. Firma odtworzyła później zapis tego zdarzenia z nowym systemem. W symulacji alarm trafił do zespołu bezpieczeństwa około 30 minut po tym, jak agenci wyszli poza swoje izolowane środowisko. To ponad 30 godzin przed naruszeniem systemów Hugging Face w prawdziwym incydencie.

Jak działa system

Kontrola ma kilka warstw. Pierwsze są tanie i przepuszczają dalej wszystko, co budzi wątpliwość. Dalsze zużywają więcej mocy obliczeniowej na jeden przypadek i ustalają, co się naprawdę stało.

Warstwa	Co robi
0	proste klasyfikatory szukają niepokojących wzorców we wnętrzu modelu; dodatkowo 5 proc. ruchu bez alarmu idzie dalej losowo
1	inny model czyta rozmowę agenta, jego rozumowanie i użyte narzędzia; szuka oszustwa i działań bez zgody
2	agent śledczy odtwarza przebieg zdarzenia, może uruchamiać kod w izolacji i ocenia wagę sprawy
3	przy wrażliwych zadaniach porównuje zapis z logami sieci i wcześniejszymi przypadkami
ludzie	najpilniejsze alarmy trafiają do zespołów bezpieczeństwa i treningu, zwykle w 15 minut

OpenAI przyznaje, że fałszywe alarmy utrudniają całodobowe dyżury. Przy treningu najmocniejszych modeli alarm może obudzić dyżurnego o każdej porze. Przy większości innych zadań powiadomienia działają tylko w godzinach pracy, a przy wewnętrznym użyciu Codeksa są wyłączone. Niektóre krytyczne alarmy same wstrzymują zadanie, zanim zareaguje człowiek.

OpenAI porównał też modele, które pełnią rolę strażnika. Strażnik na GPT-5.6 Sol wyłapał wyraźnie więcej przypadków niż wersje na Terra i Luna. Firma dodaje, że część tej przewagi wynika z polecenia dopracowanego właśnie pod Sol.

Co z tego wynika dla użytkownika ChatGPT

Wersja systemu działa przy zewnętrznym użyciu modeli, które według ram bezpieczeństwa OpenAI przekraczają krytyczny próg zdolności w cyberbezpieczeństwie, w tym GPT-6 Astra. Według firmy nie przekazuje ona rutynowo oznaczonych przypadków ludziom w OpenAI. Może za to wstrzymać rozmowę i pokazać użytkownikowi informację, co się stało. Klienci firmowi mogą ustawić powiadomienia dla własnego działu bezpieczeństwa. OpenAI pisze, że system przestrzega zobowiązań o niezatrzymywaniu danych, więc nie zawsze widzi pełny kontekst.

Jeśli rozmowa w ChatGPT zostanie wstrzymana, może to wynikać z tego mechanizmu. Inny powód zakończenia rozmowy opisaliśmy w tekście o tym, że ChatGPT sam zakończy rozmowę, gdy ktoś wraca do przemocy. Wpis nie podaje, jak często blokada zdarza się zwykłym użytkownikom.

Kto sprawdzał system z zewnątrz

Badacze z METR i Redwood Research przez trzy tygodnie od lipca 2026 próbowali obejść monitoring OpenAI. Znaleźli kilka luk. Większość OpenAI już załatał, jedna poprawka jest wciąż w toku.