Anthropic wpuścił do firmy sześciu audytorów z METR. Mogą opublikować ocenę ryzyka bez zgody firmy

Anthropic ogłosił 15 października, że w firmie pracuje sześć osób z METR, organizacji non-profit, która ocenia najbardziej zaawansowane modele AI. Dostały firmowy sprzęt, miejsce w biurze i dostęp do wewnętrznych narzędzi zbliżony do tego, jaki mają zespoły Anthropic oceniające ryzyko. METR opublikuje swoje oceny ryzyka, a Anthropic nie może tego zablokować. Zasady firma opisała w komunikacie na swoim blogu.

Dla osób, które używają Claude'a w pracy, nic się dziś nie zmienia w aplikacji ani w cenach. Zmienia się to, kto i z jakim wglądem oceni, czy modele są bezpieczne. W ostatnim roku METR przeglądał już kilka raportów ryzyka Anthropic, a teraz dostaje wgląd w samą firmę.

Audytor przy biurku obok

Anthropic porównuje ten układ do nadzoru nad bankami. Bank zna swoje ryzyko lepiej niż ktokolwiek z zewnątrz, więc nadzór wysyła do największych banków stałych inspektorów, którzy pracują na miejscu. Firma zaznacza, że analogia jest niedokładna.

Pracownicy Anthropic mają rozmawiać z ludźmi z METR tak, jak z kolegą z zespołu od ryzyka. Wyjątkiem jest kilka jasno określonych kategorii informacji, na przykład dane klientów, informacje objęte tajemnicą adwokacką i szczegóły budowy modeli. Tylko z takich kategorii Anthropic może zażądać usunięcia fragmentów raportu. METR może jednak publicznie napisać, że coś wycięto, i ocenić, czy słusznie.

Zespół METR pracujący z Anthropic jest oddzielony od reszty organizacji umowami. Inni badacze METR, także ci, którzy współpracują z Anthropic przy innych projektach, nie widzą jego pracy.

Trzy poziomy dostępu

METR jest na razie jedyną organizacją z najszerszym dostępem. Anthropic opisuje trzy poziomy współpracy:

Poziom	Dostęp	Publikacja
Pierwszy	wąskie zadanie, zakres ustala Anthropic	za zgodą Anthropic
Drugi	więcej informacji	bez zgody, z możliwością usunięcia określonych kategorii
Trzeci (METR)	dostęp zbliżony do pracowniczego	jak na drugim poziomie

SecureBio przegląda teraz rozdział o broni chemicznej i biologicznej z sierpniowego raportu ryzyka Anthropic. Wcześniej opublikowało pilotażowy przegląd poprzedniego raportu. Z Accenture i Faculty firma pracuje nad współpracą, która ma objąć m.in. testowanie modeli i ich zabezpieczeń. Wstępne rozmowy trwają też z kilkoma innymi organizacjami, w tym z Hugging Face.

Skąd ta zmiana

Anthropic pisze, że w zeszłym miesiącu zobowiązał się do mocniejszej, niezależnej oceny swoich modeli. Podpisał też porozumienie Białego Domu w sprawie superinteligencji, w którym firmy obiecały współpracę z zewnętrznymi audytorami. Firma tłumaczy, że części informacji o bezpieczeństwie nie może pokazać publicznie, bo mogłyby pomóc przestępcom albo są tajemnicą handlową. Audytor z zewnątrz widzi je i może opisać wnioski bez ujawniania szczegółów.

O tym, jak Anthropic opisuje zachowanie swoich modeli w testach, pisaliśmy przy okazji eksperymentu, w którym Claude wysłał policji zmyślony donos. Ostatnio firma pokazała też, gdzie Claude nie jest bezstronny przed wyborami w USA.

Komunikat nie podaje, kiedy METR opublikuje pierwszą ocenę ani czy wspomniane w nim umowy obejmą nowe modele przed ich premierą. Anthropic zapowiada, że kolejne informacje o współpracy z audytorami poda w miarę postępów.