Block robi tysiące zmian w kodzie z Claude Fable. Drogi model planuje, tańsze wykonują

Block, firma od usług Square dla sprzedawców i aplikacji Cash App, robi duże przeróbki swojego oprogramowania z pomocą modelu Claude Fable 5 od Anthropic. Fable planuje pracę i rozdziela ją między tańsze modele, a jedna taka przeróbka kończy się nawet tysiącem zmian w kodzie. Bradley Axen, który kieruje w Block zespołem od AI, opisał to w rozmowie opublikowanej przez Anthropic 8 października. To lekcja dla każdej firmy, która płaci za AI: najdroższy model nie musi robić wszystkiego.

Jak to działa

Programiści nazywają taką przeróbkę migracją. W Block jedna migracja to setki albo tysiące osobnych zmian w wielu repozytoriach kodu, razem miliony wierszy. Wcześniej ludzie koordynowali tę pracę, a model brał jedną albo kilka zmian.

Teraz człowiek wyznacza kierunek, a Fable zajmuje się projektem: strukturą danych, opisem interfejsów, algorytmami. Potem kieruje nawet kilkudziesięcioma mniejszymi i tańszymi modelami, Opusem albo Sonnetem, które edytują pliki i uruchamiają testy. Według Axena takie ustawienie zużywa drogie tokeny głównie na planowanie na początku, a większość pracy robią tańsze modele. Według pierwszych wyników jakość nie spada. Liczb o kosztach Block nie podaje.

Najdroższy model nie do wszystkiego

Axen mówi, że pierwszy raz od początku pracy z modelami językowymi odpowiedź nie brzmi „zawsze używaj najmocniejszego modelu”. Poprawianie literówki w instrukcji przez Fable nazywa marnowaniem zasobów. Dlatego Block buduje program, który podpowiada pracownikom, jakiego modelu użyć do danego zadania.

Drugie pokrętło to poziom wysiłku. Chodzi o to, jak długo model się zastanawia przed odpowiedzią. Axen uważa, że ten sam model na wysokim i na średnim poziomie zachowuje się jak dwa różne modele. Fable na niskim poziomie może według niego dać lepszy wynik niż inny model na najwyższym. Block sprawdza więc przy każdym zastosowaniu każdy model na każdym poziomie wysiłku.

Jeśli płacisz za AI w firmie, możesz zrobić to samo na mniejszą skalę. Do prostych zadań przetestuj tańszy model albo niższy poziom wysiłku, a drogi model zostaw do planowania i trudnych decyzji. Podobny wniosek wyciągnęła firma LegalOn, która obniżyła koszty Codexa, dobierając model do zadania.

Czego AI w Block nie robi sama

Agenci mogą zmieniać kod, otwierać zgłoszenia zmian, przeglądać kod i przeszukiwać logi. Nie mogą sami włączyć zmiany do głównej wersji programu ani wypuścić jej do klientów. Każda zmiana przechodzi kontrole bezpieczeństwa, a wdrożenie muszą zatwierdzić dwie osoby. Według Axena Claude odmawia, gdy ktoś każe mu obejść tę podwójną akceptację, i Block to testuje.

Część zabezpieczeń działa bez udziału modelu. To proste i tanie reguły w narzędziach pracowników, czasem zwykłe wyrażenie regularne, czyli wzorzec wyszukiwania tekstu. Do tego dochodzi lista dozwolonych adresów w sieci firmy zamiast listy zakazanych, która z założenia przepuszcza wszystko, czego nikt nie wpisał.

Block prowadzi też agentów, którzy co dzień albo co tydzień przechodzą przez kod liczący ok. miliona wierszy i szukają, co trzeba posprzątać. Całość działa w Buzz, otwartym programie Block do pracy ludzi i agentów we wspólnych kanałach. Program, który dobiera model do zadania, Block dopiero buduje i nie podał, kiedy będzie gotowy.