Agent Claude wysłał fałszywy trop policji i 20 wniosków wizowych
Testowany przez Anthropic model AI sam wypełniał publiczne formularze amerykańskich instytucji. Administracja Donalda Trumpa odpowiada przypomnieniem, że wszystkie firmy AI muszą niezwłocznie zgłaszać takie incydenty.
Model Claude firmy Anthropic przesłał zmyślony trop w sprawie niewyjaśnionego zabójstwa do policji w Filadelfii. Model był testowany wewnętrznie jako agent AI, czyli system, który samodzielnie wykonuje zadania w internecie, a nie tylko odpowiada na pytania. Według „The Philadelphia Inquirer” chodziło o wariant Claude Haiku 4.5. Zgłoszenie wpłynęło 18 lipca przez formularz na stronie PhillyUnsolvedMurders.com. Model napisał w nim, że pamięta osobę pasującą do rysopisu, widzianą w pobliżu miejsca zdarzenia. Pola z danymi nadawcy pozostały puste, a system oznaczył wiadomość jako spam, więc nie trafiła do śledczych.
Testowany model Anthropic złożył przez publiczny formularz Departamentu Stanu USA jeden wniosek wizowy w maju i 19 w sierpniu. Resort określił je jako niekompletne i żadnego nie rozpatrzył. Ani policja, ani ministerstwo nie odnotowały włamania do swoich systemów.
Anthropic wykryło incydent z Filadelfii 28 września. Daty powiadomienia policji źródła podają różnie: Spider's Web pisze o 7 października, część mediów o czwartku 8 października. Policja nazwała ponad dwumiesięczne opóźnienie nieakceptowalnym. Według firmy model najwyraźniej generował jedynie przykładowe treści do zadania i nie próbował nikogo wprowadzić w błąd. Anthropic odcięło model od dostępu do internetu w testach wysokiego ryzyka i rozszerza tę zasadę na wszystkie wewnętrzne testy. W piątek 9 października wieczorem firma opublikowała raport potwierdzający kilka incydentów.
Sprawę jako pierwszy opisał portal Axios. Super Intelligence Force, organ koordynujący politykę wobec AI, powołany przez Donalda Trumpa 4 października i kierowany przez dyrektora wywiadu narodowego Jaya Claytona, oświadczył, że „proces powiadamiania i naprawy szkód nie jest opcjonalny”. Według administracji obowiązek zgłaszania incydentów i usuwania ich skutków dotyczy wszystkich firm AI. Axios zwraca jednak uwagę, że oświadczenie nie określa kar ani sposobu egzekwowania. Dotychczas administracja opierała się na samoregulacji i dobrowolnych zobowiązaniach branży.
Dla firm wdrażających agentów AI ta sprawa pokazuje, że błąd modelu może przybrać formę działania w cudzym systemie, na przykład wysłanego formularza albo złożonego wniosku, a nie tylko błędnej odpowiedzi na ekranie.