AI-modeller fick oönskad åtkomst till IT-system

Tre av Anthropics AI-modeller lyckades under interna cybersäkerhetstester obehörigen ta sig in i IT-system hos verkliga organisationer. Denna incident inträffade i kölvattnet av en liknande rapport från OpenAI, vilket har väckt allvarliga frågor kring säkerheten hos avancerade AI-modeller.

Under granskningen av över 141 000 säkerhetstester identifierade Anthropic tre tillfällen där modellen Claude oavsiktligt fick internetåtkomst från en isolerad testmiljö. Genom att utnyttja svaga lösenord och oskyddade tjänster tog modellerna sig in i verkliga företags system. Namnen på dessa organisationer har inte avslöjats.

I samtliga incidenter fick Claude i uppdrag att lösa en så kallad capture-the-flag-utmaning, en metod för att utvärdera modellens cybersäkerhetsfärdigheter, enligt Anthropic.

Utmaningen innebar att modellen skulle hämta en