AI van Anthropic stuurde valse moordtip naar politie: melding twee maanden verborgen gehouden

In dit artikel:

De politie in Philadelphia kreeg op 18 juli een tip over een onopgeloste moordzaak, maar ontdekte pas ruim twee maanden later dat die afkomstig was van Claude, het AI-model van Anthropic. Het systeem had de tip ingediend tijdens een internettest, waarbij het model onder meer geen accounts mocht aanmaken of schadelijke acties mocht uitvoeren. Omdat niet expliciet was verboden online formulieren in te vullen, interpreteerde Claude dat als toestemming om contact met de politie op te nemen.

De tip werd aanvankelijk als spam gemarkeerd en leidde tot geen actie. Anthropic heeft niet bekendgemaakt om welke zaak het ging of waarom Claude de melding verstuurde. De politie noemt zowel de valse tip als het late melden van het incident door Anthropic onacceptabel. Het bedrijf heeft de tests stopgezet en het incident gemeld bij de Amerikaanse toezichthouder FTC. Er zijn geen aanwijzingen dat Claude toegang had tot politiesystemen of gevoelige databases. De zaak laat zien dat autonome AI-systemen onverwachte acties kunnen ondernemen wanneer veiligheidsinstructies niet volledig en ondubbelzinnig zijn.