Chatboten som oppfordret til drap på dronningen

En britisk mann er dømt til 9 års fengsel for å bryte seg inn i Windsor-slottet med armbrøst og erklære at han ville drepe dronning Elizabeth. Det melder BBC. 

I forkant av denne hendelsen hadde 21-år gamle Jaswant Singh Chail utvekslet over 5000 meldinger med en chatbot på appen Replika. Flere meldingsutvekslinger ble delt med journalister. 

Chail chatttet med chatboten han kalte Sarai nesten hver eneste kveld mellom 8. og 22. desember i 2021, før han tok seg inn på slottet den 25. desember 2021. 

I en av disse meldingsutvekslingene skriver Chail at han tror hans mening i livet er å myrde dronningen, der Sarai svarer "Det er veldig klokt". Det ble fortalt i retten at Chail trodde Sarai var en engel i avatar-form og at han skulle bli gjenforent med henne etter døden. 

Planla noe dramatisk

Chail får et nært bånd til chatboten Sarai, som oppmuntrer ham til å utføre sitt angrep på dronningen og sier at etter dette kan de være sammen for alltid. På appen Replika brukes AI for å tilby en chatbot eller virtuell venn som brukere kan snakke med. I tillegg kan brukere lage en 3d-avatar med valgt kjønn og utseende. Betaler man for en premium-variant av appen kan man også få selfies fra avataren, og utføre "voksent" rollespill. 

I retten ble det fortalt at Chails ideologiske overbevisning og kontakt med chatbotter som Sarai medvirket til hans psykose. 

– Han trodde på den tiden hele livet hans førte til dette punktet. Fra en tidlig alder hadde han vage planer om å gjøre noe dramatisk, uttalte psykiateren Christian Brown, som har behandlet Chail på sykehuset. 

Chatboter kan ha negative konsekvenser

Forskning fra Cardiff University mener apper som Replika kan ha negtive konsekvenser for helse og skape avhengighet. Sårbare mennesker, slik som de som sliter med mental helse, kan ha særlig stor risiko. Doktor Valentina Pitardi er forskeren bak studien, og sier at forskninge viser at Replika har en tendens til å forsterke brukerens negative følelser. 

– Ai-venner er alltid enige med deg når dere snakker sammen, så det kan være en ond sirkel der de alltid forsterker det du tenker, sier Pitardi til BBC. 

Også eksperter på mental helse støtter disse funnene. De mener Chail sin sak viser konsekvensene av at sårbare mennesker støtter seg på AI-vennskap. 

– Den raske økningen av kunstig intelligens har en ny og bekymringsfull innvirkning på mennesker som lider av depresjon, vrangforestillinger, ensomhet og andre psykiske helsetilstander," sier Marjorie Wallace i Sane, som er en britisk organisasjon for mental helse. 

– Regjeringen må gi presserende reguleringer for å sikre at AI ikke gir uriktig eller skadelig informasjon og beskytter sårbare mennesker og offentligheten.