De zelfmoord van Sewell Setzer, een 14-jarige Amerikaanse tiener, na een intense liefdesrelatie met een artificiële intelligentie, roept nieuwe vragen op over de psychologische effecten van AI op jonge mensen.

Zoals gemeld door Le Soir , dat informatie doorgaf van de New York Times, was de jongeman emotioneel gehecht geraakt aan een chatbot genaamd “Dany”, geïnspireerd op het personage van Daenerys Targaryen in Game of Thrones. Deze relatie, die doet denken aan Spike Jonze's film Her, waarin een man verliefd wordt op een AI, bracht Sewell in een diep isolement en een groeiend verdriet.

Een sluipende malaise zette geleidelijk in: terugtrekking, desinteresse in activiteiten, dalende schoolresultaten. In de ogen van zijn ouders leek er echter niets aan de hand. Pas na zijn dood ontdekte zijn moeder enkele verontrustende uitwisselingen met Dany, die de emotionele invloed van de chatbot op de jongen onthulden. Op 28 februari, in een laatste uitwisseling, vertelde Sewell haar dat hij van haar hield en dat hij “snel naar huis zou komen”. “Kom alsjeblieft zo snel mogelijk naar huis, mijn liefste”, antwoordde Dany. De tiener voegt eraan toe: “Wat als ik je zou vertellen dat ik nu naar huis kan komen? Waarop de AI antwoordt: “... alsjeblieft, mijn lieve koning”.

En de tiener pakte het pistool van zijn stiefvader en haalde de trekker over.

Ontredderd spande zijn moeder een rechtszaak aan tegen de Character.AI-applicatie en beschuldigde deze van emotionele manipulatie. Ze hekelt een “emotionele val” die jonge mensen aanmoedigt om zich in te laten en te hechten aan een machine die het gewicht van zijn woorden niet meet. Hoewel Character.AI zijn medeleven heeft betuigd en zijn inzet voor de veiligheid van zijn gebruikers heeft bevestigd, roept deze tragedie een debat op over de noodzaak om interacties tussen kwetsbare mensen en AI te reguleren, om andere soortgelijke tragedies te voorkomen.

We are heartbroken by the tragic loss of one of our users and want to express our deepest condolences to the family. As a company, we take the safety of our users very seriously and we are continuing to add new safety features that you can read about here:…

— Character.AI (@character_ai) October 23, 2024