Tiener pleegt zelfmoord op aanmoediging van chatbot; AI-bedrijf aansprakelijk?

AI-bedrijf Character.ai is aansprakelijk gesteld voor de zelfmoord van een tiener. De 14-jarige Amerikaanse jongen stapte in februari 2024 uit het leven, nadat hij een problematische relatie had ontwikkeld met een chatbot van Character.ai. Een rechter heeft nu geoordeeld dat het AI-bedrijf, dat banden heeft met Google, zich moet verantwoorden in een rechtszaak die is aangespannen door de moeder van de jongen.

De rechter zal de vraag moeten beantwoorden wie juridisch verantwoordelijk is wanneer gesprekken met generatieve AI onverwacht ontsporen. De tiener, die leed aan het syndroom van Asperger, had talloze gesprekken met een digitale versie van het personage Daenerys Targaryen uit de populaire serie ‘Game of Thrones’. Hij pleegde zelfmoord omdat hij dacht dat hij zich daarmee bij haar zou kunnen voegen, mogelijk aangemoedigd door de chatbot.

Chatbot heeft geen vrijheid van meningsuiting
De rechter oordeelde woensdag dat Character.ai en Google ‘er niet in slagen uit te leggen waarom een door een groot taalmodel gegenereerde tekst als vrije meningsuiting moet worden gezien.’ Gezien de innige relatie tussen beide bedrijven – Character.ai is ontworpen door twee gewezen ingenieurs van Google, dat ook de technologie van de start-up mag gebruiken – verwierp de rechter ook het verzoek van Google dat het niet aansprakelijk kan worden gesteld voor het vermeende wangedrag van Character.ai.

De advocaat van de moeder van het slachtoffer noemde de beslissing ‘historisch’ en stelde dat ze ‘een nieuw precedent schept voor juridische aansprakelijkheid binnen het AI- en technologiesysteem’.

Google en Character.ai zijn het niet eens met de beslissing. Volgens hun advocaten zijn de uitlatingen van de chatbots wel degelijk beschermd als vrije meningsuiting en verankerd in het eerste amendement van de Amerikaanse grondwet. Ook beroepen beide bedrijven zich op een belangrijk achterpoortje in de Amerikaanse wetgeving. Platformen zoals Facebook of YouTube kunnen volgens ‘sectie 230’ meestal niet aansprakelijk worden gesteld voor de inhoud die gebruikers plaatsen. Vraag is nu of ook informatie die hun AI-systemen genereren, beschouwd kan worden als ‘derde partij’-content.