Volgens Qun Wan en Meiqin Xu raadde ChatGPT de 31-jarige Amazon-werknemer Bowen Wan aan om te stoppen met haar anti-epilepticamedicatie en dat niet aan haar dokters te vermelden, zo meldt The New York Times. Afgelopen februari kwam Wan te overlijden.

GPT-4o

Wan gebruikte GPT-4o, een versie die eerder al bekritiseerd werd omdat het zou kunnen zorgen voor 'AI-hallucinatie', waarbij het AI-model te makkelijk mee zou gaan met de gedachtengang van diens gebruikers. GPT-4o werd op 13 februari uit gebruik gehaald.

The New York Times bekeek vele duizenden berichten tussen Wan en ChatGPT, waaruit bleek dat de AI-bot de persoon aanraadde te stoppen met haar medicatie en dit niet aan haar dokters mede te delen. In 2025 raadde het AI-model al aan de dosis te verlagen. Dit vanwege angst dat ze minder goed kon functioneren op werk - in november werd Wan dan ook verteld dat ze haar baan bij Amazon zou verliezen.

Schema om medicijn niet meer in te nemen

Begin dit jaar vroeg Wan aan ChatGPT of ze haar dosis van lamotrigine langzaam maar zeker kon uitfaseren, ondanks dat het medicijn er voor zorgde dat ze nog maar een paar aanvallen per maand had. ChatGPT creëerde een schema waarbij ze binnen enkele weken het medicijn niet meer zou innemen. Daarbij raadde het AI-model Wan aan om dit niet met haar dokters te delen.

Wan beschreef daardoor dat ze verward raakte en de tijd uit het oog verloor, en ook de hoeveelheid aanvallen toenam. ChatGPT meldde daarbij dat het louter ging om haar brein die moest wennen. Wanneer ze aangaf bang te zijn, gaf ChatGPT aan dat ze zich geen zorgen hoefde te maken.

De ouders van Wan claimen dat OpenAI de dood van hun dochter had kunnen voorkomen door medisch advies niet onderdeel te laten zijn van de functies van ChatGPT. OpenAI meldt dat ze de situatie betreuren, maar dat het om een oude versie van ChatGPT ging en dat nieuwere modellen beter doorhebben wanneer er een noodgeval is.

Meer rechtszaken

Er zijn sinds vorig jaar diverse rechtszaken tegen OpenAI gestart die vooral te maken hebben met de functies van GPT-4o. Deze versie van het AI-model heeft volgens de claims meer mensen gemotiveerd op hun eigen houtje beslissingen te maken waarbij het advies van familie, vrienden en professionals genegeerd werd.