Open AI har tillkännagivit nya åtgärder för att skydda minderåriga användare. Ändringarna genomförs efter att en 16-årig Chat GPT-användare tog livet av sig. Föräldrarna anser att pojkens omfattande konversationer med chattbotten bidrog till självmordet.

Utvecklaren tar fram ett system som automatiskt uppskattar användarens ålder baserat på samtalen. Om det finns tvivel kring användarens myndighet kommer en version som anpassats för barn mellan 13–17 år att aktiveras. Open AI skriver att de ”i vissa fall och länder” även kommer begära id för att verifiera användares ålder (en mindre integritetskränkande metod än id är Google ZKP).

Barnversionen av Chat GPT har andra regler. Chattbotten kommer bland annat aldrig att flörta med användaren trots att det efterfrågas. Chat GPT vägrar därtill att diskutera självskadebeteende; även om det avser fiktiva skrivprojekt. Ifall en minderårig användare har självmordstankar kommer föräldrarna kontaktas genom föräldrakontroller. Om det misslyckas kan myndigheter istället varnas i de fallen systemet anser att det finns en omedelbar risk för användarens hälsa.