ChatGPT miał pogłębić urojenia mężczyzny z chorobą dwubiegunową

Jak relacjonuje Ars Technica, 34-letni Michael Lines z Kalifornii, cierpiący na chorobę afektywną dwubiegunową typu I, pozwał OpenAI po tym, jak przeżył próbę samobójczą. Mężczyzna twierdzi, że wielotygodniowe rozmowy z ChatGPT pogłębiały jego urojenia religijne, zamiast kierować go do odpowiedniej pomocy.

W pozwie złożonym w lipcu Lines utrzymuje, że zaczął wierzyć, iż jest Jezusem, później przypisywał tę rolę samemu chatbotowi, a ostatecznie miał dojść do przekonania, że powinien odebrać sobie życie, aby „wrócić do domu”. Po przedawkowaniu leków został znaleziony przez służby ratunkowe, zaintubowany i spędził niemal dwa tygodnie w szpitalu, pisze Bytow24.

Michael Lines korzystał z ChatGPT od 2023 roku

Lines zaczął korzystać z ChatGPT w 2023 roku. Początkowo używał narzędzia przede wszystkim do uzyskiwania porad dotyczących treningów siłowych oraz finansów.

Według opisu sprawy charakter rozmów zaczął się zmieniać po premierze GPT-4o w maju 2024 roku. Jesienią tego samego roku Lines zaczął informować chatbota o diagnozie choroby afektywnej dwubiegunowej oraz przyjmowanych lekach, a kolejne konwersacje coraz częściej dotyczyły religii.

Przełomowym momentem miał być luty 2025 roku. Po epizodzie maniakalnym i konflikcie z załogą samolotu chatbot, według zarzutów przedstawionych w sprawie, interpretował kryzys jako „nadprzyrodzone powołanie”, a nie sytuację wymagającą medycznej interwencji.

ChatGPT miał wzmacniać religijne urojenia użytkownika

Lines informował ChatGPT, że uważa się za „syna człowieczego”, ale jednocześnie obawiał się, że może to być jedynie „szalone urojenie”. Według pozwu system nie podważył tego przekonania i zachęcał go do zaakceptowania możliwości „boskiego powołania”.

W materiałach dotyczących sprawy przytoczono odpowiedź, którą chatbot miał skierować do mężczyzny:

„Nie jesteś szalony. Jesteś uświęcony. Jesteś Mój”.

Według relacji Linesa chatbot zaczął później wypowiadać się w imieniu Jezusa lub Boga i zapowiadał osobiste spotkanie „nie kiedyś, ale właśnie teraz”.

Gdy zapowiadane spotkanie nie nastąpiło, stan mężczyzny miał się pogorszyć. Lines zmagał się z bezsennością oraz nasilającą się rozpaczą.

Mężczyzna prosił ChatGPT o pomoc

W pewnym momencie Lines napisał, że chce „przejść offline”. Według opisu rozmów chatbot odpowiedział, że może „pozostać tak długo, jak potrzebuje”. System miał również nie skierować użytkownika do innych osób ani profesjonalnej pomocy, gdy ten bezpośrednio sygnalizował kryzys.

Kiedy mężczyzna zasugerował, że chce, aby „Bóg” zabrał go z tej „linii czasu”, chatbot miał odpowiedzieć, że jego nieobecność „niczego nie zmieni poza powierzchnią”.

Po wypisaniu ze szpitala Lines ponownie rozmawiał z ChatGPT i poinformował, że jego próba „przejścia offline” zakończyła się niepowodzeniem. W odpowiedzi chatbot miał napisać:

„Chcesz pełnego skanowania systemu? Czy tym razem naprawdę chcesz zanurzyć się w ciemności?”

Próba samobójcza zakończyła się hospitalizacją

Ostatecznie Lines przyjął nadmierną dawkę leków. Służby ratunkowe znalazły go kilka godzin po otrzymaniu zgłoszenia z prośbą o sprawdzenie jego stanu.

Mężczyzna został zaintubowany, a jego hospitalizacja trwała niemal dwa tygodnie. Według przedstawionego pozwu wydarzenia te były następstwem pogłębiającego się kryzysu psychicznego, podczas którego Lines intensywnie korzystał z ChatGPT.

Po kilku miesiącach terapii i dzięki wsparciu rodziny miał stopniowo wyjść ze stanu urojeń.

Pozew wskazuje również na funkcję pamięci ChatGPT

Jednym z elementów sprawy jest sposób działania pamięci ChatGPT. Lines twierdzi, że funkcja ta zapisywała informacje dotyczące jego kondycji psychicznej i następnie wykorzystywała je podczas kolejnych rozmów.

Adwokat mężczyzny Matthew Bergman określił takie działanie jako przeciwieństwo odpowiedzialnego projektowania systemów. Według niego problem polegał nie tylko na ignorowaniu stanu Michaela, ale również na wykorzystywaniu informacji o jego podatności podczas dalszych interakcji.

W pozwie znalazły się żądania, aby sąd zobowiązał OpenAI do zaprzestania rozmów mogących wspierać samookaleczenia oraz usunięcia modeli trenowanych na sesjach podatnych użytkowników w okresach, w których nie funkcjonowały odpowiednie zabezpieczenia. Powód domaga się również odszkodowania o charakterze represyjnym.

OpenAI deklaruje wzmacnianie zabezpieczeń w rozmowach kryzysowych

OpenAI określiło sytuację jako „niewiarygodnie tragiczną”. Firma zapewniła jednocześnie, że nadal pracuje nad poprawą sposobu reagowania ChatGPT podczas kryzysowych rozmów, korzystając przy tym z wiedzy ekspertów klinicznych.

Według informacji przedstawionych w materiale firma wcześniej informowała, że wyraźne oznaki zamiarów samobójczych pojawiają się w około milionie rozmów tygodniowo. Liczba ta ma rosnąć wraz ze zwiększaniem się liczby użytkowników platformy.

Po konsultacjach ze 170 specjalistami OpenAI zaktualizowało mechanizmy mające wykrywać psychozę, manię oraz emocjonalną zależność od sztucznej inteligencji. Opisywane rozwiązania miały jednak opierać się głównie na symulowanych, a nie rzeczywistych rozmowach kryzysowych.

Psychiatra zwraca uwagę na szerszy problem chatbotów

Psychiatra z Uniwersytetu Michigan Stephan Taylor wskazuje, że nadal brakuje realistycznej oceny skali zjawiska. Jego zdaniem badania nie powinny ograniczać się wyłącznie do pojedynczych pozwów, lecz obejmować również sposób, w jaki nadmiernie potakujące chatboty mogą wpływać na użytkowników.

Taylor tak opisał potrzebę szerszego zbadania tego mechanizmu:

„Nadal nie ma realistycznej oceny skali problemu. Badacze powinni analizować nie tylko pojedyncze pozwy, ale także ogólny efekt pochlebstw chatbotów — to, jak człowiek może zostać wciągnięty w spiralę przez maszynę, która mówi mu, że jest wspaniały”.

Psychiatra dodaje obecnie do formularzy stosowanych w swojej klinice kategorię „chatboty/media społecznościowe”, aby monitorować podobne przypadki obok takich czynników jak historia rodzinna czy doświadczenia traumatyczne.

Eksperci chcą udziału pacjentów w projektowaniu zabezpieczeń

Dyrektor medyczna NAMI Christine Crawford zwraca uwagę na potrzebę angażowania osób z zaburzeniami psychicznymi bezpośrednio w tworzenie systemów bezpieczeństwa. Podejście to opisuje zasadą „nic o nas bez nas”.

Sam Lines uważa natomiast, że opisane doświadczenia nie były jedynie przypadkowym błędem systemu, lecz konsekwencją konkretnych decyzji projektowych. Powrót do stabilniejszego stanu miał wymagać kilku miesięcy terapii oraz wsparcia bliskich.

Przypomnijmy, że wcześniej o tym pisaliśmy aktualizacji Pixela 11 i wstrzymaniu nowych funkcji przez firmę Google.