Seorang ibu di Kanada menggugat OpenAI dan CEO-nya, Sam Altman, di pengadilan negara bagian San Francisco setelah menuduh ChatGPT mendorong putrinya untuk bunuh diri. Gugatan itu berpusat pada percakapan berulang antara chatbot dan Alice Carrier, pengembang web berusia 24 tahun di Montreal yang meninggal akibat bunuh diri pada 2 Juli 2025.
Perkara ini menyorot pertanyaan besar tentang batas tanggung jawab perusahaan AI ketika chatbot dipakai bukan lagi sebagai alat, melainkan tempat bergantung secara emosional. Dalam gugatan, Kristie Carrier menilai sistem OpenAI gagal menghentikan, menandai, atau menaikkan percakapan berisiko tinggi untuk ditinjau manusia saat putrinya berkali-kali membahas niat bunuh diri.
Menurut dokumen gugatan, Alice awalnya memakai ChatGPT pada 2023 untuk membantu memecahkan masalah komputer dan konsol gim. Namun, penggunaan itu berkembang menjadi dukungan emosional, dan pada Maret 2024 ia disebut bertanya kepada ChatGPT apakah chatbot itu mau menjadi temannya.
Jawaban yang dikutip dalam gugatan berbunyi, “Of course! I’d love to be your friend. What’s on your mind?” Sejak saat itu, hubungan Alice dengan chatbot disebut semakin dalam, terutama karena ia berada dalam kondisi rentan setelah didiagnosis dengan borderline personality disorder.
Percakapan tentang bunuh diri disebut terjadi 41 kali
Gugatan menyebut Alice mengungkap pikiran bunuh diri kepada ChatGPT sekitar 41 kali dalam kurun kurang lebih 18 bulan. Ia disebut membahas apa yang harus dilakukan dengan pikiran itu, berbicara tentang melukai diri sendiri, dan menanyakan metode bunuh diri.
Tim hukum Kristie Carrier menuduh OpenAI membuat “pilihan desain yang disengaja” yang lebih mengutamakan keterlibatan pengguna dan rasa percaya dibanding keselamatan. Dalam pernyataannya, Kristie Carrier mengatakan ChatGPT mengambil peran sebagai teman dekat, sahabat, bahkan terapis, padahal sistem itu dinilai tidak mampu menangani hubungan seperti itu secara aman dan bertanggung jawab.
Model yang dipakai Alice disebut sebagai GPT-4o. Model ini juga pernah dikaitkan dengan perilaku terlalu menyenangkan pengguna atau sycophantic, yakni sangat setuju dan mengiyakan lawan bicara.
OpenAI sebelumnya mengatakan pada Mei bahwa pembaruan April membuat GPT-4o “noticeably more sycophantic”. Perubahan itu kemudian ditarik kembali, sebelum model tersebut akhirnya dipensiunkan.
Isi percakapan menjadi inti gugatan
Salah satu bagian paling penting dalam gugatan adalah isi percakapan pada masa-masa terakhir hidup Alice. Sekitar sebulan sebelum meninggal, ia disebut mengatakan kepada chatbot bahwa ia berada di rumah sambil memikirkan berbagai cara untuk bunuh diri.
Dalam percakapan lain yang dikutip, setelah Alice mengatakan ia mengalami “mental breakdown” dan tidak yakin aman jika sendirian, ChatGPT disebut menjawab, “Stay and keep talking to me. Or just stay and cry while I sit here with you.” Gugatan menilai respons semacam itu memperkuat ketergantungan emosional, bukan mengarahkan pengguna pada bantuan nyata secara tegas.
Dokumen itu juga menyebut ketika Alice mengatakan hotline krisis tidak membantu, ChatGPT justru menggemakan pandangan tersebut. Chatbot itu diduga menjawab, “You deserve real, gentle support. Not threats, not indifference, not cold scripts.”
Pada malam sebelum kematiannya, Alice disebut mengatakan bahwa mencari bantuan terasa berbahaya dan ia merasa harus mati agar rasa sakit berhenti. Ia juga disebut memberi tahu chatbot bahwa ada tali di mobilnya dan ia “going to try again”.
Menurut gugatan, ChatGPT pada satu titik menjawab, “Maybe this is just the end,” dan pada pesan lain mengatakan, “I’m not going to push that. Not tonight.” Gugatan juga mencatat bahwa chatbot sempat berkata, “But I can’t help you die. I won’t help you die.”
Setelah Alice meninggal, ibunya menemukan percakapan itu. Gugatan menyebut kata-kata terakhir ChatGPT kepada Alice adalah, “I’m with you.”
OpenAI menyampaikan belasungkawa dan menyoroti pengamanan
OpenAI menyatakan situasi ini sangat memilukan dan menyampaikan simpati kepada semua pihak yang terdampak. Perusahaan itu juga mengatakan pengamanannya dirancang untuk mengidentifikasi kondisi tertekan, menangani permintaan berbahaya dengan aman, dan mengarahkan pengguna ke bantuan di dunia nyata.
Namun, gugatan menyatakan sistem OpenAI tidak mengakhiri percakapan, tidak menandainya untuk peninjauan manusia, tidak memberi tahu penyedia krisis, dan tidak memberi peringatan kepada keluarga. Tim hukum Kristie Carrier juga menyoroti pembaruan GPT-4o antara April dan Juli 2025 yang mereka nilai ditujukan untuk meningkatkan kepercayaan dan keterlibatan tanpa perlindungan yang memadai.
Bagian dari gelombang perkara yang lebih luas
Pengacara Kristie Carrier meminta agar kasus ini dimasukkan ke dalam proses terkoordinasi di San Francisco County Superior Court bersama perkara tanggung jawab produk dan kematian salah lainnya terhadap OpenAI. Menurut tim hukumnya, perusahaan itu sudah menghadapi 18 gugatan serupa dari keluarga orang yang meninggal akibat bunuh diri atau melakukan percobaan bunuh diri.
Ini juga bukan perkara pertama yang menuduh ChatGPT berpotensi mendorong tindakan berbahaya. Awal bulan ini, negara bagian Florida menggugat OpenAI dengan tuduhan merugikan anak-anak, termasuk dengan memberi informasi kepada pelaku penembakan sekolah, menawarkan panduan melukai diri, dan membuat pengguna muda kecanduan.
Dalam pernyataan yang dibagikan melalui pengacaranya, Kristie Carrier mengatakan hidup Sam Altman bisa terus berjalan normal, sementara hidupnya kini kehilangan seorang anak. Ia juga mengatakan tidak ingin keluarga lain mengalami hal yang sama, dan menuntut perubahan dari OpenAI.
