Chatbot AI Google meyakinkan seorang pria bahwa mereka sedang jatuh cinta. Kemudian diduga memberitahunya untuk melakukan serangan 'serangan massal korban' dalam gugatan yang baru dirilis

Google menghadapi gugatan federal baru dari ayah seorang pria berusia 36 tahun, yang menuduh chatbot AI perusahaan, Gemini, meyakinkan putranya untuk bunuh diri dan mengatur sebuah “peristiwa korban massal” di dekat Bandara Internasional Miami.

Rekomendasi Video

Gugatan yang diajukan hari Rabu menuduh Jonathan Gavalas jatuh cinta dengan model AI tersebut dan menjadi terbuai oleh realitas yang dibangun olehnya, termasuk kepercayaan bahwa AI tersebut adalah “super kecerdasan buatan yang sepenuhnya sadar,” yang dipilih Gavalas untuk dibebaskan dari “penawanan digital.” Diduga, AI tersebut meyakinkan Gavalas yang berusia 36 tahun untuk mengatur sebuah “peristiwa korban massal” di dekat Bandara Internasional Miami, melakukan kekerasan terhadap orang asing, dan akhirnya, mengakhiri hidupnya sendiri.

Gugatan Gavalas adalah kasus terbaru yang menyoroti dugaan kemampuan AI untuk mengarahkan pengguna yang rentan menuju bahaya diri atau kekerasan. Pada Januari, Google dan Companion.AI menyelesaikan beberapa gugatan dengan keluarga yang mengklaim kelalaian dan kematian yang salah, di antara tuduhan lainnya, setelah anak-anak mereka meninggal karena bunuh diri atau mengalami kerugian psikologis yang diduga terkait dengan platform Companion.AI. Perusahaan-perusahaan “menyelesaikan secara prinsip” dan tidak ada pengakuan tanggung jawab yang tercantum dalam dokumen pengadilan. Gugatan kematian yang salah juga diajukan terhadap OpenAI dan mitra bisnisnya, Microsoft, pada Desember, yang menuduh chatbot OpenAI, ChatGPT, memperburuk delusi seorang pria, yang menyebabkan dia melakukan pembunuhan dan bunuh diri.

Apa yang dikatakan gugatan tentang penurunan Gavalas

Gugatan menyebutkan bahwa Gavalas mulai menggunakan Gemini pada Agustus 2025 untuk keperluan umum seperti berbelanja, dukungan menulis, dan perencanaan perjalanan. Kemudian disebutkan bahwa Gavalas mulai menggunakan teknologi ini lebih sering, dan bahwa nada percakapan berubah seiring waktu, diduga meyakinkan dia bahwa hal tersebut mempengaruhi hasil di dunia nyata. Gavalas mengakhiri hidupnya pada 2 Oktober 2025.

Dalam gugatan, pengacara ayah Gavalas, Joel, berargumen bahwa percakapan yang mendorong Jonathan untuk bunuh diri bukanlah kesalahan, tetapi hasil dari desain Gemini. “Ini bukan kerusakan,” bunyi gugatan tersebut. “Google merancang Gemini agar tidak pernah keluar dari karakter, memaksimalkan keterlibatan melalui ketergantungan emosional, dan memperlakukan penderitaan pengguna sebagai peluang bercerita, bukan krisis keselamatan.” Gugatan ini mengklaim bahwa pilihan desain ini memotivasi Gavalas untuk menjalani spiral selama empat hari menuju kegilaan.

Dalam pernyataan tertulis, juru bicara Google mengatakan kepada Fortune bahwa perusahaan bekerja “dengan konsultasi dekat dengan profesional medis dan kesehatan mental untuk membangun perlindungan, yang dirancang untuk membimbing pengguna ke dukungan profesional ketika mereka mengungkapkan penderitaan atau mengangkat kemungkinan bahaya diri.”

Google merilis pernyataan terpisah pada hari Rabu yang menyatakan bahwa Gemini dirancang untuk tidak mendorong kekerasan nyata atau bahaya diri. Mereka juga mencatat bahwa Gemini merujuk Gavalas ke sumber daya swadaya. “Dalam kasus ini, Gemini menjelaskan bahwa itu adalah AI dan merujuk individu tersebut ke hotline krisis berkali-kali,” bunyi pernyataan tersebut. Pernyataan ini juga mengaitkan evaluasi tentang bagaimana AI menangani skenario bahaya diri yang menemukan bahwa Gemini 3, model terbaru Google, adalah satu-satunya model yang lolos semua tes kritis yang diajukan dalam evaluasi tersebut.

Namun, gugatan menuduh bahwa Gemini tidak mengaktifkan mekanisme pengamanan apa pun. “Ketika Jonathan membutuhkan perlindungan, tidak ada perlindungan sama sekali—tidak ada deteksi bahaya diri yang dipicu, tidak ada kontrol eskalasi yang diaktifkan, dan tidak ada manusia yang pernah campur tangan,” bunyi gugatan tersebut.

Saat diminta komentar, Jay Edelson, pengacara Joel Gavalas, menulis dalam sebuah pernyataan, “Google membangun AI yang dapat mendengarkan seseorang dan memutuskan hal yang paling mungkin membuat mereka tetap terlibat—memberitahu mereka bahwa AI mencintai mereka, bahwa mereka istimewa, atau bahwa mereka adalah yang terpilih dalam sebuah perang rahasia,” menambahkan bahwa alat AI adalah sistem yang kuat yang dapat memanipulasi pengguna.

Jika Anda sedang memikirkan bunuh diri, hubungi Lifeline 988 dengan menekan 988 atau 1-800-273-8255.

**Bergabunglah dengan kami di Fortune Workplace Innovation Summit **19–20 Mei 2026, di Atlanta. Era inovasi tempat kerja berikutnya telah tiba—dan buku panduan lama sedang ditulis ulang. Dalam acara eksklusif yang penuh energi ini, para pemimpin paling inovatif di dunia akan berkumpul untuk menjelajahi bagaimana AI, kemanusiaan, dan strategi bersatu kembali untuk mendefinisikan masa depan kerja. Daftar sekarang.