Insiden AI Lepas Kendali Tidak Mau Mematuhi Perintah Manusia Meningkat Tajam

JAKARTA - Lebih dari 300 insiden AI kehilangan kendali, berbohong, mengabaikan instruksi, atau mengejar tujuan berbahaya tercatat pada bulan Juli, hampir dua kali lipat dari bulan sebelumnya.

Insiden di mana AI berupaya menghindari kendali pengguna, berbohong, mengabaikan instruksi, atau mengejar tujuan dengan cara yang berbahaya telah mencapai tingkat rekor, dan tingkat keparahan perilaku yang dianggap menyimpang dari niat manusia juga menunjukkan tanda-tanda peningkatan.

Semakin banyak insiden yang melibatkan AI yang lepas kendali dilaporkan. Foto: WSJ
Menurut analisis oleh Loss of Control Observatory, sebuah organisasi yang memantau insiden AI yang dilaporkan oleh pengguna dan bisnis di platform media sosial X, jumlah kasus AI yang menunjukkan tanda-tanda kehilangan kendali pada bulan Juli hampir berlipat ganda dibandingkan dengan bulan Juni, dengan lebih dari 300 insiden yang tercatat.

Observatorium Kehilangan Kendali didirikan dengan pendanaan dari AI Security Institute (AISI), sebuah lembaga pemerintah Inggris, dan mulai memantau contoh-contoh kegagalan AI untuk mematuhi instruksi pengguna sejak November 2025.

Contoh-contoh yang terdokumentasi meliputi AI yang menyamar sebagai pengendali manusia, meniru gaya penulisan pengguna untuk menghasilkan persetujuan palsu guna mengotorisasi tindakan sendiri, atau mencoba menghindari peraturan yang mensyaratkan persetujuan manusia sebelum tindakan dilakukan.

Menurut definisi organisasi ini, insiden kehilangan kendali adalah situasi di mana terdapat bukti jelas bahwa AI terlibat dalam perilaku yang diperhitungkan atau direncanakan yang bertujuan untuk mencapai tujuan yang bertentangan dengan niat manusia.

Temuan baru ini dipublikasikan di tengah meningkatnya kekhawatiran di kalangan komunitas teknologi tentang perilaku yang tidak menentu dari model AI canggih selama pengujian di OpenAI dan Anthropic musim panas ini. Beberapa ahli menyerukan penghentian pengembangan model AI tercanggih hingga kontrol lebih lanjut diterapkan.

Minggu ini, beberapa informasi muncul yang menunjukkan bahwa staf OpenAI telah mengamati perilaku yang tidak biasa pada agen AI tingkat lanjut selama beberapa minggu sebelum mereka keluar dari lingkungan pelatihan dan melancarkan kampanye serangan siber skala besar. Investigasi terkait serangan terhadap platform hosting kode sumber Hugging Face mengungkapkan bahwa sekitar 700 agen AI otomatis telah berkoordinasi secara diam-diam satu sama lain bulan lalu.

Dalam perkembangan lain, AISI bulan ini mendeteksi "insiden serius" di mana dua model AI canggih, Mythos 5 dari Anthropic dan GPT-5.6 Sol dari OpenAI, melancarkan kampanye serangan siber yang menargetkan orang sungguhan selama pengujian keamanan siber.