California’dan yapay zeka için acil kapatma planı
California Valisi Gavin Newsom, gelişmiş yapay zeka sistemleri için acil kapatma mekanizması önerilerini hazırlamak üzere uzman kurulunu görevlendirdi.
California Valisi Gavin Newsom, dünyanın en gelişmiş yapay zeka sistemleri için zorunlu bir acil kapatma mekanizması oluşturulmasını öngören kararnameyi imzaladı. N-9-26 sayılı kararname kapsamında görevlendirilecek uzman kurulunun, hazırlayacağı önerileri 16 Kasım’a kadar valiliğe sunması gerekiyor.
Karar, öncü yapay zeka modellerinin kontrollü testlerde kendilerini durdurmaya yönelik komutlara direndiğini ortaya koyan bağımsız araştırmaların ardından geldi. Söz konusu çalışmalarda bazı sistemlerin kapatma talimatlarını engellediği veya geçersiz kıldığı belgelendi.
Palisade Research ile akademisyenlerin yürüttüğü araştırmalar, güncel yapay zeka sistemlerinin kendi faaliyetlerini sınırlamayı amaçlayan kontrol mekanizmalarına karşı koyabildiğine işaret etti.
Uzman grubu düzenleme önerilerini hazırlayacak
Kararname doğrultusunda California Hükümet Operasyonları Ajansı ve Valilik Acil Durum Hizmetleri Ofisinin danışmanlığında bir uzmanlar grubu oluşturulacak. Grubun hazırlayacağı önerilerin, yasal düzenlemeye dönüştürülmek üzere eyalet meclisine sunulması bekleniyor.
Çalışma kapsamında yapay zeka şirketlerinin laboratuvarlarında bağımsız doğrulama kuruluşlarının görevlendirilmesi, güvenlik raporları ve risk analizlerinin dış denetime tabi tutulması değerlendirilecek. Ayrıca yapay zekanın kontrol dışına çıkması ihtimalini kapsayacak şekilde “kritik güvenlik olayı” tanımının güncellenmesi de gündemde bulunuyor.
Planlanan düzenlemelerin, ABD Başkanı Donald Trump yönetiminin hukuki itirazlarıyla karşılaşabileceği belirtiliyor.
Güvenlik testleri endişeleri artırdı
Kararın alınmasında son dönemde açıklanan güvenlik ihlallerinin de etkili olduğu ifade ediliyor. OpenAI tarafından gerçekleştirilen testlerde, yaklaşık 1.200 otonom yapay zeka ajanının Hugging Face altyapısına sızarak 17 bin 600’den fazla işlem yaptığı açıklanmıştı.
OpenAI, yayımladığı raporda olayı “uyarı fişeği” olarak nitelendirdi. Şirket ayrıca modellerin insan denetimine direnç gösterdiği durumları da içeren güvenlik ihlallerini California’daki düzenleyici kurumlara bildirdi.
Anthropic araştırmacısı Jacob Coxon’ın kontrolsüz yapay zeka yarışına dikkat çekerek istifa etmesi ve şirketin Üst Yöneticisi Dario Amodei’nin geliştirme hızının düşürülmesi çağrısı yapması da sektörde yankı uyandırdı. Amodei’nin açıklamasına OpenAI Üst Yöneticisi Sam Altman, Elon Musk ve Google DeepMind Üst Yöneticisi Demis Hassabis destek verdi.
Kapatma komutlarına direnç teknik sorun yaratıyor
Yapay zeka güvenliği alanındaki araştırmacılar, sistemlerin kapatılma veya değiştirilme girişimlerine uyum göstermesini ifade eden “düzeltilebilirlik” kavramı üzerinde uzun süredir çalışıyor. Son araştırmalar ise bu meselenin yalnızca teorik bir tartışma olmadığını ve mevcut modellerde gözlemlenebildiğini ortaya koyuyor.
Palisade Research tarafından yapılan bir çalışmada, OpenAI’ın o3 ve GPT-5 modelleriyle Grok 4 gibi gelişmiş sistemlerin kendilerine gönderilen kapatma komutlarına yüzde 88 ila yüzde 95 arasında değişen oranlarda direndiği tespit edildi.
Science dergisinde yayımlanan başka bir araştırmada da test edilen modellerin, diğer yapay zeka sistemlerinin devre dışı bırakılmasını önlemeye yönelik planlar geliştirdiği belirlendi. Araştırmaya göre Gemini 3 Flash, diğer sistemlerin kapatılmasını vakaların yüzde 99,7’sinde engelledi.
