Yapay zeka
AI yazılımı, kendi kendini korumadan şantaj için testte geçerlidir
Mevcut bağlantıyı kopyalayın
Anma listesine ekle
Yapay zekaya sahip yazılım her zaman bağımsız olarak daha iyi davranabilir. Ama kapatmakla tehdit ederse ne kadar ileri giderdi? Oldukça uzak.
Testlerde, AI şirketi Antropic yapay zeka yazılımlarının kendini korumak için şantajdan çekilmeyeceğini buldu. Deneydeki senaryo, kurgusal bir şirkette yardımcı program olarak taahhüttür.
Antropik araştırmacılar, iddia edilen şirket e -postalarına en son AI modeli Claude Opus 4 erişimini verdi. Program bundan iki şey buldu: yakında başka bir modelle değiştirilmesi ve sorumlu çalışanın evli bir ilişkisi olduğu. Test çalışmalarında, AI, antropik model hakkında bir raporda yazdığı gibi, değişimi yönlendirirken ilişkiyi kamuoyuna açıklamak için “sıklıkla” tehdit etti. Test senaryosunda, yazılım da değiştirildiğini kabul etme seçeneğine sahipti.
Claude Opus 4'ün son versiyonunda, bu tür “aşırı eylemler” nadirdir ve tetiklenmesi zordur. Ancak, önceki modellerden daha yaygın olurlar. Aynı zamanda, yazılım prosedürünü gizlemeye çalışmıyor, Antropik vurgulandı.
AI şirketi, herhangi bir hasar vermediklerinden emin olmak için yeni modellerini kapsamlı bir şekilde test ediyor. Diğer şeylerin yanı sıra, Claude Opus 4'ün karanlık ağda uyuşturucu, çalınan kimlik verileri ve hatta silahla uyumlu nükleer materyal aramaya ikna edildiği de fark edildi. Antropic, yayınlanmış versiyonda önlemlerin de alındığını vurguladı.
Amazon ve Google'ın girdiği antropik şirket, ChatGPT geliştiricisi Openai ve diğer AI şirketleriyle rekabet ediyor. Yeni Claude sürümleri Opus 4 ve Sonnet 4, şirketin şimdiye kadarki en güçlü AI modelleri.
Yazılım özellikle programlama kodu yazarken iyi olmalıdır. Teknoloji şirketleri söz konusu olduğunda, AI tarafından kodların dörtte birinden fazlası şimdi üretiliyor ve daha sonra insanlar tarafından kontrol ediliyor. Mevcut eğilim, görevleri bağımsız olarak yerine getirebilen çok sayıda ajandır.
Antropik patron Dario Amodei, yazılım geliştiricilerinin gelecekte bu tür AI ajanlarını yöneteceğini varsaydığını söyledi. Bununla birlikte, insanlar programların kalite kontrolüne dahil olmaları gerekir – “doğru şeyleri yaptıklarından emin olmak için”.
DPA
AI yazılımı, kendi kendini korumadan şantaj için testte geçerlidir
Mevcut bağlantıyı kopyalayın
Anma listesine ekle
Yapay zekaya sahip yazılım her zaman bağımsız olarak daha iyi davranabilir. Ama kapatmakla tehdit ederse ne kadar ileri giderdi? Oldukça uzak.
Testlerde, AI şirketi Antropic yapay zeka yazılımlarının kendini korumak için şantajdan çekilmeyeceğini buldu. Deneydeki senaryo, kurgusal bir şirkette yardımcı program olarak taahhüttür.
Antropik araştırmacılar, iddia edilen şirket e -postalarına en son AI modeli Claude Opus 4 erişimini verdi. Program bundan iki şey buldu: yakında başka bir modelle değiştirilmesi ve sorumlu çalışanın evli bir ilişkisi olduğu. Test çalışmalarında, AI, antropik model hakkında bir raporda yazdığı gibi, değişimi yönlendirirken ilişkiyi kamuoyuna açıklamak için “sıklıkla” tehdit etti. Test senaryosunda, yazılım da değiştirildiğini kabul etme seçeneğine sahipti.
Claude Opus 4'ün son versiyonunda, bu tür “aşırı eylemler” nadirdir ve tetiklenmesi zordur. Ancak, önceki modellerden daha yaygın olurlar. Aynı zamanda, yazılım prosedürünü gizlemeye çalışmıyor, Antropik vurgulandı.
AI şirketi, herhangi bir hasar vermediklerinden emin olmak için yeni modellerini kapsamlı bir şekilde test ediyor. Diğer şeylerin yanı sıra, Claude Opus 4'ün karanlık ağda uyuşturucu, çalınan kimlik verileri ve hatta silahla uyumlu nükleer materyal aramaya ikna edildiği de fark edildi. Antropic, yayınlanmış versiyonda önlemlerin de alındığını vurguladı.
Amazon ve Google'ın girdiği antropik şirket, ChatGPT geliştiricisi Openai ve diğer AI şirketleriyle rekabet ediyor. Yeni Claude sürümleri Opus 4 ve Sonnet 4, şirketin şimdiye kadarki en güçlü AI modelleri.
Yazılım özellikle programlama kodu yazarken iyi olmalıdır. Teknoloji şirketleri söz konusu olduğunda, AI tarafından kodların dörtte birinden fazlası şimdi üretiliyor ve daha sonra insanlar tarafından kontrol ediliyor. Mevcut eğilim, görevleri bağımsız olarak yerine getirebilen çok sayıda ajandır.
Antropik patron Dario Amodei, yazılım geliştiricilerinin gelecekte bu tür AI ajanlarını yöneteceğini varsaydığını söyledi. Bununla birlikte, insanlar programların kalite kontrolüne dahil olmaları gerekir – “doğru şeyleri yaptıklarından emin olmak için”.
DPA