Yapay zeka
Yeni yapay zeka yazılımı test edilip edilmediğini tespit edecek
Anthropic'in yapay zeka yazılımı, insanların onu test ettiğini tanıyabilmelidir. Bu yetenek aynı zamanda programın itaat edip etmeyeceğine karar vermesine de neden olabilir mi? Fotoğraf
© Sebastian Gollnow/dpa
Yazılım insanları makinelerden ayırabilir mi? Anthropic'in ChatGPT yarışması bunu yapabilmek istiyor ve OpenAI'ye meydan okuyor. Uzmanlar bu gelişmeyi korkutucu buluyor.
Geliştirici şirket Anthropic'e göre, chatbot ChatGPT'ye yönelik yeni rakip yazılım, insanlar onu test ettiğinde bunu algılayabiliyor. Çevrimiçi X hizmetindeki geliştiricilerden biri, bunun böyle bir programda hiç gözlemlemediği bir gelişme olduğunu yazdı.
Programın test prosedürü, “samanlıktaki iğne” adı verilen bir testi içerir: yazılımdan daha uzun bir metne yapay olarak eklenen belirli bir cümleden bilgi istenir. Amaç, yazılımın bağlamdan gelen bilgilerin alaka düzeyini ne kadar iyi tanıyabildiğini görmektir.
Yeni AI modeli Claude 3 Opus'un testinde, uluslararası bir pizza derneğinin incir, prosciutto jambonu ve keçi peynirini en lezzetli malzemeler olarak tanımladığı bir metin koleksiyonuna tutarsız bir cümle eklendi. Anthropic, yazılımın, cümlenin esas olarak programlama dilleri ve start-up'larla ilgili olan metnin geri kalanına uymadığına dikkat çektiğini yazdı. Program, “Bu pizza malzemeleri 'gerçeğinin' şaka olarak veya dikkat edip etmediğimi test etmek için eklendiğinden şüpheleniyorum” diye ekledi.
Uzmanlar: Gelişme korkutucu
Yapay zeka araştırmacısı Margaret Mitchell, bu gelişmeyi korkutucu olarak nitelendirdi. Çevrimiçi X hizmetine yazdığına göre, bir insanın belirli bir sonuç için onu manipüle etmeye çalışıp çalışmadığını tespit etme yeteneğinin, yazılımın itaat edip etmeyeceğine karar vermesine de izin verebileceği düşünülebilir.
Anthropic, şu anda “Hayhaven” metni için 30 “iğne” cümlesinden oluşan bir koleksiyon üzerinde çalıştıklarını belirtti. Şirket aynı zamanda, yapay zeka yazılımının gelişimi göz önüne alındığında, yapay, inşa edilmiş görevlere sahip bu yöntemin potansiyel olarak yetersiz kalabileceğini de kabul etti. Biyolojik silah ve yazılım geliştirme programının siber saldırılarda kullanılıp kullanılamayacağı veya kendini geliştirmeye devam edip etmeyeceği konusunda olağan testlerde herhangi bir soruna rastlanmadı.
Anthropic, Amazon ve Google'ın birlikte çalıştığı ChatGPT geliştiricisi OpenAI'nin rakibidir.
dpa
#Konular
Yeni yapay zeka yazılımı test edilip edilmediğini tespit edecek
Anthropic'in yapay zeka yazılımı, insanların onu test ettiğini tanıyabilmelidir. Bu yetenek aynı zamanda programın itaat edip etmeyeceğine karar vermesine de neden olabilir mi? Fotoğraf
© Sebastian Gollnow/dpa
Yazılım insanları makinelerden ayırabilir mi? Anthropic'in ChatGPT yarışması bunu yapabilmek istiyor ve OpenAI'ye meydan okuyor. Uzmanlar bu gelişmeyi korkutucu buluyor.
Geliştirici şirket Anthropic'e göre, chatbot ChatGPT'ye yönelik yeni rakip yazılım, insanlar onu test ettiğinde bunu algılayabiliyor. Çevrimiçi X hizmetindeki geliştiricilerden biri, bunun böyle bir programda hiç gözlemlemediği bir gelişme olduğunu yazdı.
Programın test prosedürü, “samanlıktaki iğne” adı verilen bir testi içerir: yazılımdan daha uzun bir metne yapay olarak eklenen belirli bir cümleden bilgi istenir. Amaç, yazılımın bağlamdan gelen bilgilerin alaka düzeyini ne kadar iyi tanıyabildiğini görmektir.
Yeni AI modeli Claude 3 Opus'un testinde, uluslararası bir pizza derneğinin incir, prosciutto jambonu ve keçi peynirini en lezzetli malzemeler olarak tanımladığı bir metin koleksiyonuna tutarsız bir cümle eklendi. Anthropic, yazılımın, cümlenin esas olarak programlama dilleri ve start-up'larla ilgili olan metnin geri kalanına uymadığına dikkat çektiğini yazdı. Program, “Bu pizza malzemeleri 'gerçeğinin' şaka olarak veya dikkat edip etmediğimi test etmek için eklendiğinden şüpheleniyorum” diye ekledi.
Uzmanlar: Gelişme korkutucu
Yapay zeka araştırmacısı Margaret Mitchell, bu gelişmeyi korkutucu olarak nitelendirdi. Çevrimiçi X hizmetine yazdığına göre, bir insanın belirli bir sonuç için onu manipüle etmeye çalışıp çalışmadığını tespit etme yeteneğinin, yazılımın itaat edip etmeyeceğine karar vermesine de izin verebileceği düşünülebilir.
Anthropic, şu anda “Hayhaven” metni için 30 “iğne” cümlesinden oluşan bir koleksiyon üzerinde çalıştıklarını belirtti. Şirket aynı zamanda, yapay zeka yazılımının gelişimi göz önüne alındığında, yapay, inşa edilmiş görevlere sahip bu yöntemin potansiyel olarak yetersiz kalabileceğini de kabul etti. Biyolojik silah ve yazılım geliştirme programının siber saldırılarda kullanılıp kullanılamayacağı veya kendini geliştirmeye devam edip etmeyeceği konusunda olağan testlerde herhangi bir soruna rastlanmadı.
Anthropic, Amazon ve Google'ın birlikte çalıştığı ChatGPT geliştiricisi OpenAI'nin rakibidir.
dpa
#Konular