Yapay zeka
Eğitim: ChatGPT, ABD tıbbi sınav sorularında ustalaşıyor
Metin robotu ChatGPT, yanıtlarıyla genellikle bir tıbbi muayenede gereken minimum puanı almayı başardı. Fotoğraf
© Richard Drew/AP/dpa
Sohbet robotlarını çevreleyen yutturmaca artık bilime ulaştı. En azından, ChatGPT prensip olarak normalde yıllarca tıp eğitimi gerektiren sınav sorularını yanıtlayabilir.
Metin robotu ChatGPT, ABD’deki müstakbel tıp öğrencilerine yönelik bir sınavda oldukça başarılı olacaktır.
Belirli koşullar altında, AI yazılımı Amerika Birleşik Devletleri Tıbbi Lisanslama Sınavının (USMLE) üç teorik bölümünde gerekli minimum puan sayısını elde etmeyi başardı. Bu, ABD’li uzmanlar tarafından “PLOS Digital Health” dergisinde bildirildi. Ancak, Kaliforniya’daki start-up AnsibleHealth’ten Victor Tseng liderliğindeki ekip birkaç soruyu atladı.
USMLE, tıp öğrencilerinin Amerika Birleşik Devletleri’nde tıp pratiği yapabilmek için geçmeleri gereken standartlaştırılmış üç bölümden oluşan bir sınavdır. Biyokimyadan tanısal düşünceye ve biyoetiğe kadar çoğu tıbbi disiplinden gelen bilgiler değerlendirilir.
Ancak, ChatGPT ile test yaparken, çalışmanın yazarlarının OpenAI AI yazılımının yalnızca metin girişini kabul edebileceğini hesaba katması gerekiyordu. Yazarlar, görüntüye dayalı soruları kaldırdıktan sonra, yazılımı geçen yaz USMLE sınavının bir parçası olan halka açık 350 soru üzerinde test ettiler.
Netlik gereklidir
Belirsiz cevaplar da kaldırıldıktan sonra ChatGPT, sınavın üç USMLE bölümünde hala alınabilecek puanların yüzde 52,4 ila 75’ini elde etti. Sonuçlar, testin bölümüne ve görev türüne (örneğin, tik testleri veya açık uçlu sorular) bağlı olarak değişiklik gösteriyordu. Geçme eşiği yüzde 60 civarındadır ve yıla göre biraz değişir. Belirsiz cevaplar sonuca dahil edilirse, ChatGPT olası puanların yüzde 36,1 ila 61,5’ini elde etti.
Yazarlara göre ChatGPT, yalnızca biyomedikal literatür üzerine eğitilmiş bir karşı model olan PubMedGPT’den daha iyi performans gösterdi.
Ekip, ChatGPT’nin tıp eğitimini ve dolayısıyla klinik uygulamayı iyileştirme potansiyeline sahip olduğu sonucuna vardı. Yazarlar, “Zorluğuyla ünlü bu uzman sınavı için minimum geçme notunu elde etmek ve bunu herhangi bir insan yardımı olmadan yapmak, klinik yapay zekanın geliştirilmesinde dikkate değer bir kilometre taşıdır” diye yazdı.
Hukuk sınavlarını da geçti
Metin robotu ChatGPT, sınavlarda yüksek puan alamasa da daha önce diğer üniversite derslerinde kendini göstermişti. Minnesota Üniversitesi’ndeki profesörlere göre AI chatbot aracı, Pennsylvania Üniversitesi’ndeki Wharton School of Business’ta dört ders ve bir derste hukuk sınavlarını geçti.
Kasım 2022’de Kaliforniyalı start-up şirketi OpenAI tarafından ChatGPT’nin halka arz edilmesinin ardından, teknoloji endüstrisindeki bazı oyuncular, kullanıcıların lehine olmak için gerçek bir yarış içindeydi. OpenAI, Microsoft tarafından milyarlarca dolarla desteklenmektedir. Buna karşılık Microsoft, teknolojiyi Bing arama motoruna ve diğer ürünlerine entegre edebilir. OpenAI ve Microsoft’un en büyük rakibi Google’dır. Arama motoru devi, Salı günü kendi sohbet botu Bard’ı başlattı. Alman AI araştırmacısı Richard Socher’in You.com gibi daha küçük oyuncuları da yarışa katılıyor. Socher, Dresden’den geliyor ama yıllardır ABD’de yaşıyor ve çalışıyor.
dpa
#Konular
Eğitim: ChatGPT, ABD tıbbi sınav sorularında ustalaşıyor
Metin robotu ChatGPT, yanıtlarıyla genellikle bir tıbbi muayenede gereken minimum puanı almayı başardı. Fotoğraf
© Richard Drew/AP/dpa
Sohbet robotlarını çevreleyen yutturmaca artık bilime ulaştı. En azından, ChatGPT prensip olarak normalde yıllarca tıp eğitimi gerektiren sınav sorularını yanıtlayabilir.
Metin robotu ChatGPT, ABD’deki müstakbel tıp öğrencilerine yönelik bir sınavda oldukça başarılı olacaktır.
Belirli koşullar altında, AI yazılımı Amerika Birleşik Devletleri Tıbbi Lisanslama Sınavının (USMLE) üç teorik bölümünde gerekli minimum puan sayısını elde etmeyi başardı. Bu, ABD’li uzmanlar tarafından “PLOS Digital Health” dergisinde bildirildi. Ancak, Kaliforniya’daki start-up AnsibleHealth’ten Victor Tseng liderliğindeki ekip birkaç soruyu atladı.
USMLE, tıp öğrencilerinin Amerika Birleşik Devletleri’nde tıp pratiği yapabilmek için geçmeleri gereken standartlaştırılmış üç bölümden oluşan bir sınavdır. Biyokimyadan tanısal düşünceye ve biyoetiğe kadar çoğu tıbbi disiplinden gelen bilgiler değerlendirilir.
Ancak, ChatGPT ile test yaparken, çalışmanın yazarlarının OpenAI AI yazılımının yalnızca metin girişini kabul edebileceğini hesaba katması gerekiyordu. Yazarlar, görüntüye dayalı soruları kaldırdıktan sonra, yazılımı geçen yaz USMLE sınavının bir parçası olan halka açık 350 soru üzerinde test ettiler.
Netlik gereklidir
Belirsiz cevaplar da kaldırıldıktan sonra ChatGPT, sınavın üç USMLE bölümünde hala alınabilecek puanların yüzde 52,4 ila 75’ini elde etti. Sonuçlar, testin bölümüne ve görev türüne (örneğin, tik testleri veya açık uçlu sorular) bağlı olarak değişiklik gösteriyordu. Geçme eşiği yüzde 60 civarındadır ve yıla göre biraz değişir. Belirsiz cevaplar sonuca dahil edilirse, ChatGPT olası puanların yüzde 36,1 ila 61,5’ini elde etti.
Yazarlara göre ChatGPT, yalnızca biyomedikal literatür üzerine eğitilmiş bir karşı model olan PubMedGPT’den daha iyi performans gösterdi.
Ekip, ChatGPT’nin tıp eğitimini ve dolayısıyla klinik uygulamayı iyileştirme potansiyeline sahip olduğu sonucuna vardı. Yazarlar, “Zorluğuyla ünlü bu uzman sınavı için minimum geçme notunu elde etmek ve bunu herhangi bir insan yardımı olmadan yapmak, klinik yapay zekanın geliştirilmesinde dikkate değer bir kilometre taşıdır” diye yazdı.
Hukuk sınavlarını da geçti
Metin robotu ChatGPT, sınavlarda yüksek puan alamasa da daha önce diğer üniversite derslerinde kendini göstermişti. Minnesota Üniversitesi’ndeki profesörlere göre AI chatbot aracı, Pennsylvania Üniversitesi’ndeki Wharton School of Business’ta dört ders ve bir derste hukuk sınavlarını geçti.
Kasım 2022’de Kaliforniyalı start-up şirketi OpenAI tarafından ChatGPT’nin halka arz edilmesinin ardından, teknoloji endüstrisindeki bazı oyuncular, kullanıcıların lehine olmak için gerçek bir yarış içindeydi. OpenAI, Microsoft tarafından milyarlarca dolarla desteklenmektedir. Buna karşılık Microsoft, teknolojiyi Bing arama motoruna ve diğer ürünlerine entegre edebilir. OpenAI ve Microsoft’un en büyük rakibi Google’dır. Arama motoru devi, Salı günü kendi sohbet botu Bard’ı başlattı. Alman AI araştırmacısı Richard Socher’in You.com gibi daha küçük oyuncuları da yarışa katılıyor. Socher, Dresden’den geliyor ama yıllardır ABD’de yaşıyor ve çalışıyor.
dpa
#Konular