Yapay Zeka Araçlarının "Mantıksız" ve "Hata Yapmaya Eğilimli" Olduğu Ortaya Çıktı
Yapılan bir araştırma, ChatGPT ve Google Gemini gibi yapay zeka araçlarının "mantıksız" olduğunu ve basit hatalar yapmaya eğilimli olduğunu gösterdi.
İngiltere'deki University College London'dan araştırmacılar, en iyi yedi yapay zeka modelini insan muhakemesini test etmek için tasarlanmış bir dizi klasik teste tabi tuttu. Araştırma, bu modellerin beklenenin aksine çoğunlukla yanlış yanıtlar verdiğini ve insanlardan çok daha mantıksız olduğunu ortaya koydu.
Araştırmada, OpenAI'nin ChatGPT'si, Meta'nın Llama'sı, Claude 2 ve Google Bard'ın (şimdiki adı Gemini) çeşitli versiyonları dahil olmak üzere yedi farklı model test edildi. Modellerden, başlangıçta insanların muhakeme yeteneklerini test etmek için tasarlanan 12 klasik mantık bulmacasına yanıt vermeleri istendi. Araştırmacılar, yapay zekaların tepkilerinin çoğunlukla ne rasyonel ne de insana benzer olduğunu keşfetti.
Örneğin, Meta'nın Llama modeli, Wason görevi sırasında sesli harfleri ünsüz harflerle karıştırarak doğru mantığa sahip olmasına rağmen yanlış cevap verdi. Ayrıca, bazı yapay zeka sohbet robotları, masum sorulara etik gerekçelerle yanıt vermeyi reddetti.
UCL'de doktora öğrencisi ve makalenin başyazarı Olivia Macmillan-Scott, "Çalışmamızın sonuçlarına ve yapay zeka modelleri üzerine yapılan diğer araştırmalara dayanarak, bu modellerin henüz insanlar gibi 'düşünmediğini' rahatlıkla söyleyebiliriz," dedi.
Araştırma, en iyi performans gösteren yapay zeka modeli olan ChatGPT-4'ün, %69.2 oranında doğru ve insani mantıkla yanıt verdiğini gösterdi. Ancak, en kötü performans gösteren model olan Meta'nın Llama 2 7b modeli, vakaların %77.5'inde yanlış cevap verdi.
Araştırma sonuçları, yapay zeka modellerinin diplomasi veya tıp gibi kritik uygulamalarda ve senaryolarda potansiyel kullanımları açısından önemli sonuçlara işaret ediyor. Ancak, bu modellerin nasıl sebepler gösterdiğini anlamak hala zor.
Bu araştırma, Meta'daki yapay zeka araştırmalarından sorumlu başkan yardımcısı Joelle Pineau'nun, yapay zekanın yakında bir insan gibi düşünüp planlayabileceğini söylemesinin ardından geldi.