Araştırmalar, en iyi performans gösteren büyük dil modellerinin bile dünya ve kurallarını gerçek anlamda kavrayamadığını ve benzer görevlerde beklenmedik hatalar yapabileceğini gösteriyor. Modeller etkileyici işler başarsa da, dünyanın tutarlı bir modeli olmadan değişimlere yanıt vermekte zorlanabiliyorlar.
Büyük dil modelleri şiir yazmak veya işe yarar bilgisayar kodları oluşturmak gibi dikkat çekici şeyler yapabiliyor. Ancak yeni bir çalışmaya göre, bu modeller dünyanın gerçeklerini öğrenmiyor ve kuralları içselleştirmiyor.
Araştırmacılar, popüler bir yapay zeka modelinin New York şehrinde adım adım yol tarifi yapabildiğini, ancak şehrin doğru bir içsel haritasını oluşturmadığını tespit etti. Model, bazı yollar kapatıldığında veya yeni yönlendirmeler eklendiğinde ciddi performans düşüşü yaşadı.
Araştırmacılar, modelin oluşturduğu New York haritalarını incelediklerinde, şehrin gerçek dışı ve birbirine karışan yollarla dolu bir görünüm kazandığını gördüler. Bu, yapay zekanın bazı görevlerde başarıyla çalışmasına rağmen, temel çevresel değişikliklerle baş edemediğini gösteriyor.
MIT Ekonomi Bölümü’nde yardımcı doçent olan ve araştırmanın kıdemli yazarı Ashesh Rambachan, “Dil modelleri bu harika şeyleri yapabiliyorsa, belki de aynı araçları bilimde de kullanabiliriz. Ancak LLM’lerin dünya modellerini öğrenip öğrenmediği, bu teknikleri keşif amaçlı kullanmak istiyorsak önemli bir soru,” diyor.
Bu çalışma kapsamında, dil modellerinin dünya modeli oluşturup oluşturmadığını ölçmek için iki yeni kriter geliştirildi. Bu kriterler, bir modelin farklı durumları ayırt edebilme ve aynı durumları doğru bir şekilde gruplayabilme yeteneğini değerlendiriyor.
Araştırmacılar, belirli görevlerde iyi performans gösteren dil modellerinin her zaman kuralları anlamadığı sonucuna vardılar. Elde edilen bu sonuçlar, dil modellerinin tutarlı dünya modelleri oluşturması için farklı bir yaklaşım gerektiğini gösteriyor.
Haber Kaynağı: MIT Laboratory for Information and Decision Systems
