پژوهش‌ها نشان می‌دهد که حتی مدل‌های برتر هوش مصنوعی توانایی ایجاد درکی منسجم از دنیای واقعی و قوانین آن را ندارند و ممکن است در کارهای مشابه دچار خطا شوند. به رغم توانایی‌های چشمگیر این مدل‌ها، فقدان یک مدل درونی منسجم از جهان می‌تواند باعث عملکرد نامطلوب آنها در مواجهه با تغییرات شود.
مدل‌های بزرگ زبان‌محور توانایی‌های شگفت‌انگیزی مانند تولید شعر یا کدنویسی را از خود نشان می‌دهند؛ این توانایی‌ها باعث شده است برخی تصور کنند این مدل‌ها به طور ضمنی به درک‌هایی کلی از جهان دست یافته‌اند. اما یک مطالعه جدید نشان می‌دهد که این مدل‌ها از درک حقیقی جهان و قوانین آن باز می‌مانند.
پژوهشگران دریافته‌اند که یک مدل محبوب هوش مصنوعی می‌تواند مسیرهای رانندگی در نیویورک را با دقت بالا ارائه دهد، اما نقشه‌ای واقعی و منسجم از این شهر در درون خود ندارد. با بسته شدن برخی از خیابان‌ها یا اضافه شدن مسیرهای انحرافی، عملکرد مدل به طور چشمگیری افت کرده است.
وقتی پژوهشگران نقشه‌های درونی مدل از نیویورک را بررسی کردند، دریافتند که این نقشه‌ها شامل خیابان‌های غیرواقعی با پیچ و خم‌های نامربوط و تقاطع‌های غیرممکن است. این یافته‌ها نشان می‌دهد که مدل‌های هوش مصنوعی ممکن است در ظاهر عملکرد موفقی داشته باشند اما در مواجهه با تغییرات محیطی به راحتی از کار بیافتند.
«آشش رامبچان»، استاد اقتصاد و از پژوهشگران ارشد MIT، می‌گوید: «اینکه آیا مدل‌های زبانی می‌توانند مدل‌های منسجمی از جهان تشکیل دهند، بسیار حائز اهمیت است.» وی به همراه تیمی از پژوهشگران، که نتایج خود را در کنفرانس سیستم‌های پردازش اطلاعات عصبی ارائه خواهند کرد، دو معیار جدید برای سنجش توانایی مدل‌ها در درک جهان تعریف کرده‌اند.
این معیارها، به نام «تمایز دنباله» و «فشرده‌سازی دنباله»، به پژوهشگران امکان می‌دهد تا توانایی مدل را در تمایز بین حالات مختلف و تطابق آنها با واقعیت ارزیابی کنند. این معیارها در آزمایش‌هایی مانند پیمایش مسیرهای نیویورک و بازی تخته‌ای Othello مورد استفاده قرار گرفته‌اند.
برخلاف انتظار، مدل‌هایی که به صورت تصادفی آموزش دیده بودند عملکرد بهتری از خود نشان دادند؛ زیرا آنها مجموعه‌ای وسیع‌تر از حرکات ممکن را مشاهده کرده‌اند. این پژوهش نشان داد که مدل‌های بزرگ زبان‌محور در انجام وظایف مشخص عملکرد موفقی دارند اما الزاما درکی منسجم از قوانین ندارند.
این نتایج نشان می‌دهد که اگر بخواهیم مدل‌هایی بسازیم که درکی دقیق از جهان دارند، باید رویکرد متفاوتی در پیش بگیریم.
منبع خبر: MIT Laboratory for Information and Decision Systems
