הצורך ב-Attention יעיל יותר עבור AI סוכנים

מחקר מתקדם מתמקד בהתמודדות עם 'קיר ההקשר' (context wall) הנדרש על ידי AI סוכנים. לאחר שה-Linear Attention הפך למרכזי, מחקרים חדשים כמו Gated Delta Networks (GDNs) מציעים דרכים יעילות יותר לניהול הקשב עבור מודלים עם הקשר ארוך.