Mixture of Experts چیست و چرا مدل‌های غول‌پیکر را سریع‌تر می‌کند؟

مدل به‌جای یک شبکه بزرگ یکپارچه، چندین «متخصص» (زیرشبکه) دارد و یک «مسیریاب» برای هر توکن فقط چند متخصص را فعال می‌کند. پس مدلی با صدها میلیارد پارامتر، برای هر توکن فقط بخش کوچکی از آن را محاسبه می‌کند. حاصل: ظرفیت دانش یک مدل خیلی بزرگ، با هزینه اجرای یک مدل متوسط.