✦ فلش‌کارت AI
«قوانین مقیاس» (Scaling Laws) چه پیش‌بینی جالبی درباره مدل‌های زبانی می‌کند؟
دیدن پاسخ ↺پاسخ
پژوهش‌ها نشان دادند خطای مدل با بزرگ‌تر شدن سه چیز به شکل نسبتاً قابل‌پیش‌بینی کم می‌شود: تعداد پارامتر، حجم داده و توان محاسباتی. یعنی می‌شود پیش از صرف میلیون‌ها دلار، با مدل‌های کوچک‌تر حدس زد مدل بزرگ چقدر خوب می‌شود. یافته مهم بعدی: برای هر بودجه، نسبت بهینه‌ای بین اندازه مدل و حجم داده هست.