KV Cache چیست و چرا بدون آن تولید متن طولانی به‌شدت کند می‌شد؟

مدل برای تولید هر توکن تازه باید به همه توکن‌های قبلی «توجه» کند. بدون کش، محاسبات همه توکن‌های قبلی هر بار از نو انجام می‌شد. KV Cache بردارهای Key و Value توکن‌های قبلی را نگه می‌دارد تا فقط توکن تازه محاسبه شود. بهایش مصرف حافظه است؛ یکی از دلیل‌های گران بودن پنجره‌های زمینه خیلی بلند.