LoRA چطور Fine-tune کردن مدل‌های بزرگ را با یک کارت گرافیک معمولی ممکن کرد؟

به‌جای تغییر میلیاردها وزن مدل، وزن‌های اصلی ثابت می‌مانند و فقط دو ماتریس کوچک «کم‌رتبه» کنار لایه‌ها آموزش می‌بینند؛ اغلب کمتر از ۱٪ پارامترها. حافظه و هزینه آموزش به‌شدت کم می‌شود و خروجی، فایل کوچکی است که می‌شود روی مدل پایه سوار یا جایگزینش کرد. یک مدل پایه، با چند LoRA برای چند کار مختلف.