ترنسفورمر چیست و چرا یک مقاله سال ۲۰۱۷ مسیر هوش مصنوعی را عوض کرد؟

ترنسفورمر معماری‌ای است که در مقاله «Attention Is All You Need» گوگل معرفی شد و تقریباً همه مدل‌های زبانی امروز بر پایه آن‌اند (حرف T در GPT). نوآوری اصلی «توجه» (Attention) است: هر کلمه می‌تواند مستقیم به همه کلمه‌های دیگر متن نگاه کند و بفهمد کدام برایش مهم‌ترند. و چون موازی‌پذیر است، آموزش روی داده‌های عظیم با GPU ممکن شد.